Chitu - 清華大学と清華積知研究院が共同でオープンソース化した大規模モデル推論エンジン。 - AiBoss

Chituとは何ですか？

Chituは、清華大学高性能計算研究所と清華大学紀智が共同でオープンソース化した高性能大規模モデル推論エンジンです。推論段階における大規模モデルの高コストと低効率の問題を解決するために特別に設計されています。複数のNVIDIA GPUと国産チップをサポートする強力なハードウェア適応性を誇り、特定のハードウェア（NVIDIA Hopperアーキテクチャなど）への依存を解消しています。パフォーマンス面では、A800クラスタにDeepSeek-R1-671Bをデプロイした場合、一部の海外オープンソースフレームワークと比較してGPU使用率が50%削減され、推論速度が3.15倍向上します。純粋なCPUから大規模クラスタまで、あらゆるシナリオでのデプロイをサポートし、さまざまな規模とシナリオの推論ニーズに対応します。

Chituの主な機能

多次元コンピューティング能力の適応最新のフラッグシップモデルから旧モデルまで、複数のNVIDIA製GPUシリーズをサポートすると同時に、国産チップ向けに最適化されたサポートを提供することで、NVIDIAのHopperアーキテクチャへの依存を解消しています。
あらゆるシナリオに対応可能Chitu Engineは、純粋なCPU構成やシングルGPU構成から大規模クラスタ構成まで、さまざまな規模やシナリオにおける推論ニーズに対応できる拡張性の高いソリューションを提供します。
低遅延最適化金融リスク管理など、レイテンシに敏感なシナリオでは、モデルの推論速度を最適化し、応答時間を短縮します。
高スループット最適化インテリジェントな顧客サービスなど、同時処理が多いシナリオでは、単位時間あたりに処理するリクエスト数を増やしてください。
メモリ最適化シングルカードのメモリ使用量を削減することで、企業はより少ないハードウェアリソースでより高い推論性能を実現できるようになります。
長期安定稼働Chituエンジンは実際の運用環境に適用可能であり、その安定性は同時発生するビジネストラフィックを処理するのに十分である。
箱から出してすぐに使えます青城吉智は、Chituをベースとした推論オールインワンマシンを発表し、すぐに導入できるソリューションと専門的な運用・保守サービスを提供することで、企業のAI導入プロセスをさらに簡素化します。

チトゥの技術原理

根底にある技術革新Chitu Engineは、基盤となる技術革新により、NVIDIA Hopperアーキテクチャ以外のGPUや様々な国産チップ上で、FP8精度モデルのネイティブ実行を初めて実現しました。これにより、FP8モデルがこれまでNVIDIA HシリーズのハイエンドGPUに依存していた状況が打破され、企業はより幅広いハードウェアタイプ上で大規模モデルを効率的に展開できるようになります。
オペレーターレベルの最適化Chituは、主要な演算子（GeMMやMoEなど）に対して命令レベルの最適化を行い、単純な量子化ではなくFP8データを直接処理しています。これにより、モデルの精度を損なうことなく推論速度を大幅に向上させています。A800クラスタでのテストでは、いくつかの海外のオープンソースフレームワークと比較して、ChituエンジンはGPU使用率を50%削減しながら、推論速度を3.15倍向上させました。
全シナリオにおけるパフォーマンス最適化Chituエンジンは、低遅延、高スループット、および少量のビデオメモリ最適化をサポートし、さまざまなシナリオ要件、ハードウェア構成、およびシステム環境に基づいて最適なソリューションを提供します。Chituは、システムリソースの状況に基づいて、GPU利用率、メモリ効率、およびネットワーク伝送の最適なバランスを見つけることができます。
並列コンピューティングとコンパイラ最適化Chituエンジンは、清華大学の研究チームが長年培ってきた並列コンピューティングとコンパイラ最適化の経験を結集したものです。インテリジェントなコンパイル技術を用いることで、高性能演算子の開発プロセスを加速させ、様々なハードウェアアーキテクチャへの最適化をより短時間で実現することが可能になりました。

チトゥのプロジェクト住所

GitHubリポジトリ：https://github.com/thu-pacman/chitu

Chituのアプリケーションシナリオ

リスクの特定と早期警戒Chitu Engineは、膨大な量の取引データを迅速に処理し、潜在的なリスクをリアルタイムで監視してタイムリーな警告を発することで、金融機関のリスク管理効率の向上を支援します。
インテリジェントな顧客サービスと顧客体験の最適化大規模なインテリジェント知識ベースを活用することで、顧客ニーズに迅速に対応し、サービス体験を向上させることができます。
疾患診断支援Chituエンジンは、医療データを迅速に処理し、疾病診断の速度と精度を向上させ、患者の医療体験を向上させることができます。
交通流最適化Chituエンジンは、交通データをリアルタイムで処理し、交通の流れを最適化し、都市部の渋滞を緩和することができる。
科学データ分析Chituエンジンは、科学研究データを効率的に処理し、科学研究プロセスを加速させることができます。