Hy4プレビュー軽量版 - テンセント・フンユアン オープンソース Hy4量子化圧縮モデル

Hy4のプレビュー版軽量バージョンとは何ですか？

Hy4のプレビュー版軽量バージョンは、テンセントのHunyuanプラットフォームで販売されているオリジナル1.5TBモデルの1.5TBバージョンです。 Hy4 preview このオープンソースの大規模モデルは、約214GBに圧縮されており、独自開発のSherry 1.25ビット疎量子化とMIX-STQ1_0レイヤーバイレイヤー混合精度技術を採用しています。ハードウェア要件を大幅に削減しながらも、長文理解やコード生成といったコア機能を維持し、複数の異種デバイス間でのクロスネットワーク共同推論をサポートすることで、一般の開発者でもフラッグシップレベルの大規模モデルをローカルで実行できます。

Hy4 preview Liteの主な機能

• コード生成このモデルは、SWE-Benchなどの多言語コード評価において優れた性能を発揮し、開発者に質の高いプログラミング支援と複雑なエンジニアリング問題を解決する能力を提供します。
• オフィス文書処理長文文書の理解、内容の要約、定型的な質疑応答をサポートし、日常的なオフィス環境におけるテキスト処理や情報抽出タスクに対応できます。
• 科学的推論このモデルは、数学的計算能力と科学的課題解決能力を備えており、論理的推論や数値計算を必要とするシナリオにおいても安定した性能を維持する。
• 長いコンテキスト検索複数ターンにわたる対話において、長文から重要な情報を正確に特定して抽出することができ、長文を理解する能力は元のモデルとほぼ同等である。
• ツール呼び出しMCPなどのプロトコルを通じて、このモデルは外部ツールやAPIに接続し、タスクの自動実行や複雑なワークフローのオーケストレーションを実現できる。
• ゲーム生成指示に基づいて、このモデルは、記事で紹介されているNEON DRIFTゲーム生成事例のように、インターフェースやインタラクティブなロジックを含む実行可能なゲームを生成することができる。
• 異種結合推論prima.cppのデバイス間スケジューリング機能を利用することで、異なる構成の複数のマシンが、高性能なハードウェアクラスタを別途購入することなく、ローカルエリアネットワークを介してモデルを協調実行できます。

Hy4 Preview Liteの技術的原理

• シェリー・スパース三値量子化テンセントが独自開発したHunyuanの極限圧縮アルゴリズムは、重みを{-1, 0, +1}の4つのグループにマッピングし、各グループに必ず1つのゼロを残すように強制します。各グループはエンコードにわずか5ビットしか必要とせず、平均的な圧縮率を実現します。 1.25ビット/重量 高いストレージ効率を提供し、SIMDアクセラレーションと自然に互換性があるため、量子化から推論までの全処理をllama.cpp内で完結できます。
• MIX-STQ1_0 混合精密戦略均一な圧縮方式を放棄し、システムはキャリブレーションセット上で感度を層ごとに評価し、データを階層ごとに処理します。感度の高い層はより高い精度（IQ2_XXS）を維持し、感度の低い層はより積極的なSTQ1_0アプローチを採用します。最終的に、ルーティングエキスパートの平均重みは[情報欠落]となります。 1.78 bpw全体的な誤差は、統一量子化の基準値よりも実際には低く、さらに5GB以上のストレージ容量を節約できる。
• 異種分散推論prima.cppのデバイス間スケジューリング機能に基づき、MoEレイヤーは分割され、異なるハードウェア（例えば、ノートPCの4090とサーバーのA4000）上で実行されます。計算と重み読み取りをオーバーラップさせることで、214GBモデルは、合計144GBのビデオメモリとメモリを備えた異種環境において、同種のハイエンドクラスタを購入することなく、実用的な推論速度を実現できます。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

Hy4プレビュー軽量版の使い方