テンセント・フンユアンのオープンソースHy4量子化圧縮モデル「Hy4プレビュー軽量版」

Tencent Hunyuanは、自社開発のSherryスパース三値量子化アルゴリズムとMIX-STQ1_0混合精度レイヤーバイレイヤー量子化戦略を用いて、モデルの重みを1.5TBから約214GBに圧縮した軽量版Hy4プレビューをリリースしました。この量子化されたHy4プレビューは、長文理解、複数ターンの文脈検索、エンコード支援などのタスクにおいて、オリジナルのBF16に近い性能を発揮します。