AB
AiBoss
ニュース

テンセントのHunyuanチームは、投機的復号フレームワークであるAngelSpecをオープンソース化した。

テンセントのHunyuanチームは、ドラフト作成者のトレーニングやアーキテクチャ設計からオンライン展開までの全チェーンを網羅する投機的デコードフレームワークAngelSpecをオープンソース化しました。同時に、Hy3-A21B用のMTPおよびDFlyドラフト作成者の重みとトレーニングコードもオープンソース化しました。DFlyは、4~64の同時実行レベルで最先端のパフォーマンス(SOTA)を達成し、自己回帰ベースラインと比較して平均1.98~2.40倍の高速化、最大で2.86倍の数学的高速化を実現しました。D-cutは、高同時実行でスループットをさらに15.7%向上させ、MTPとTTTの組み合わせにより会話の受諾率が52.8%から66.4%に向上しました。