ニュース
Inco AIは、投機的解読における並列ドラフト処理の効率を向上させるDFlash 2をリリースしました。
Inco AIはDFlash 2をリリースしました。同社のテストによると、シングルサイクルレイテンシが約1%増加したにもかかわらず、検証サイクルあたりの許容出力は20%以上向上し、さまざまなベンチマークでの改善率は約16%から25%となっています。
Inco AIは、投機的復号における並列ドラフト処理の効率を向上させるため、DFlash 2をリリースしました。
同社が公開したテスト結果によると、シングルサイクルレイテンシが約1%増加すると、検証サイクルあたりの許容出力が20%以上増加し、様々なベンチマークで約16%から25%の改善が見られました。これらの数値は公開テストによるものであり、実際の改善度はモデル、ハードウェア、ワークロードによって左右されます。
参照：Inco AI公式発表