ニュース
Liquid AIがLFM2.5-DSpark推論デコードモデルをリリース
Liquid AIは、1.2B-Instruct、2.6B、および8B-A1Bに対応するチェックポイントを提供するLFM2.5-DSpark投機的デコードモデルをリリースしました。ベンダーのテストによると、推論を最大3.2倍高速化できるとのことです。
Liquid AIは、LFM2.5-DSpark投機的復号モデルをリリースし、3つのLFM2.5モデルのチェックポイントを提供した。
初期展開では、1.2B-Instruct、2.6B、および8B-A1Bが対象となります。Liquid AIのテストでは、推論速度が最大3.2倍向上するとされていますが、これはベンダーによるテスト結果であり、実際の向上率はハードウェア、バッチサイズ、キュー長、および推論フレームワークによって異なります。
ソース：Liquid AIの公式記事。