ニュース
Liquid AIがLFM2.5 QAD Q4_0のチェックポイントを4つリリース
Liquid AIは、低ビット展開における品質と効率の向上を目的として、2億3000万、3億5000万、12億命令、26億命令の規模をカバーする4つのLFM2.5 QAD Q4_0チェックポイントをリリースしました。
Liquid AIは、230M、350M、1.2B命令、および2.6Bのパラメータスケールをカバーする4つのLFM2.5 QAD Q4_0量子化チェックポイントをリリースしました。
QAD方式は、量子化を考慮した蒸留処理中に低ビット重みに適応するようにモデルを訓練することで、Q4_0展開の品質を向上させます。Liquid AIは、従来の量子化手法と比較した自己テスト結果を公開していますが、様々なデバイスやタスクにおける実際のメリットについては、別途検証が必要です。
ソース：Liquid AIの技術記事。