Hy4-previewには、最小サイズが約214 GiBのGGUF量子化バージョンが搭載されました。

モデルパブリッシャーのAngelSlimは、Hugging FaceのHy4-previewのGGUF量子化バージョンを公開しました。モデルカードには、約435.20 GiBのQ4_K_Mバージョンと、約213.66 GiBのSTQ1_0ハイブリッド低ビットバージョンの2つの主要なビルドが記載されており、この770Bクラスモデルのローカル展開向けに、より小型のオプションを提供しています。

また、リポジトリには、これらのファイルは標準バージョンのllama.cpp上で直接実行することはできず、リポジトリが提供するアプリケーションが必要であると記載されています。hyv4アーキテクチャの修正。この定量分析リポジトリは、テンセントの公式ベースモデルリリースページではありません。そのため、最終バージョンでは、定量分析作業は実際のリポジトリ発行者にのみ帰属されます。

参照：ハグ顔モデルリポジトリ