快讯
Hy4-preview出现GGUF量化版,最低约214GiB
AngelSlim发布Hy4-preview的GGUF量化仓库,提供约435GiB的Q4_K_M版本和约214GiB的混合低比特版本,但运行需要专用llama.cpp补丁。
模型发布者AngelSlim在Hugging Face公开Hy4-preview的GGUF量化版本。模型卡列出的两种主要构建包括约435.20GiB的Q4_K_M版本,以及约213.66GiB的STQ1_0混合低比特版本,为本地部署这一770B级模型提供了更小体积的选择。
仓库同时说明,这些文件不能直接在标准版llama.cpp上运行,需要应用仓库提供的hyv4架构补丁。该量化仓库并非腾讯官方基础模型发布页,因此成稿仅将量化工作归于实际仓库发布者。