AB
AiBoss
project

Aion-1.0-Instruct - 微软面向 Windows 端侧 AI 的 2.3B 小语言模型

Aion-1.0-Instruct 是微软 Windows 与设备部门应用科学组发布的小语言模型,约 2.29B 参数、32K 上下文,面向端侧文本与操作系统场景。据项目说明,它是 Windows 生态的基础 SLM,本次以未量化版本先行公开,后续将推出量化版本。

Aion-1.0-Instruct 是微软发布的一个指令微调小语言模型(SLM),参数量约 2.29B,任务类型为 text-generation,基于 transformers 框架。据项目说明,它定位为 Windows 生态中的基础小语言模型,专门针对端侧 AI、文本与操作系统场景优化,目标是在不依赖持续云端连接的前提下,提供响应快、数据留在本地、成本可控的语言理解与生成能力。它适合希望在本地设备上跑文本类任务的开发者,例如文档理解、内容分析、问答与摘要改写,也适合关注 Windows 端侧 AI 走向的技术读者了解微软这一代 SLM 的设计取向。

维护者与状态

该模型由 microsoft 维护,仓库托管在 Hugging Face。仓库创建时间为 2026-11-18,最后更新时间同为 2026-11-18。截至 2026-11-21 的数据读取时间,近 30 天下载量为 1578,点赞数为 168。事实表中没有该仓库的正式 release 记录,因此这里不描述版本发布情况。

据项目说明,Aion Instruct 的作者是 Microsoft Windows & Devices 下的 Applied Sciences Group。项目自述称,经过进一步优化、并与微软内容审核模型配合的版本,将在 2027 年 1 月底前成为 Windows 操作系统的 SLM;当前这个 Hugging Face 版本意在作为「即将到来的东西」的介绍,同时提升透明度并收集用户反馈。项目说明还提到,先发布未量化模型,量化版本随后跟进。

主要能力

以下能力描述均来自项目自述的模型卡,未经本站独立验证。

  • 端侧文本生成:项目说明称模型主要面向通用文本场景训练,包括文档理解、内容分析、问答与自然语言理解,可在设备本地处理多页文档、长邮件线程和复杂技术规格。
  • 32K 上下文:模型卡给出的上下文长度为 32,768 tokens,并强调数据留在本地以保护隐私。
  • 多语言:项目说明列出的语言包括英语、德语、西班牙语、葡萄牙语、意大利语、法语、中文和日语;同时提示不同语言的输出质量可能存在差异,多语言数据约占整体训练数据的 6%。
  • 任务标签:模型卡标注的任务标签为摘要、改写与对话。
  • 工具调用:据项目说明,可通过 apply_chat_template(..., tools=tools) 传入工具定义,工具 schema 会注入系统提示,模型以 JSON 形式输出调用。
  • 对话模板:模型自带 chat template,支持 model_identity、knowledge_cutoff、current_date 等可选模板变量,每轮以特定结束符收尾,该结束符同时是 EOS token。
  • 架构要点:模型卡给出的结构为 28 层、隐藏维度 2048、MLP 中间维度 8192(SiLU)、GQA(24 个查询头、8 个 KV 头、头维度 128),注意力采用 21 层滑动窗口(窗口 2048)加 7 层全注意力的混合模式,位置编码为 RoPE(θ = 32000),全注意力层使用 YaRN 缩放(factor 16),词表大小 200,029,精度 bfloat16,知识截止时间为 2025-12。
  • 导出格式:项目说明列出的库名称包括 PyTorch、ONNX 与 GGUF。

使用入口

模型仓库地址:microsoft/Aion-1.0-Instruct-2.3B。

据项目说明,该模型使用自定义建模代码,加载时必须设置 trust_remote_code=True,并且是用 transformers 5.x 导出的。模型卡给出的最小调用示例如下:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/Aion-1.0-Instruct-2.3B"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "Give me a short introduction to large language models."},
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

仓库文件方面,模型卡列出的内容包括 model.safetensors(bfloat16 权重)、config.json、generation_config.json、自定义配置类 configuration_aion_instruct.py、自定义模型实现 modeling_aion_instruct.py 以及分词器相关文件。

许可与限制

许可证为 mit。模型卡同时声明,模型卡中的任何内容都不应被解读为对发布许可证的限制或修改。

项目自述明确列出了若干限制,使用前值得注意:

  • 规模带来的取舍:2.3B 属于较小的语言模型,占用磁盘空间小、速度可能较快,但相比大模型,可能遗漏细节、给出错误陈述,或无法完成复杂的多步推理;在记忆事实与识破诱导性问题上也缺少足够的存储与推理深度。
  • 安全对齐的边界:项目说明称训练时遵循了微软的最佳实践并做了安全对齐,但模型不具备理解全部安全细微差别的复杂推理能力,可能受到对抗性攻击;XPIA、DIC、ECI 被列为后续版本需要改进的关键指标。
  • 语言差异:不同语言的输出质量可能不一致,项目方表示仍在缩小跨语言性能差距并支持更多语言。
  • 世界知识并非强项:项目说明称模型并非为擅长世界知识而训练,用户应参考推荐用途并自行判断。
  • 超出范围的使用:模型卡列出不应使用的场景,包括生成有害、暴力、露骨或冒犯性内容,制造假新闻或误导信息,以及用于医疗诊断、法律判决等关键场景的自动化决策;同时提醒开发者评估并缓解准确性、安全与公平性风险,并遵守适用的隐私与贸易合规等法律法规。

项目说明还提到,限制有害输出的一种方式是配合内容审核模型,在模型进入 Windows 正式可用版本时,会同时使用该组的一个本地模型。