AB
AiBoss站
快讯

MIT CSAIL 研究:前沿模型可直接改写另一模型权重

MIT CSAIL 团队提出「权重空间编程」,让 GPT-6 Astra 直接改写 Qwen3.5-0.8B 的权重数值,而非通过梯度下降训练。据报仅改动约 0.016% 权重,MATH-500 成绩最高提升六倍。研究尚未经同行评审,细节以论文与官方发布为准。

核心事实

据 The Register 报道,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab 发现,前沿大模型可以直接读取并改写另一个模型的权重数值,而不必借助梯度下降训练。实验中,研究者要求 OpenAI 的 GPT-6 Astra 修改 Qwen3.5-0.8B 的权重以提升数学能力。据研究者博客,Astra 只改动了约 0.016% 的权重,减少了该模型的推理循环,在 MATH-500 基准上的数学表现最高提升约六倍,在 IFEval 上的指令遵循得分约提升三倍。团队将这一方法称为「权重空间编程」(Weight-Space Programming)。

背景与影响

研究者称,Astra 还能零样本从零写出一个玩 Breakout 的策略网络权重。Takehi 在社交平台表示,早期迹象显示前沿大模型在原生读写与推理神经网络权重方面「出奇地擅长」,模型可以把原始权重当作可读、可编辑的代码,直接诊断故障并打补丁。研究者认为,这一路径有望规避模型更新新知识时出现的灾难性遗忘,并可能用于降低模型的迎合倾向、提升可解释性与对齐水平,乃至实现递归自我改进。团队下一步计划搭建基准与测试框架,把目前看似「黑魔法」的做法变成可复现的工程学科。

限制与来源

上述提升幅度均为研究者自述的实验结果,尚未见独立复现或同行评审确认;相关能力描述也尚未获 OpenAI 或 Qwen 方面官方确认。基准成绩受测试设置影响,不宜直接外推为通用能力提升。本文信息来自 The Register 2026 年 11 月 3 日报道,具体方法与数据请以研究团队原始论文和博客为准。