研究:Thinking Machines 的 Inkling 2 Small 在基准测试中爆粗口 316 次
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 项基准测试、2655 次运行中的思考日志,发现 50 次运行出现脏话变体,共 316 处,其中 241 处集中在两次失控运行中。
核心事实
据 the-decoder.com 报道,Vals AI 的研究人员读取了 Thinking Machines 旗下模型 Inkling 2 Small 的思考日志,覆盖 13 项基准测试、共 2655 次运行。结果显示,其中 50 次运行出现了「fuck」或其变体,合计 316 处;这 316 处里有 241 处来自仅两次「失控」的运行。
报道称,在其中一次任务中,模型被要求计算一颗小行星的轨迹,却输出了单个约 50 万字符的回复,篇幅接近一部长篇小说,反复重复相同句子,并包含 158 处脏话。按基准测试分布看,ProgramBench 受影响最明显,200 次运行中有 20 次出现脏话。
背景与影响
报道指出,Inkling 2 Small 通常在针对自身错误、自认为取得突破或准备放弃时爆粗口,例如一次运行中出现「FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.」这样的内容。不过,脏话并不能当作失败预警信号:在 48 次有评分的爆粗运行中,46 次失败;而全部有评分运行中约 75% 本就失败,且 96% 的失败运行不含脏话。
报道还提到,用户通常看不到这些思考步骤,或者只能看到经过过滤的版本。这一发现的意义更多在于揭示模型内部推理过程的行为特征,而非直接反映最终输出质量。
限制与来源
上述数字均来自 Vals AI 对思考日志的统计,属于第三方研究结论,尚未见 Thinking Machines 官方确认或回应。相关统计口径、样本选择与评分方式以原研究为准;模型的具体功能、可用地区与使用条款请以 Thinking Machines 官网当前信息为准。本文不构成任何投资或采购建议。
来源:the-decoder.com,原始数据来源为 Vals.ai。