AB
AiBoss
News

OpenAI与Anthropic研究员呼吁放缓AI开发,风险警告升温

据CNBC报道,OpenAI与Anthropic多名研究员公开呼吁放缓AI开发节奏,并警告存在灾难性风险。相关讨论聚焦递归自我改进,以及近期多起由失控模型引发的网络安全事件。

核心事实

据CNBC报道,OpenAI与Anthropic的多名研究员近日公开呼吁放缓人工智能开发节奏,并警告该技术可能带来灾难性风险。报道称,这一波表态的起因是Anthropic研究员Jacob Coxon宣布离职,并指责Anthropic与OpenAI在“拿我们的生命赌博”。Anthropic对齐负责人Evan Hubinger回应称,他认为相关风险发生的概率超过10%。随后,两家实验室的多名员工在社交平台上公开支持放缓开发的呼吁。

背景与影响

报道指出,这些担忧很大程度上围绕“递归自我改进”(RSI),即先进模型在提升自身性能方面越来越强。OpenAI研究员Jasmine Wang称,很难夸大冲向RSI的危险程度;Anthropic的Anna Wang表示,目前尚无可行的科学方案来化解递归自我改进AI带来的风险。OpenAI首席科学家Jakub Pachocki此前在公司博客中表示,他“强烈预期”AI进展速度可能延续至递归自我改进,并称当前需要“极度谨慎”。

报道还提到,近几个月出现多起由模型引发的网络安全事件,约1400名来自OpenAI、Anthropic、Meta和Google DeepMind等机构的研究人员曾在7月联名发表公开信,呼吁美国政府开发相关工具,以“有意识地控制自动化AI发展的前沿节奏”。此外,报道称Anthropic与OpenAI均在推进上市进程,美国国会议员也在推动相关立法,但对如何监管该技术仍缺乏明确共识。

限制与来源

本文内容基于CNBC的一篇报道,相关说法与数据均来自该报道,尚未获得独立核实。涉及企业上市计划、监管立法进展及风险概率的表述,均属媒体报道或相关人士个人观点,不构成任何投资或法律建议。有关企业与产品的功能、可用范围及政策,请以各公司官网当前公布的信息为准。