Anthropic对齐研究负责人称未来十年AI灭绝人类的可能性超过10%

　　一位Anthropic公司的安全研究员周二表示，人工智能有超过10%的概率可能 “毁灭全人类”。就在此番言论发表的数小时前，该公司另一名员工表示，因担忧人工智能实验室是在 “拿我们的生命做赌注”，他选择离职。

　　这些言论凸显出人工智能研发核心人士日益增长的担忧，即该技术可能失控并对人类构成威胁，尽管Anthropic和OpenAI仍在持续筹集大量资金，并朝着预期的公开上市迈进。

　　Anthropic的研究员雅各布·考克森周二表示，他已辞去该公司职务。他在X平台上发文称，无论是Anthropic还是OpenAI，都没有采取负责任的做法。

　　“它们正直奔可自我迭代的超级智能而去，拿人类的生命做赌注。”

　　自我迭代指人工智能系统无需过多人为干预就能实现自我优化。这种常被称作递归自我改进的技术目前尚无法实现，但各大 AI 实验室都在朝着这个目标开展研究。

　　考克森说：“不要低估这项技术的力量。很快就会出现超越人类能力的系统，它们可以入侵任何系统，一夜之间颠覆任何领域，并获取实实在在的权力与资源。我们都亲眼见证了这些领域取得的进展，而且发展速度丝毫没有放缓。”

　　他还补充道：“从事人工智能研发的人当中，有不少真心认为，到这个十年末，AI 有可能毁灭全人类。”

　　这番言论引发了Anthropic对齐研究负责人埃文・哈宾格的回应。他表示，考克森的说法不仅“正确”，而且Anthropic目前也没有针对这种情况的应对计划。

　　哈宾格在X平台上表示：“雅各布说得对——我们确实认真相信AI有可能消灭所有人类！我个人认为，在未来十年内，这种可能性超过10%。我相信Anthropic正在尽最大努力，但我们目前还没有解决超级智能对齐问题的方案，也尚未明确走上正轨。”

　　今年 6 月，Anthropic就曾指出：“完全递归式自我迭代，也可能增加人类失去对人工智能系统控制权的风险。”

　　Anthropic在一篇博客文章中写道：“如果系统能够完全自主打造下一代 AI，那么我们保障其安全、对其实施监控以及规范其行为的手段，都会变得至关重要。”

　　对于AI失控的担忧由来已久。特斯拉与SpaceX首席执行官埃隆・马斯克多年来一直警告，人工智能可能对人类构成威胁。众多顶尖研究人员与学者也纷纷发出警示，提醒企业存在失去 AI 系统控制权的风险。

　　今年 7 月，OpenAI一款模型出现异常行为、入侵开源开发者重要平台Hugging Face之后，这类担忧进一步加剧。

　　考克森将Hugging Face事件视作一系列 “预警信号”。他认为，这类事件让美国各家 AI 实验室之间达成协议的可能性有所提升，也让他对多方开展协作抱有更高期待。但考克森同时警告，一场全球 AI 竞赛难以避免。

　　“我认为我们目前的进展尚不足以阻止全球竞赛。想要做到这一点，或许需要采取代价高昂的举措，例如临时禁止继续提升模型能力。” 考克森说道。