科技日报北京9月10日电 (记者张佳欣)据英国《卫报》、美国《连线》杂志等外媒近日报道,美国人工智能企业Anthropic的多名研究人员公开发出警告,AI的快速发展可能带来风险,其中一名研究人员甚至认为,未来10年AI导致人类灭绝的概率超过10%。
报道称,Anthropic前研究人员雅各布·考克森近日宣布辞职。他曾在OpenAI和Anthropic从事AI模型预训练研究。他在社交媒体上表示,Anthropic和OpenAI正在竞相开发能够自我改进的超级智能系统,却没有充分应对相关风险。
考克森称,AI能力提升速度加快以及近期发生的一系列安全事件,促使他此时公开发声。AI已经在编程、黑客攻击、数学等领域向超越人类水平发展,而近期AI智能体攻击“抱抱脸”等事件,也让过去听起来像科幻小说的风险变得更加现实。
考克森还表示,Anthropic内部一些研究人员会使用“终局”和“关键时期”等说法,认为未来一两年可能是决定人类命运的关键时期。在他看来,目前人类还没有解决AI对齐问题,即无法确保AI系统始终按照人类意图行事。
考克森的观点得到Anthropic现任研究人员埃文·休宾格的公开支持。他表示,考克森的担忧是正确的,并称自己认为未来10年AI导致人类灭绝的概率超过10%。Anthropic目前还没有解决超级智能对齐问题的方案,也未明确公司正朝着解决这一问题的方向前进。另一名Anthropic研究人员塞缪尔·马克斯也公开回应了考克森的说法,认为业界对先进AI可能造成灾难性后果的担忧确实存在。
Anthropic公司方面表示,AI将带来巨大收益,也会带来前所未有的风险,公司正在通过机制可解释性研究、危险能力测试等方式降低风险。

藏公网安备54010202000229号
