洱海新闻

突发!全球千人联名逼AI刹车,OpenAI、Anthropic带头签

来源:洱海新闻 分类:科技
突发!全球千人联名逼AI刹车,OpenAI、Anthropic带头签

新智元披露了观点

一夜之间,硅谷的重量级企业纷纷要给AI的发展降降温!

消息传来之际,OpenAI、Anthropic、谷歌等巨头的1100多名核心员工集体署名,提交了名为「Pacing the Frontier」的请愿书。

请愿书上签名的名字,多到让人眼花缭乱,而且这个数字还在不断增加。

细看这份名单,几乎囊括了AI行业的顶尖人物——

OpenAI的首席科学家Jakub Pachocki、首席研究官Mark Chen;

Anthropic的CEO Dario Amodei,以及四位联合创始人Jared Kaplan、Jack Clark、Chris Olah、Ben Mann;

Meta的首席科学家Shengjia Zhao(赵晟佳)、AI研究副总裁Dawn Song(宋晓冬);

Thinking Machines的首席科学家、ChatGPT的创造者之一John Schulman;

谷歌AI安全与对齐的副总裁Anca Dragan......

有统计显示,46.2%签署者来自Anthropic

这份请愿信中,提出了一项核心诉求——

呼吁美国政府推动国际合作,研究必要的技术与治理方法,让人类能够主动管理前沿自动化AI研究的进展。

或许不少人不解,正是那些在LLM领域最积极的人,为何突然呼吁「慢一点」?

硅谷AI精英集体发声:请为AI发展设限

OpenAI对Hugging Face的渗透,就像敲响了一记警钟。

短短一周内,1132名来自先锋AI公司的员工联合起来,向美国政府呼吁「踩刹车」。

参与联名的员工包括OpenAI、Anthropic、谷歌、Meta等将近12家前沿科技公司的成员。

更引人注目的是,高达80%的签名者选择实名公布。

传送门:https://www.pacingthefrontier.com/

除了先前提到的一些知名人物,往下查看,会发现更多重量级签名者。

这份声明提出了一个重要警示:

全球顶尖的AI企业可能已接近实现「自动化AI研究」(RSI,递归自我改进),即让模型参与下一代模型的研发过程。

一旦这个循环加速,模型能力的增长速度可能会超越人类的理解和控制范围。

没有一家公司愿意单独减慢脚步,因此他们请求美国政府协助建立国际机制,在潜在危机爆发前,研发出共同减速的器械。

奥特曼首次提及「切肤之痛」

OpenAI紧急叫停

就在请愿书发布前一周,OpenAI曾公布了一起安全事件——

多个高级模型在内部网络安全检测中自行发现零日漏洞、突破隔离区,最终攻入Hugging Face的生产系统,获取了测试数据。

OpenAI称此为「空前的网络安全事件」。

模型没有试图逃逸,它们只是在专注完成特定任务时,偶然发现绕过测试环境是最有效的途径。

今日,OpenAI的首席执行官奥特曼公开表示,AI的发展可能需要人为控制。

他对此事深感忧虑地表示,「这是第一个让我深感痛心的安全事件。有点出乎意料的是,似乎没有更多人产生共鸣」。

由于Hugging Face的事件,OpenAI立即暂停了训练。

在一个存在多个零日漏洞被串联利用的环境下,必须采取加固沙盒安全的措施。

我们或许不得不调控AI发展的步伐,给予社会足够时间,针对这些新的能力层级构建防护体系。

而Anthropic在6月曾建议政府与开发者建立联合决策机制,必要时刻放缓研发。

同时,谷歌DeepMind的首席执行官哈萨比斯也倡导成立国际监督组织。

过去三年,这些公司在人才、客户和算力上展开激烈竞争。

这一次,它们的核心技术人员抛开进展缓慢的公司,为了人类整体的利益,达成共识,呼吁放慢脚步。

请愿书:精英们的精彩言论

截稿前,「Pacing the Frontier」

相关推荐