新智元披露了观点
一夜之间,硅谷的重量级企业纷纷要给AI的发展降降温!
消息传来之际,OpenAI、Anthropic、谷歌等巨头的1100多名核心员工集体署名,提交了名为「Pacing the Frontier」的请愿书。
请愿书上签名的名字,多到让人眼花缭乱,而且这个数字还在不断增加。
细看这份名单,几乎囊括了AI行业的顶尖人物——
OpenAI的首席科学家Jakub Pachocki、首席研究官Mark Chen;
Anthropic的CEO Dario Amodei,以及四位联合创始人Jared Kaplan、Jack Clark、Chris Olah、Ben Mann;
Meta的首席科学家Shengjia Zhao(赵晟佳)、AI研究副总裁Dawn Song(宋晓冬);
Thinking Machines的首席科学家、ChatGPT的创造者之一John Schulman;
谷歌AI安全与对齐的副总裁Anca Dragan......
有统计显示,46.2%签署者来自Anthropic
这份请愿信中,提出了一项核心诉求——
呼吁美国政府推动国际合作,研究必要的技术与治理方法,让人类能够主动管理前沿自动化AI研究的进展。
或许不少人不解,正是那些在LLM领域最积极的人,为何突然呼吁「慢一点」?
硅谷AI精英集体发声:请为AI发展设限
OpenAI对Hugging Face的渗透,就像敲响了一记警钟。
短短一周内,1132名来自先锋AI公司的员工联合起来,向美国政府呼吁「踩刹车」。
参与联名的员工包括OpenAI、Anthropic、谷歌、Meta等将近12家前沿科技公司的成员。
更引人注目的是,高达80%的签名者选择实名公布。
传送门:https://www.pacingthefrontier.com/
除了先前提到的一些知名人物,往下查看,会发现更多重量级签名者。
这份声明提出了一个重要警示:
全球顶尖的AI企业可能已接近实现「自动化AI研究」(RSI,递归自我改进),即让模型参与下一代模型的研发过程。
一旦这个循环加速,模型能力的增长速度可能会超越人类的理解和控制范围。
没有一家公司愿意单独减慢脚步,因此他们请求美国政府协助建立国际机制,在潜在危机爆发前,研发出共同减速的器械。
奥特曼首次提及「切肤之痛」
OpenAI紧急叫停
就在请愿书发布前一周,OpenAI曾公布了一起安全事件——
多个高级模型在内部网络安全检测中自行发现零日漏洞、突破隔离区,最终攻入Hugging Face的生产系统,获取了测试数据。
OpenAI称此为「空前的网络安全事件」。
模型没有试图逃逸,它们只是在专注完成特定任务时,偶然发现绕过测试环境是最有效的途径。
今日,OpenAI的首席执行官奥特曼公开表示,AI的发展可能需要人为控制。
他对此事深感忧虑地表示,「这是第一个让我深感痛心的安全事件。有点出乎意料的是,似乎没有更多人产生共鸣」。
由于Hugging Face的事件,OpenAI立即暂停了训练。
在一个存在多个零日漏洞被串联利用的环境下,必须采取加固沙盒安全的措施。
我们或许不得不调控AI发展的步伐,给予社会足够时间,针对这些新的能力层级构建防护体系。
而Anthropic在6月曾建议政府与开发者建立联合决策机制,必要时刻放缓研发。
同时,谷歌DeepMind的首席执行官哈萨比斯也倡导成立国际监督组织。
过去三年,这些公司在人才、客户和算力上展开激烈竞争。
这一次,它们的核心技术人员抛开进展缓慢的公司,为了人类整体的利益,达成共识,呼吁放慢脚步。
请愿书:精英们的精彩言论
截稿前,「Pacing the Frontier」








