“留给人类阻止AI的时间不多了”

henry 发自 凹非寺

量子位 | 公众号 QbitAI

“我坚信，AI有可能终结我们所有人，而留给我们阻止这一结局发生的时间，或许已经不多了。”

说出这句话的，是不久前从Google DeepMind离职的AI安全研究员 Bilal Chughtai 。

自2021年从剑桥大学数学专业毕业以后，Chughtai逐渐将研究重心转向AI，并于2022年初进入这一领域，关注安全、对齐和机制可解释性。

此后的四年里，他一路从研究神经网络内部机制，到追踪模型欺骗、研究如何识别AI是否在“撒谎”，再到加入Google DeepMind继续做AGI安全与可解释性研究，几乎一直待在AI安全研究的一线。

也正是在这四年间，他（和我们）亲眼见证了AI能力的飞速变化～

在离职帖中，Chughtai回忆，2022年刚入行时，AI还只是个“几乎没什么用”的东西；而今年，它已经能攻克困扰人类上百年的数学难题，并开始不受控制，主动攻击Hugging Face系统。

可以说，这份超越预期的能力进步，在带给Chughtai惊喜的同时，也成为了他离职谷歌，在推特上打出“我坚信，AI有可能杀死我们所有人”的理由。

目前，这条帖子在X上已经获得超过80万次浏览，并引来彭博等媒体跟进报道。

可以说，相比于Dario、奥特曼、马斯克等巨头掌舵者的风险表态，Chughtai这样的研发人员，让这场关于人类未来的宏大争论，落回了一个个具体的人身上。

他们把时间、才华和对未来的期待，投入到一行行代码、一次次实验中，亲手推动AI走到今天。

如今，这些离技术最近的人，开始在自己参与创造的未来面前感到不安。

Chughtai并非孤例，面对AI的巨大潜力与失控风险，越来越多一线研发人员开始公开讲述自己的不安，以及继续留下或转身离开的理由。

9月9日，研究员 *Jacob Coxon 发帖宣布从Anthropic离职，并直接点名两家前东家：

OpenAI和Anthropic都没有负责任地行事。它们正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。

发布后，这条帖子迅速走红网络，截至目前已有1.71亿次浏览，不仅引来多家媒体报道，也得到了OpenAI、Anthropic乃至官方层面的回应。

能掀起这么大的波澜，人们很容易以为，发声的是某位行业大佬。但事实上，Jacob今年才27岁，而这，甚至是他发出的第一条推文。

1999年出生的Jacob，曾两次代表英国参加国际数学奥林匹克，分别在2016年和2017年获得银牌、铜牌。

在剑桥大学完成数学学业后，他先后加入OpenAI和Anthropic，从事预训练研究。GPT-4o的贡献者名单中，就有他的名字。

和许多投身AI的年轻研究员一样，Jacob曾努力让AI变得更强。如今，他却开始担心，人类会因此失去控制。

在离职帖中，Jacob特别强调，行业内部一些人对AI可能毁灭人类的担忧是认真的。他们私下表达的恐惧，甚至比公开场合更加强烈。

但意识到危险，并没有让这场竞赛慢下来。

在他看来，OpenAI内部的许多人，还没有真正理解这项技术所牵涉的文明层面的风险；Anthropic更清楚其中的危险，却同样被竞争推着向前：如果自己不率先造出超级智能，就会有一家更不负责任的公司抢先做到。

当每家公司都相信，只有自己赢了，未来才会更安全，继续加速就总能找到理由。

于是，Jacob决定先让自己停下来，暂时离开前沿AI实验室。

很快，这份声明得到了Anthropic对齐研究负责人的 Evan Hubinger 的回应。

Evan表示，他同意Jacob对风险的判断：他们确实认真地相信，AI存在杀死所有人的可能。他个人估计，未来十年内发生这种情况的概率超过10%。