剑桥大学 AI 科学与政策项目 发布研究文章,评估自动化 AI 研发是否会触发智能爆炸,Geoffrey Hinton、Yoshua Bengio 等多位研究者署名。文章称初步证据显示这有可能发生,并预计 AI 系统几年内将自动化大部分研发工作,甚至可能是全部。
剑桥大学 AI 科学与政策项目 CASP 发布研究文章,评估自动化 AI 研发触发智能爆炸的证据、潜在影响与政策应对,署名作者包括 Geoffrey Hinton、Yoshua Bengio、Dawn Song 等人。
文章称,与一年前相比,AI 系统现在已编写构建这些系统的公司内部的大部分代码;随着研发流程更多被自动化,AI 进展可能在智能爆炸中急剧加速,数年进展被压缩为数月或更短,而初步证据显示这有可能发生。
文章称 AI 系统正走向在几年内自动化大部分 AI 研发工作,甚至可能是全部;若因此触发智能爆炸,可能大幅提前 AI 的益处,但也带来极端风险,包括能力增长远超社会跟进速度、人类失去对超人 AI 系统的控制,以及国家、公司和政府各部门内部及相互之间的权力制衡被严重侵蚀。
作者表示其中仍有很大不确定性,但高风险值得认真关注,建议政策制定者紧急掌握 AI 研发自动化的更多情况,开发引导和约束智能爆炸的方法,并让社会准备适应其影响。
Geoffrey Hinton 10 月 2 日发帖称,递归自我改进引发智能爆炸的想法由来已久,此前并不显得迫近,而现在许多领先研究者认为它可能很快发生。

相关链接: