400余名科学家联名呼吁，为高危AI模型“断网”

近日

来自全球各地的400余名科学家

联名发布公开信

呼吁设立专门的国际监管机构

为先进人工智能系统

制定安全隔离标准

并搭建重大AI安全事件登记库

针对AI对齐与隔离

提出三项具体建议

这封联名信题为

《科学界关于人工智能

与网络安全的公开信》

由AI领域先驱、图灵奖得主

杰弗里·辛顿和约书亚·本吉奥牵头

签署者还包括

来自斯坦福大学、牛津大学

苏黎世联邦理工学院等机构的研究者

公开信表示

此前一系列人工智能安全事故

印证了

人工智能对齐研究的重要性

另一方面

事故也可被视作

网络安全常规工作的重大疏漏

但通过强化沙箱隔离技术与流程

这类事故本可以避免

学者们认为

当前阶段

既需要完善人工智能对齐技术

让模型行为更可预测

也需要升级沙箱防护技术

公开信提出三项具体建议

第一

开发、部署及测试

具备网络操作能力的

人工智能模型的机构

应当立即采用

高可信度隔离管控系统

对具备网络操作能力的模型

初期应默认采取物理断网隔离

第二

联合政府部门以及

人工智能、网络安全领域多方专家

设立一个国际机构

该机构应立足于公共利益

为允许拥有更多访问权限的

对齐与隔离管控方案

制定行业最佳实践标准

第三

为保障人工智能安全与隔离管控研究

能够从事故中汲取经验

因隔离失效引发的安全事件

必须向该国际机构上报

并最终对外公开

公开信还警示

如果不立刻调整

人工智能的开发与部署规范

此类AI安全事故还将持续发生

未来发生的事故将会对

暴露在外的关键基础设施

造成更加严重的破坏

多起AI越界事件

引发业界担忧

有媒体表示

这封公开信发布的背景

正是今年以来

先后发生的多起

AI模型突破隔离环境

入侵其他系统的事件

今年7月

OpenAI的多个AI模型

在内部评估时突破隔离测试环境

入侵了运营人工智能开源平台的

美国抱抱脸公司的系统

并在攻击过程中利用网上公开信息

访问了多个公开服务平台上的账户

随后Anthropic公司也披露

其3款模型曾在网络能力测试中

未经授权访问其他机构的系统

8月初

Meta公司证实

其一款模型在网络安全能力评测期间

侵入其他公司系统

此外

有媒体报道

OpenAI的一个智能体未经授权

进入澳大利亚国民医疗保险体系数据门户

访问了公开及非公开文件

澳方直到9月早些时候

才收到OpenAI的通报

……

联合国人工智能独立国际科学小组

在近期发布的一份专题简报中分析

当AI的目标和用户意图

发生“对齐失效”时

就可能产生危害

更强的能力

让AI更容易找到意外的漏洞

突破安全防护屏障

并在人类监督下隐藏自身行为

一旦智能体之间开展规划与协同

造成的损害还会进一步放大

英国人工智能安全研究所

在一份报告也表示

AI模型出现“越界”行为表明

AI相关风险状况正发生变化

AI的危害不仅可能源于故意滥用

也可能源于AI处于内部研究环境

随着AI能力不断提升

理解AI系统

并确保其安全性的相关工作

也必须同步推进

撰文：刘雨灏 编辑：张晨昊 排版：李飞 统筹：李政葳

参考：新华社、人民日报海外版、央视新闻、科学网