点击右上角
微信好友
朋友圈

请使用浏览器分享功能进行分享

光明网讯(记者 张晨昊)7月15日,由世界互联网大会人工智能专委会主办的“前沿人工智能安全风险的协同治理”研讨会在北京召开。主旨发言环节,360集团首席科学家、高级副总裁潘剑锋聚焦智能体技术,从特点、风险、防护思路、协同治理等多个方面进行系统分享。

360集团首席科学家、高级副总裁 潘剑锋
潘剑锋表示,智能体是能感知环境、自主决策、执行行动的智能系统,具有自主性、协同性、演化性三大核心特征。当下建立在智能体基础上的大模型概率性计算、上下文推理机制天生具有不确定性,直观表现在推理逻辑锻炼、上下文跑偏、工具调用失控等方面。
潘剑锋认为,不确定性是把双刃剑,一方面赋予AI开放、创造的能力,另一方面也是其新型安全风险的本源。由于依托传统软硬件运行,因此智能体依然在基础设施、通信与接口、应用与行为等方面存在传统安全风险,并具有外部意图不确定性与内部幻觉不确定性两类新型安全风险,这两类风险还会外延至行为安全风险。
在潘剑锋看来,智能体安全的全域防护整体思路可以分为三个层面。一是采用AI加持的方式,让传统安全防护更加高效。二是解决不确定性问题本身,从源头识别恶意意图以及降低模型幻觉的概率。三是让不确定性任务安全执行,即使不确定性完全无法消除,也要确保它不会造成实际伤害。
针对人工智能安全全球化协同治理,潘剑锋认为,当下全球AI安全治理最大的短板是缺少统一的度量标尺,因此亟须构建全球的AI不确定性度量、评测与互认的基准体系。在建立统一度量标准的基础上,依靠常态化攻防验证,主动挖掘模型与供应链隐患,提前释放未知风险;同时联合中立机构开展跨国演练,依托持续对抗,缓释AI内外双重不确定性。
