点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控
首页> 数字化频道> 要闻 > 正文

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

来源:光明网2025-02-25 18:14

网络强国·百人谈

  从之前的恶搞企业家雷军,到不久前AI制作张文宏医生音视频为自己带货,甚至还有不法分子利用AI深度合成视频进行诈骗。在AI技术飞速发展的今天,你是否能确定视频通话中的人,真的如画面所示?如今,通过大模型技术,仅需一张照片、一段视频或语音,就能将另一段视频中人物的面容及声音完全替换,甚至可以直接应用到实时直播视频之中。

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

  中关村现代信息消费应用产业技术联盟副理事长 包冉:如果在没有经过被使用人、团队或机构的合法授权,从而进行的通过深度合成技术换脸的行为,显然已经构成了侵犯他人名誉权、肖像权、个人隐私权等合法权利的严重嫌疑。

  我国对于AI合成技术,已经作出了较为充分的规定。比如,国家网信办联合多部委发布的《互联网信息服务深度合成管理规定》《生成式人工智能服务暂行管理办法》等政策规定,明确要求深度合成服务提供者落实信息安全主体责任,使用者不得滥用深度合成服务。在此基础上,如果相关组织或个人利用这种深度合成的技术进行非法牟利,那么这就已经触犯到了刑事犯罪的范畴。

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

  在互联网技术改变生活的同时,数字支付也成为人们日常最主流的交易方式,而面容认证作为数字经济中最常见的安全保障方式,面对如今以假乱真的AI换脸技术,是否还能起到防御作用?

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

  腾讯安全风控安全专家黄泽丰:在人脸技术检测方面,目前我们提供了更好的保障,通过从不同节点进行防御,如通过使用安全可信设备,利用3D结构光检测或对可信设备进行环境安全检测,利用相机指纹,包括更多模态的检测方式,不仅是通过人脸识别,更从多因子多模态进行检测识别,并利用算法的分层对抗,确保数字信息安全。

  随着大模型的力量日益强大,曾经的“眼见为实”也不再那么令人笃定。近日,记者调查发现,互联网上不仅有人随意兜售推广此类AI合成软件,还开设了教学课程,“手把手”教你如何训练出“特定”模型。这项技术到了不法分子手中,利用窃取到的被害人亲友面部与声纹信息,便可以通过“换脸”后的视频通话,对受害人进行诈骗。

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

  北京师范大学法学院博士生导师吴沈括:实际从AI换脸,包括深度伪造相关的产业链上来看,涉及的主体非常多样,无论是研发、设计、应用、销售、代理都有可能进入到产业链当中。

  那么,从具体的法律责任来划分,可以分为两种情况:一种是属于不知晓、不知情的情形,需要考虑结合具体情况,涉事主体是否应当注意到自身行为的合法性,如果具备这样的注意义务,就应当承担法律责任。

  另一种情况则是明知并且故意去帮助和促进这种行为的实现。在这种情况下,涉事主体可能会涉及故意的违法犯罪行为。具体而言,比如,从设计者在设计过程中,目的就是为了实施深度合成相关的违法犯罪行为,那这就可能涉及共同违法犯罪问题。同样,如果在设计过程中,有意运用他人数据并进行滥用,就可能涉及对于他人信息的侵犯行为。

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

  北京师范大学法学院博士生导师吴沈括:在国家监管过程中,应重视构建多方参与治理的架构。比如,要求平台积极落实本身的主体责任,对于涉及到深度合成或者其他技术所形成的内容,它的合法性、合规性需要有巡查、审查的义务,如果出现用户投诉举报的情形,平台也应当及时的干预并作出处置。同时,我们也非常重视对于用户本身素质素养的提升。因为客观来说,在深度合成或其他的新技术所形成的内容场景中,用户本身鉴别力提升非常重要。这也是我们在监管过程中所体现出来的,具有中国实践基础的治理思路。

  在科技飞速发展的时代,唯有创新与监管并驾齐驱,技术才能真正成为向善的力量。用规则为发展校准方向,不仅是对技术的敬畏,更是对安全的守护。以智慧驾驭变革,以责任平衡速度,AI终将成为照进现实的美好愿景。

  

  光明网数字化频道、网络安全频道&《信息安全研究》杂志社联合出品

  监制:张宁  策划:李政葳  拍摄:曾震宇 王恺 陈疆伟  制作:曾震宇  撰文:陆野 王恺  配音:赵鹏超

从恶搞名人到诈骗作恶,AI换脸背后谨防技术失控

网络强国·百人谈”更多内容欢迎扫码关注专栏

[ 责编:李飞 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 2026首届上海商业航天大会暨展览会开幕

  • 安徽五河:纺织服装产业转型升级助力县域经济发展

独家策划

推荐阅读
新疆昌吉回族自治州呼图壁县境内的天山百里丹霞景区雪后初霁,丹霞地貌披上银装。层峦叠嶂的山脉起伏错落,红岩与白雪交织
2026-03-13 13:47
河北省邯郸市邯山区实验小学联合邯山区市场监督管理局开展"沉浸式体验消费场景、筑牢青少年维权屏障"主题教育活动,小学生们在工作人员的带领下走进超市,学习食品安全及消费维权相关知识,争当维权小卫士,迎接"3·15"国际消费者权益日的到来
2026-03-13 14:08
贵州省黔东南苗族侗族自治州丹寨县扬武镇五一村油菜花竞相绽放、草木新绿,与苗族村寨相映成景,描绘出一幅春和景明的乡村画卷
2026-03-13 14:02
江苏省南京市溧水区状元坊小学运动场上活力四射,学生们在老师的组织下有序开展轮滑、跳绳、篮球等各类体育运动,尽享快乐校园时光
2026-03-13 14:01
春风拂面,各地市民游客纷纷走出家门,踏青赏花、游园观景,尽享烂漫春光。大江南北繁花似锦,文旅市场暖意融融,赏花热潮持续升温,在欢声笑语中勾勒出一幅生机盎然的春日画卷,“赏花经济”也在春日里悄然绽放活力。
2026-03-13 13:58