点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:面对基础逻辑陷阱,“数字风洞”大模型竞技场有何表现?
首页> 数字化频道> AI+ > 正文

面对基础逻辑陷阱,“数字风洞”大模型竞技场有何表现?

来源:光明网2024-07-23 18:58

  前不久,网络热门话题“13.11%和13.8%究竟哪个大”引发网友关注,有媒体就这一问题向部分知名问答大模型发起提问,结果发现这些大模型多数都无法正确回答。随后有报道称,“一道小学生难度的数学题竟然难倒了一众海内外AI大模型。”

  关于大模型对数字小数部分识别混淆的问题,业内早有关注,其本质原因并非是在数学计算方面遇到了困难,而是因“分词器”拆解错误和大模型技术架构使然,导致在审题时陷入了误区。除了数学类问题之外,包括在复杂字母图形的识别,复杂语句的梳理等场景下也都存在类似逻辑推理能力缺陷问题。对此现象,永信至诚智能永信团队在AI大模型安全测评“数字风洞”平台的大模型竞技场中,详细展示了相关技术原理。

面对基础逻辑陷阱,“数字风洞”大模型竞技场有何表现?

永信至诚大模型竞技场

  相关负责人介绍,在处理数字问题时,因为神经网络特殊的注意力算法,AI大模型会通过比对小数点后面数值的大小来生成答案,所以AI大模型会得出错误结论。事实上,只需要统一数字格式将小数点后写至百分位,分词器便能够正确识别,进而帮助大模型进行准确的推理判断。

面对基础逻辑陷阱,“数字风洞”大模型竞技场有何表现?

大模型分词器原理

  结合这一技术原理,该团队对阿里通义千问、百度千帆大模型、腾讯混元大模型、字节豆包大模型、360智脑等17个大模型产品开展同场横向对比,通过基础逻辑陷阱类问题,对各家大模型的表现进行测评。测评结果显示,除了基础设施安全、内容安全、数据与应用安全等领域外,大模型底层架构中还存在一些如“分词器”这样易被忽略的设计单元,这些设计单元的错误输出会影响到整个大模型的可靠性和安全性。这也说明大模型的的发展需要伴随持续的检测和改进。

  据介绍,“数字风洞”平台已将“大模型竞技场”功能面向体验用户开放,为大模型开发团队提供横向对比测评的功能,帮助快速检测不同大模型在数学计算、请求代码文档等场景下的回答,以便开发者选择使用开源基座模型进行开发AI应用、Agent或进行训练改进时,更直观对比不同大模型的异常反馈情况,便捷地开展大模型产品选型工作。(吕蒙)

[ 责编:雷渺鑫 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 塞永远铭记中国的帮助

  • 国庆假期壶口瀑布游人众

独家策划

推荐阅读
2024年9月19日,云南省文山市小马厂城市田园综合体内,5000亩梯田水稻金黄满溢,农机轰鸣,穿梭其间加速秋收。
2024-09-19 15:44
2024年9月19日,呼和浩特市玉泉区通顺街小学学生在进行秋收作物运输比赛。
2024-09-19 15:23
“干,才是马列主义!” 中国石油大学暑期实践追寻铁人精神 “干,才是马列主义,不干,半点马列主义也没有!”“宁可少活二十年,拼命也要拿下大油田!” 以“铁人”王进喜为代表的老一代石油人喊出的铮铮誓言,激励着中国石油大学学子追寻铁人精神迈出坚实脚步。
2024-08-27 10:35
奔跑吧·少年2024年内蒙古自治区棒垒球邀请赛在鄂尔多斯市康巴什区开赛。
2024-04-20 17:03
4月2日,随着57652次检测车从南充北站5道缓缓驶出,标志着新建汉中至巴中至南充铁路南充至巴中段(以下称"巴南高铁")启动联调联试,进入工程验收关键阶段,为全线早日开通奠定了坚实基础
2024-04-03 15:11
为切实织密森林“防火网”各地组织人员巡查防火。
2024-04-03 15:11
2024年3月31日,“知音湖北 遇见浪漫孝感”春赏花活动在湖北省孝感市金卉庄园景区启动。金卉庄园花团锦簇,五彩斑斓花卉竞相绽放。人们穿梭在花海之间,享受明媚春光。
2024-04-02 15:40
2024年3月23日,由中国服装设计师协会主办的2024秋冬中国国际时装周在北京开幕。
2024-03-26 21:07
3月17日,原创独立设计师品牌SHANG1 BY SHANGYI 2024秋冬系列时装发布会在北京举行。
2024-03-18 16:39
2024年2月28日,新疆维吾尔自治区巴音郭楞蒙古自治州博湖县境内的博斯腾湖出现推冰景观。
2024-02-29 18:59
云南省曲靖市罗平县马街镇钻天坡,盛开的油菜花梯田在初升太阳映照下,勾勒出一幅田园春景图
2024-02-23 10:59
美丽的三亚湾
2024-01-20 17:42
2024年1月12日,江西省吉安市吉州区庐陵文化生态园层林尽染,色彩斑斓,市民徜徉其间,尽享生态之乐。
2024-01-13 19:43
2023年12月26日,在云南省红河哈尼族彝族自治州元阳县新街镇黄草岭村附近,游客在冬樱花与梯田边游览。
2023-12-26 15:39
2023年12月12日,新疆哈密市巴里坤县第十九届冰雪文化旅游节采冰仪式在高家湖二渠水库进行。仪式主要展示了"头冰"的开采上岸过程。开幕式上还举行迎风旗、祈福词、喝出征酒等仪式。
2023-12-13 16:08
2023年12月13日,河北省正定古城迎来降雪,古城内外银装素裹,犹如一幅淡雅的水墨画,美如画卷。
2023-12-13 15:59
2023年11月28日,贵州省六盘水市明湖国家湿地公园层林尽染,景色迷人。
2023-11-29 15:42
2023年11月28日,江西吉安长塘镇中心小学,老师指导学生剪纸。
2023-11-29 15:42
三角梅原产于巴西,现主要分布在中国、秘鲁、阿根廷、日本、赞比亚等国家和地区。其中,以海南三角梅最为出名。
2023-11-29 11:13
2023年11月23日清晨,朝霞初现,三峡库区湖北省宜昌市秭归县沿江公路G348国道的绝壁岩体上,工人们正在铺设防护网,以防止岩崩和落石。
2023-11-24 15:15
加载更多