近日

　　2024年高考作文题等

　　高考相关话题引发热议

　　“AI大模型做高考题”

　　也成为一大看点

　　AI参加高考

　　数学能得多少分

　　悄悄问一句

　　高考数学题

　　你还看得懂吗？

　　或许我们看不懂

　　但大模型可以

　　近日

　　复旦大学NLP（自然语言处理）

　　实验室LLMEVAL团队

　　请来13位大模型“考生”

　　一起做2024年高考数学真题

　　结果怎样？

　　先说结论：

　　从整体来看

　　大模型们的“高考成绩”

　　都不算太高

　　OpenAI日前发布的

　　新一代旗舰大模型GPT-4o

　　与阿里云研发的通义千问

　　720亿参数大模型Qwen-72b

　　在两次测试中排名都靠前

　　正确率稳定在60%以上

　　部分大模型的表现

　　存在起伏与波动

　　如百川智能、字节跳动新近发布的

　　Baichuan4和豆包大模型

　　分别在新I卷和新II卷客观题测试中

　　得分排名第一

　　但在另一场测试中

　　排名相对靠后

　　图源：复旦大学NLP实验室

　　根据两次评测结果

　　该团队发现

　　大部分测试大模型在简单题

　　（如选择题前三道）

　　有较好的准确率

　　而在中档题中表现一般

　　对于较难的题目

　　大模型们的准确率会更低

　　少部分题目甚至出现

　　“全军覆灭”的情况

　　人工智能这么“聪明”

　　为什么还会出错?

　　AI为什么会把题做错

　　测试发现

　　让AI大模型做数学题

　　仍是一个难度较大的挑战

　　首先

　　文本输入格式的不同

　　会对测试结果造成

　　比较明显的干扰

　　目前测试主要采用

　　上传图片识别文本的方式

　　这种方式更类似“人类”

　　是对大模型能力的全面考验

　　有的大模型还未做题

　　就先败在了AI识图这一步

　　其次

　　大模型的推理能力

　　仍有很大进步空间

　　较难的题目

　　对思维能力的考察要求更高

　　大模型的准确率也会更低

　　此外

　　在多选题方面

　　大多数模型表现不佳

　　可见，面临复杂选项的时候

　　大模型的准确率也会降低

　　虽然在解题方面

　　AI大模型的短期表现

　　还达不到完美

　　但在攻克数学问题的路上

　　AI的每一次进步

　　都是对未来教育想象空间的开拓

　　值得更多耐心与期待

　　撰文/排版：李汶键 编辑：李飞 统筹：李政葳

　　参考丨复旦大学NLP实验室、澎湃新闻、机器之心、量子位