最新研究揭示大语言模型推理能力的局限性：enigmaeval 基准测试结果

Scale AI、Center for AI Safety 和 MIT 的研究人员联合发布了新的多模态推理基准测试 ENIGMAEVAL，再次挑战了大语言模型的推理能力。该基准包含 1184 个难题，涵盖解谜寻宝竞赛中的各种类型，测试模型的逻辑推理、创造性思维和跨学科知识运用能力。难题分为普通难度 (Normal) 和困难难度 (Hard) 两类，分别包含 949 道和 235 道题目。 难题以原始 PDF 图片和结构化文本-图像两种格式提供，以评估模型的端到端能力和独立推理能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

测试结果显示，即使是像 OpenAI 的 o1 这样的顶尖模型，在普通难度谜题上的准确率也仅为 7.0% 左右，在困难难度谜题上的准确率则为 0%。这与经验丰富的人类解谜者的表现形成鲜明对比。 研究发现，模型在处理原始 PDF 格式的谜题时，性能会显著下降，这表明一些前沿模型的 OCR 和文档解析能力仍然存在限制。

ENIGMAEVAL 基准与此前发布的“人类的最后考试”（HLE）基准一起，为评估大语言模型提供了更全面的视角，并突显了当前模型在复杂推理任务上的不足。 研究人员指出，AI 距离真正理解世界还有很长的路要走。 值得注意的是，DeepSeek R1 未参与本次测试，其表现值得关注。

ENIGMAEVAL 基准的谜题来源及难度分布如下表所示：

Glarity

Glarity是一款免费开源的AI浏览器扩展，提供YouTube视频总结、网页摘要、写作工具等功能，支持免费的镜像翻译，电子邮件写作辅助，AI问答等功能。

131 查看详情

普通难度谜题示例：

困难难度谜题示例：

实验结果表明，所有测试的顶尖 LLM 在 ENIGMAEVAL 上的表现都不理想，尤其是在困难难度谜题上完全失败。 这进一步强调了当前大语言模型在复杂推理方面的挑战。

以上就是AI无法攻克的235道谜题！让o1、Gemini 2.0 Flash Thinking集体挂零的详细内容，更多请关注其它相关文章！

# 是在  # 做seo营销推广  # seo优化方案示范  # 清吧营销推广文案  # seo关键词视频  # 湖南营销推广快剪  # 抚顺网站优化哪家正规  # 推广网站晌云速捷好口碑  # 网站建设描述  # 抖音小店的营销推广模式  # 关键词全网优化推广营销  # 都不  # 参编  # 工程  # 我国  # 的是  # 正式发布  # 下载使用  # 首个  # 等功能  # 开源  # deepseek  # gemini  # ai  # scale ai 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 咋免费领取爱奇艺会员 如何免费领取爱奇艺会员步骤  估值水平比较中市盈率E是什么意思  空调主板单片机怎么拆开  typescript中文怎么读  折叠手机屏易坏吗为什么  360n6锁屏壁纸怎么设置  怎么看手机是不是双模5g手机  linux如何安装yum命令  春运抢票哪里最火热  r中如何逐行执行命令  如何以命令符运行程序  typescript与es6学哪个  空调控制面板power灯一直亮是什么意思  为什么ai老是说链接面板中缺少某些文件  苹果16充电方式有哪些  怎么在typescript写原型链  安装固态硬盘如何设置  8800日元等于多少人民币  一年多少周  manager是什么意思  春运抢票可以抢几张  显示器power接口是什么意思  命令控制台如何执行sql文件  春运抢票准备什么  光刻机分类有哪些品牌的  干股是什么意思  计数器上power是什么意思  typescript参数怎么用  typescript如何生成uuid  ssd固态硬盘如何选择  单片机计数程序怎么写  NoSQL数据库有哪些特点  夸克链信有什么用  固态硬盘坏了如何换硬盘  电瓶车充电器power是什么意思  净水器上的power是什么意思  固态硬盘如何测试  系统如何装在固态硬盘  怎么把手机里爱奇艺的视频下载到u盘里  j*a map数组怎么取值  j*a对数组怎么使用  linux下如何重定位命令  有什么基础可以学typescript  折叠屏手机哪个卖得最好  分销是什么意思  如何加装固态硬盘  闪光灯power闪烁是什么意思  如何修改域名解析  win10电脑如何使用命令提示符  光刻机的分类及特点