数学，作为科学的基石，一直以来都是研究和创新的关键领域。

最近，普林斯顿大学等七家机构联合发布了一个专门用于数学的大语言模型LLEMMA，性能媲美谷歌Minerva 62B，并公开了其模型、数据集和代码，为数学研究带来了前所未有的机会和资源。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://arxiv.org/abs/2310.10631

数据集的链接地址为：https://huggingface.co/datasets/EleutherAI/proof-pile-2

挖错网

一款支持文本、图片、视频纠错和AIGC检测的内容审核校对平台。

185 查看详情

项目地址：https://github.com/EleutherAI/math-lm 需要进行重写的是：

LLEMMA承袭了Code Llama的基础，在Proof-Pile-2上进行了预训练。

Proof-Pile-2，一个庞大的混合数据集，包含着550亿token的信息，其中包括科学论文、富含数学内容的网页数据以及数学代码。

这个数据集的一部分，Algebraic Stack，更是汇集了来自17种语言的11B数据集，覆盖了数值、符号和数学证明。

拥有7亿和34亿个参数，在MATH基准测试中表现卓越，超越了所有已知的开源基础模型。

在与Google Research开发的专门用于数学的封闭模型相比，参数量只有Minerva 62B一半的条件下，Llemma 34B获得了几乎相同的性能。

Llemma超越了Minerva在参数基础上解决问题的性能，它利用计算工具和形式定理证明，为数学问题的解决提供了无限的可能性

它能够方便地使用Python解释器和形式证明器，进一步展示了它在解决数学问题方面的能力

由于对形式证明数据的特别重视，Algebraic Stack成为了第一个展示出少样本定理证明能力的开放基础模型

图

研究人员还开放共享了LLEMMA的所有训练数据和代码。与以往的数学模型不同，LLEMMA是一个开源的、开放共享的模型，为整个科研社区敞开大门。

研究人员试图量化模型记忆效果，结果令人惊讶的是，他们发现Llemma对于训练集中出现的问题并没有变得更加准确。由于代码和数据是公开的，研究人员鼓励其他人复制并扩展他们的分析

训练数据和实验配置

LLEMMA是一个专门用于数学的大型语言模型，它在Code Llama的基础上继续在Proof-Pile-2上进行预训练。Proof-Pile-2是一个包含科学论文、含有数学内容的网页数据和数学代码的混合数据集，包含了550亿个标记

AlgebraicStack的代码部分包含了11B的数据集，其中包括17种语言源代码，覆盖数值、符号和形式数学，并已公开发布

LLEMMA的每个模型都是由Code Llama进行初始化的。Code Llama模型是一个仅包含解码器的语言模型，它是从Llama 2进行初始化的

作者对Code Llama模型在Proof-Pile-2上进行了进一步的训练，使用标准的自回归语言建模目标。对于7B模型，作者进行了200B个标记的训练，而对于34B模型，作者进行了50B个标记的训练

评估方法和实验结果

作者使用Proof-Pile-2对Code Llama进行继续预训练，并且在MATH和GSM8k等多个数学问题解决任务上对LLEMMA进行few-shot评估。

研究人员发现LLEMMA在这些任务上都有显著的提升，并且能够适应不同的问题类型和难度。

LLEMMA 34B在极高难度的数学题中展示了比其他开放式基础模型更强大的数学能力

在数学基准测试上，LLEMMA在Proof-Pile-2上的持续预训练改善了五个数学基准测试的few-shot性能。

在GSM8k上，LLEMMA 34B的改进比Code Llama高出20个百分点，在MATH上高出13个百分点。而且，LLEMMA 7B也优于相似大小的专有的Minerva模型，这证明了在Proof-Pile-2上进行预训练能有效提高大模型的数学解题能力

在解决数学问题时，利用计算工具如Python等，LLEMMA在MATH+Python和GSM8k+Python任务上都比Code Llama更出色

在使用MATH和GSM8k数据集时，LLEMMA的性能优于没有使用工具时的性能

在数学证明任务中，LLEMMA表现出色

非正式到正式证明的任务目标是在给定一个正式陈述、一个非正式的LATEX陈述和一个非正式的LATEX证明的情况下，生成一个正式证明，然后通过证明助手进行验证。

正式到正式证明则是通过生成一系列证明步骤（策略）来证明一个正式陈述。结果表明，LLEMMA在Proof-Pile-2上的持续预训练改善了这两个正式定理证明任务的few-shot性能。

LLEMMA不仅拥有令人瞩目的性能、还开放了革命性的数据集、展现了惊人的问题解决能力。

开源共享的精神，标志着数学界进入了一个新的时代。数学的未来在这里，而我们每一个数学爱好者、研究者和教育者都将从中受益。

LLEMMA的出现为我们提供了前所未有的工具，让数学问题的解决变得更加高效和创新。

此外，开放共享的理念也将促进全球科研社区更加深入的合作，共同推动科学的进步。

以上就是普林斯顿开源34B数学模型：参数减半，性能媲美谷歌Minerva，使用550亿Token进行专业数据训练的详细内容，更多请关注其它相关文章！

# 数据  # 附近营销推广公司地址  # 山东seo服务的好方法  # 仁怀网站优化推广seo  # 网店seo 核心要素  # 六安seo推广贵不贵  # 网络营销b推广找微weaurs  # 油菜花营销推广文章  # 句话  # 解决问题  # 腾讯  # 基础上  # 的是  # 进行了  # 是一个  # 数学模型  # 开源  # 普林斯顿  # llama  # 模型  # 网站优化关键词怎么写  # 成本最低的网站建设平台  # 蚌埠seo排名优化公司 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 摄像机的power chg是什么意思中文  j*a怎么复制数组中  typescript的文件如何执行  苹果16系统有哪些功能  光猫power和pon常亮是什么意思  系统如何装在固态硬盘  j*a怎么创建json数组  市盈率为负数是什么意思  如何设置sql命令  阿里云盘扩容工具怎么用  华为交换机如何复制命令行  平仓是什么意思?  video是什么意思  苹果手机16有哪些功能  市盈率回落是什么意思  小屏折叠屏手机有哪些  汽车上power是什么意思  苹果16哪些会降价的  显示器上power键是什么意思  华为的nfc功能是什么意思  市盈率静是什么意思  固态硬盘质量如何  三菱变频器POWER是什么意思  市盈率中的19a是什么意思  如何把一个命令后台运行  如何寻找和修复无法在 AI 中找到文件的问题  学typescript要求什么  360n6锁屏壁纸怎么设置  苹果16有哪些变化尺寸  哪些框架支持typescript  如何将系统移到固态硬盘  如何判断固态硬盘  路亚竿上的power是什么意思  j*a怎么讲数组打印  如何修改域名解析  单片机怎么判定高电平  datediff快捷函数怎么用  typescript怎么设置滚动条  如何学好typescript  如何使用程序编译 执行的命令  交管12123协议头不完整是啥意思  j*a中如何创建列表数组  xdm是什么意思  360n5锁屏壁纸怎么设置  命令行如何打开文件  高市盈率是什么意思  type-c接口接地是什么意思  春运订票什么时候抢票  得物怎样降低手续费 得物如何降低手续费教程  shell如何执行sql脚本命令行