新闻中心

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

2024-07-17
浏览次数:
返回列表
网友很好奇,Mathstral能不能搞定「9.11和9.9谁大」这一问题。

昨天,AI圈竟然被「9.11和9.9谁大」这样简单的问题攻陷了,包括OpenAI GPT-4o、Google Gemini等在内的大语言模型都翻了车。Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

mistral ai两连发:7b数学推理专用、mamba2架构代码大模型

这让我们看到,大语言模型在处理一些数字问题时并不能像人类那样理解并给出正确的答案。

对于数字以及复杂的数学问题,专用模型更术业有专攻。

今天,法国大模型独角兽 Mistral AI 发布了一个专注于数学推理和科学发现的7B大模型「Mathstral」,来解决需要复杂、多步骤逻辑推理的高级数学问题。

该模型基于 Mistral 7B 构建,支持的上下文窗口长度为32k,遵循的开源协议为Apache 2.0 license。

Mathstral在构建时追求出色的性能与速度权衡,这是 Mistral AI积极推广的一种开发理念,尤其是微调功能。

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

同时,Mathstral是一个指令型模型,可以使用它或者对它进行微调。模型权重已经放在了HuggingFace上。

  • 模型权重:https://huggingface.co/mistralai/mathstral-7B-v0.1

下图为 Mathstral 7B和Mistral 7B之间的MMLU性能差异(按学科划分)。

Mathstral在各种行业标准基准上都达到其规模范围内的 SOTA 推理性能。尤其是在MATH数据集上,它取得了 56.6%的通过率,在MMLU上取得了63.47%的通过率。

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

同时,Mathstral在MATH上的通过率(56.6%)比 Minerva 540B 高出 20% 以上。此外,Mathstral 在MATH 上以多数投票@64的成绩得分为68.4%,使用奖励模型的成绩为 74.6%。

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

这一成绩也让网友好奇,Mathstral能不能搞定「9.11和9.9谁大」这一问题。

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

千鹿Pr助手 千鹿Pr助手

智能Pr插件,融入众多AI功能和海量素材

千鹿Pr助手 128 查看详情 千鹿Pr助手
代码大模型:Codestral Mamba

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

  • 模型权重:https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

与Mathstral 7B一同发布的,还有一款专门用于代码生成的Codestral Mamba模型,使用的是Mamba2架构,同样遵循Apache 2.0 license开源协议。这是一个指导模型,有70多亿参数,研究者可以免费使用、修改和分发。

值得一提的是,Codestral Mamba是在Mamba作者Albert Gu、Tri Dao帮助下设计完成的。

一直以来,Transformer 架构撑起了AI领域的半壁江山,然而,与 Transformer 不同的是,Mamba 模型具有线性时间推理优势,并且理论上能够对无限长度的序列进行建模。该架构允许用户广泛地与模型互动,并且响应迅速,而不受输入长度的限制。这种效率对于代码生成尤其重要 。

在基准测试中,Codestral Mamba 在 HumanEval 测试中的表现优于竞争对手开源模型 CodeLlama 7B、CodeGemma-1.17B 和 DeepSeek。 

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

Mistral 测试了该模型,该模型可以在 Mistral 的 la Plateforme API 上免费使用,可处理多达 256,000 个token的输入——是 OpenAI 的 GPT-4o 的两倍。

随着Codestral Mamba发布,就有网友在 VSCode中用起来了,很是丝滑。

Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型

参考链接:
https://mistral.ai/news/mathstral/
https://mistral.ai/news/codestral-mamba/

以上就是Mistral AI两连发:7B数学推理专用、Mamba2架构代码大模型的详细内容,更多请关注其它相关文章!


# vscode  # 开封seo营销推广案例  # 网络推广哪些网站好做呢  # 网站制作优化推广  # 网站推广申请书  # seo优化多久才有效果  # 学院网站建设工作分工表  # 网站建设系统规划方案  # 武城网站优化公司招聘网  # 如何应对  # 你该  # 句话  # 网易  # 通过率  # 是在  # 这一  # 神技  # 的是  # 开源  # type  # llama  # mistral ai  # gemini  # deepseek  # apache  # 产业  # 网站关键词如果推广  # 深圳南山区公司网站优化 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 更换固态硬盘如何检查  j*a中如何创建列表数组  360n7lite怎么设置动态壁纸  typescript是什么软件  爱奇艺vip会员可以同时几个人用?  春运哪天抢票最好预约  单片机怎么读取电流值  如何拍屏幕不出条纹详细方法  m*en repository的作用是什么  hen是什么意思  如何发挥固态硬盘性能  ip dhcp是什么意思  固态硬盘如何显示  debian10和ubuntu20哪个好用  光猫power灯一直闪是什么意思  单片机怎么连接电路图  什么是域名解析 域名解析中采用了什么  ai怎么找链接文件位置教程  typescript中范围如何设定  苹果16系统网站有哪些  春运抢票软件哪个最好用  手机全功能type-c接口是什么意思  typescript用在哪里  j*a怎么创建json数组  intel固态硬盘如何安装  51单片机怎么连接端口  双十一的哪一天最优惠呢  j*a怎么把数组输出  照相机上面power是什么意思  安全的ao3镜像网站链接入口  如何安装tree命令  typescript是什么类型的语言  春运辅助抢票怎么抢  固态硬盘如何备份  折叠屏手机好不好,耐不耐用  openwrt有哪些功能  固态硬盘颗粒如何修理  本科一批和本科二批是什么意思  如何用命令打开光驱  manager是什么意思  如何在命令行执行一个jar  如何用命令查看数据库日志文件  苹果16更新了哪些软件  三星相机里power是什么意思  苹果16哪些型号好  如何提高固态硬盘性能  如何提高固态硬盘速度  typescript如何标记私有方法  宝马x5仪表盘上边有power是什么意思  j*a怎么处理json数组 

搜索