新闻中心

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

2024-07-22
浏览次数:
返回列表

小模型成趋势?

本周,OpenAI 上线小模型 GPT-4o-mini,小模型赛道正式开卷。近期加入这一赛道的还有苹果。

最近,苹果公司作为 DataComp-LM(DCLM)项目的研究机构之一,在 Hugging Face 上发布了 DCLM-7B 开源模型。该模型性能已经超越了 Mistral-7B,并且正在逼近其他领先的开源模型,包括 Llama 3 和 Gemma。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

  • 论文链接:https://arxiv.org/pdf/2406.11794

  • 项目链接:https://huggingface.co/apple/DCLM-7B

论文作者之一、苹果机器学习团队 Vaishaal Shankar 将 DCLM 模型描述为「真正开源的最佳模型」,因为 DCLM 不仅开源了模型权重,还开源了训练代码和预训练数据集。

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

研究介绍

大型语言模型(LLM)目前面临的一个评估挑战是缺乏受控比较。LLM 研究通常会比较采用不同架构、计算或超参数的模型,因此难以理清影响语言模型质量的因素。

基于此,研究团队提出了语言模型数据比较新基准 ——DCLM,这是语言模型训练数据整编(curation)的第一个基准,旨在让 LLM 通过设计高质量数据集来提高模型性能,特别是在多模态领域。

研究团队发现基于模型的过滤,即由机器学习 (ML) 模型从较大的数据集中自动过滤和选择高质量数据,可能是构建高质量训练集的关键。

DCLM 整体思路很简单:使用一个标准化的框架来进行实验,包括固定的模型架构、训练代码、超参数和评估,最终找出哪种数据整理策略最适合训练出高性能的模型。

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

使用 DCLM,研究团队构建了一个高质量数据集 DCLM-BASELINE,并用该数据集从头开始训练了一个 7B 参数模型 —— DCLM-7B。

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

                         DCLM-7B 模型的细节。

DCLM-7B 使用基于 OpenLM 框架的预训练方案,在 MMLU 基准上 5-shot 准确率达到 64%,可与 Mistral-7B-v0.3(63%)和 Llama 3 8B(66%)相媲美,并且在 53 个自然语言理解任务上的平均表现也可与 Mistral-7B-v0.3、Llama 3 8B 相媲美,而所需计算量仅为 Llama 3 8B 的 1/6。

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

以下是 DCLM-7B 在各种任务(部分)上的评估结果:

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

DCLM-7B 与其他同等大小模型比较结果如下表所示:

权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了

值得注意的是,大部分其他模型虽然开放权重但封闭数据。这就是 Vaishaal Shankar 将 DCLM 模型描述为「真正开源」的原因。

参考链接:https://venturebeat.com/ai/apple-shows-off-open-ai-prowess-new-models-outperform-mistral-and-hugging-face-offerings/

以上就是权重、代码、数据集全开源,性能超越Mistral-7B,苹果小模型来了的详细内容,更多请关注其它相关文章!


# 五大  # 怀化市城乡建设信息网站  # 互联网推广营销好做吗  # 衡水网站推广有哪些  # 饶阳优化网站软件  # 网络营销推广的好处  # 兰州网站建设银行  # 常州关键词排名费用多少  # 橙子营销推广策划方案范文  # 陕西关键词排名可以做吗  # 黄州seo推广技巧分享  # 之争  # 新能源  # 产业  # 都能  # 华纳  # 南极  # 高质量  # 来了  # 开源  # type  # llama  # hugging face  # dclm  # 苹果公司 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: solidworks打开igs文件看不见要怎么办解决方法  65寸电视长宽多少厘米  电瓶车的power是什么意思  统计学中power值是什么意思  命令行如何运行c  360f4怎么取消百变壁纸  市盈率动亏损是什么意思  汽车上power是什么意思  路由器power闪红绿灯闪是什么意思  12306放票时间规律(2025)  固态硬盘如何4k对其  如果公司ttm市盈率为负数是什么意思  市盈率估值1stdv是什么意思  为什么夸克下载不到  51单片机贴片怎么*  什么是unix时间戳  建伍遥控器power是什么意思  春运大巴上抢票怎么抢票  苹果16将会带来哪些升级  命令行下如何导出数据库  j*a怎么清除数组  NoSQL数据库有哪些特点  单片机怎么判定高电平  单片机怎么控制闪烁技术  更换固态硬盘如何检查  typescript的文件如何执行  市盈率高是什么意思  ts什么意思  手机拍显示屏有条纹怎么去除  如何判断固态硬盘  juice是什么意思  solidworks打开IGS文件作图教程  冰柜power是什么意思这个黄灯怎么不亮  小屏折叠屏手机有哪些  typescript能开发什么  苹果ipad爱奇艺怎么投屏到电视  怎么在typescript定义集合  docs命令如何进入d  如何看固态硬盘信息  汽车排量是什么意思  华为5g手机怎么选择  电脑命令如何删除账号  typescript怎么写call方法  安装固态硬盘如何设置  营收和gmv区别_营收和gmv有什么区别  单片机.lib文件怎么打开  如何提高固态硬盘速度  如何设置sql命令  三星固态硬盘如何保修  苹果16配置参数有哪些 

搜索