把huggingface上的现成模型拿来“攒一攒”——

直接就能组合出新的强大模型？！

日本大模型公司sakana.ai脑洞大开（正是“Transformer八子”之一所创办的公司），想出了这么一个进化合并模型的妙招。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

该方法不仅能自动生成新的基础模型，而且性能绝不赖：

他们利用一个包含70亿个参数的日语数学大型模型，在相关基准测试中取得了最先进的结果，超越了700亿参数的Llama-2等先前模型。

最重要的是，得出这样的模型不需要任何梯度训练，因此需要的计算资源大大减少。

英伟达科学家Jim Fan看完大赞：

这是我最近读过的最有想象力的论文之一。

合并进化，自动生成新基础模型

从开源大模型排行榜上表现最好的模型，大多不再是LLaMA或Mistral这种“原始”模型，而是一些微调或合并模型之后，我们就能看出：

一种新的趋势出现了。

Sakana.ai介绍，开源基础模型很容易在数百个不同的方向上进行扩展和微调，然后产生在新的领域表现出色的新模型。

而在这之中，模型合并显现出了巨大前景。

但，它可能是一种“黑魔法”，严重依赖直觉和专业知识。

因此，我们需要更为系统性的方法。

受自然界的自然选择启发，Sakana.ai盯上了进化算法，引入“进化模型合并”（Evolutionary Model Merge）的概念，提出一种可以发现最佳模型组合的通用方法。

该方法结合了两种不同的思路：

（1）合并数据流空间（层）中的模型，以及（2）合并参数空间（权重）中的模型。

具体而言，第一种数据流空间方法是通过进化来发现不同模型层的最佳组合，以此形成新模型。

在社区以往的做法中，都是靠直觉来确定如何以及模型哪些层可以与另一个模型的层结合。

但其实，Sakana.ai介绍，这个问题有一个组合数量巨大的搜索空间，最适合由优化算法如进化算法来搜索。

其操作示例如下：

至于第二个参数空间方法则混合多个模型权重来形成新模型。

这种方法其实很无数种实现，再加上混合的每一层原则上可以使用不同的混合比例，就更多了。

而这，利用进化方法就可以有效地找出更为新颖的混合策略。

以下是将两个不同模型的权重进行混合得到新模型的操作示例：

将以上这两种方法合并，就是这样的：

作者介绍，他们希望在相距较远的领域，例如数学和非英语语言、视觉和非英语语言，来组成之前大家不曾探索过的新兴组合。

结果，还真有点让人惊喜。

新模型轻松拿下SOTA

用以上进化合并方法，团队得到了3个基础模型：

• 大语言模型EvoLLM-JP

由日语大模型Shisa-Gamma和数学大模型WizardMath/Abel合并而成，擅长解决日语数学问题，进化了100-150代。

• 视觉语言模型EvoVLM-JP

日语大模型Shisa Gamma 7B v1+LLaVa-1.6-Mistral-7B，是具有日语能力的VLM。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

• 图像生成模型EvoSDXL-JP

支持日语的SDXL扩散模型。

前两个已在Hugging Face和GitHub上发布，最后一个也即将推出。

具体来看。

1、EvoLLM-JP

它在GSM8K数据集的多语言版本——MGSM的日语评估集上取得成绩如下：

可以看到，EvoLLM-JP用日语解决数学问题的表现超过了它们的原始模型，也超过了Llama-2、GPT-3.5等高性能模型。

其中模型4是仅在参数空间进行了优化，模型6是使用模型4在数据流空间中进一步优化的结果。

在既评估数据能力也评估一般日语能力的日语lm-evaluation-harness基准上，EvoLLM-JP则在9个任务上的平均得分最高达到了70.5——只用70亿参数，它就打败了700亿的Llama-2等模型。

团队表示，EvoLLM-JP已经足够优秀，可以作为通用日语大模型，并解决一些有趣的例子：

比如需要特定日本文化知识的数学问题，或者用关西方言讲日本笑话。

2、EvoVLM-JP

在以下两个图像问答的基准数据集上，分数越高，代表模型用日语回答的描述越准确。

结果，它不仅比其所基于的英语VLM LLaVa-1.6-Mistral-7B更出色，也比现有的日语VLM更厉害。

如下图所示，在回答图中的信号灯为什么颜色之时，只有EvoVLM-JP答对：蓝色。

3、EvoSDXL-JP

这个支持日语的SDXL模型只需4个扩散模型即可执行推理，生成速度相当快。

具体跑分还没出来，但团队透露也是“相当有希望的”。

可以欣赏一些示例：

提示词包括：味噌ラーメン、最高品質の浮世絵、葛飾北斎、江戸時代。

对于以上3个新模型，团队指出：

原则上，我们可以采用基于梯度的反向传播来进一步提高以上这些模型的性能。

但我们不用，因为现在的目的就是表明，即使没有反向传播，我们仍然可以得到足够先进的基础模型，挑战当前的“昂贵范式”。

对此，网友们纷纷点赞。

Jim Fan也补充：

在基础模型领域，目前社区几乎完全专注于让模型去学习，而不太重视搜索，但后者在训练（也就是本文提出的进化算法）和推理阶段其实都有巨大的潜力。

△马斯克点赞

所以，如网友所说：

我们现在已经处于模型的寒武纪大爆发时代了吗？

论文地址：https://arxiv.org/abs/2403.13187

以上就是模型合并就进化，直接拿下SOTA！Transformer作者创业新成果火了的详细内容，更多请关注其它相关文章！

# 训练  # 昌乐营销推广软件  # 西安抖音营销推广价格表  # 西安助贷推广招聘网站  # 实拍  # 自动生成  # 日本  # 就能  # 英语  # 开源  # 新能源  # 并就  # 火了  # 日语  # llama  # hugging face  # 数据  # 临沂线上seo策划  # 免费的专利推广网站  # 长沙seo新浪博客  # 辽宁网站建设销售公司  # 汝南推广网站多少钱  # 黄州品牌推广网站在哪里  # 金湖网络推广招聘网站 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： debian10和ubuntu20哪个好用  交管12123协议头不完整是啥意思  如何提高import命令的性能  联想的固态硬盘如何  如何创建解压文件命令  如何设置从固态硬盘启动  笔记本如何使用固态硬盘  如何查询固态硬盘寿命  为什么夸克流畅播失败  ospf中交换机命令如何设置  如何给电脑加装固态硬盘  苹果16系统网站有哪些  51单片机贴片怎么*  区块链的热闹将何去何从？  如何去掉拍电脑的纹路详细教程  excel中datediff函数怎么用  typescript中文怎么读  ip dhcp是什么意思  type-c全能接口是什么意思  51单片机怎么用flash  pp是什么意思  j*a数组怎么取元素  vi命令如何使用方法  折叠屏手机共有哪些  360手机壁纸怎么改  单片机引脚怎么改成上拉  宝马x5仪表盘上边有power是什么意思  市盈率亏损是什么意思  如何安装m.2固态硬盘  typescript卸载不掉怎么办  固态硬盘如何装入机箱  固态硬盘颗粒如何修理  春运抢票软件哪个最好用  固态硬盘如何迁移系统  video是什么意思  苹果16更新了哪些软件  a股等权市盈率中位数是什么意思  win10电脑如何使用命令提示符  如何为服务器配置静态路由？服务器配置静态路由详细教程  爱奇艺vip会员可以同时几个人用？  主板如何禁用固态硬盘  苹果16promax有哪些颜色  typescript怎么判断单选按钮  反向春运抢票方式  type-c接口接地是什么意思  vs怎么编写typescript  如何用dos命令启动u盘  夸克文字口令是什么意思  科技型企业成长＂十步法＂  如何看固态硬盘型号