传说中gpt-4的“致胜法宝”——moe（混合专家）架构，自己也能手搓了！

Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。

作者介绍，MakeMoE是受到OpenAI创始成员Andrej Karpathy的makemore启发并以之为基础编写的。

makemore是一个针对自然语言处理和机器学习的教学项目，意在帮助学习者理解并实现一些基本模型。

同样，MakeMoE也是在一步步的搭建过程中，帮助学习者更深刻地理解混合专家模型。

那么，这份“手搓攻略”具体都讲了些什么呢？

从头开始搭建MoE模型

和Karpathy的makemore相比，MakeMoE用稀疏的专家混合体代替了孤立的前馈神经网络，同时加入了必要的门控逻辑。

同时，由于过程中需要用到ReLU激活函数，makemore中的默认初始化方式被替换成了Kaiming He方法。

想要创建一个MoE模型，首先要理解自注意力机制。

模型首先通过线性变换，将输入序列变换成用查询（Q）、键（K）和值（V）表示的参数。

这些参数随后被用于计算注意力分数，这些分数决定了在生成每个token时，模型对序列中每个位置的关注程度。

为了确保模型在生成文本时的自回归特性，即只能基于已经生成的token来预测下一个token，作者使用了多头因果自注意力机制。

这种机制通过一个掩码来实现将未处理的位置的注意力分数设置为负无穷大，这样这些位置的权重就会变为零。

多头因果则是让模型并行地执行多个这样的注意力计算，每个头关注序列的不同部分。

完成自注意力机制的配置后，就可以创建专家模块了，这里的“专家模块”是一种多层感知器。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

每个专家模块包含一个线性层，它将嵌入向量映射到一个更大的维度，然后通过非线性激活函数（如ReLU），再通过另一个线性层将向量映射回原始的嵌入维度。

这样的设计使得每个专家能够专注于处理输入序列的不同部分，并通过门控网络来决定在生成每个token时应该激活哪些专家。

于是，接下来就要开始构建分配和管理专家的组件——门控网络。

这里的门控网络同样是通过一个线性层实现，该层将自注意力层的输出映射到专家模块的数量。

这个线性层的输出是一个分数向量，每个分数代表了对应专家模块对于当前处理的token的重要性。

门控网络会计算这个分数向量的top-k值并记录其索引，然后从中选择top-k个最大的分数，用来加权对应的专家模块输出。

为了在训练过程中增加模型的探索性，作者还引入了噪声，避免所有token都倾向于被相同的专家处理。

这种噪声通常通过在分数向量上添加随机的高斯噪声实现。

获得结果后，模型有选择地将前k个值与相应token的前k个专家的输出相乘，然后相加形成加权和，构成模型的输出。

最后，将这些模块在一起，就得到一个MoE模型了。

针对以上的整个过程，作者都提供了相应的代码，可以到原文中具体了解。

另外，作者还制作了端到端的Jupyter笔记，可以在学习各模块的同时直接运行。

感兴趣的话，就赶快学起来吧！

原文地址：https://huggingface.co/blog/AviSoori1x/makemoe-from-scratch
笔记版本（GitHub）：https://github.com/AviSoori1x/makeMoE/tree/main

以上就是MoE大模型制作指南：零基础手打法，大神级教程揭秘的详细内容，更多请关注其它相关文章！

# 个月  # 市场监管好网站推广吗  # 大鹏h5网站建设哪家强  # 营销推广费用怎么定预算  # 霍城营销推广全托管  # 成都网站托管优化  # 许昌seo哪家好  # 网络营销推广的工作总结  # 芜湖网站快速优化公司  # 网站建设行业的前景分析  # 外贸网站营销推广公司  # 开源  # 数据  # 首款  # 博客  # 将于  # 过程中  # 是一个  # 来了  # 大神  # 门控  # hugging face  # ai 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何激活固态硬盘  苹果16系统网站有哪些  迅达热水器显示power是什么意思  夸克学习都有什么课程  typescript在浏览器里怎么用  电动车充电器上的power是什么意思  5G手机导航怎么旋转  内在市盈率是什么意思  typescript为什么能运行  汽车中控导航机power线是什么意思  j*a 怎么清空数组元素  2025年哪个局域网聊天软件好用  shell如何执行sql脚本命令行  春运抢票需要什么软件抢  市盈率和市净率是什么意思  url解码什么意思  三星 nfc什么功能是什么意思  NoSQL数据库有哪些特点  夸克搜题的原理是什么  市盈率pe是什么意思  juice是什么意思  市盈率亏损是什么意思  typescript如何遍历map  如何固态硬盘4k对齐  iphone拍电子屏有横条如何解决  如何进入cmd命令行  华为的nfc功能是什么意思  vs怎么编写typescript  按键精灵datediff函数怎么用 如何使用按键精灵中的Datediff函数教程  固态硬盘如何4k对其  j*a怎么把数组输出  春运提前抢票攻略  如何显示固态硬盘  如何修改cad中的命令  轩逸e-power挡位b是什么意思  复制 命令如何撤销  开机如何运行dos命令提示符  单片机怎么判定高电平  语音聊天软件哪个好 语音聊天软件2025排行榜  电焊机power和oc是什么意思  市盈率市净率是什么意思  直接gmV是什么意思？直接GMV:定义和概念  如何查询固态硬盘寿命  vfp 命令窗口如何实现换行  显示器的power是什么意思  typescript用在哪里  win10电脑如何使用命令提示符  类似微信的聊天软件有哪些  typescript的语法格式是什么  安全的ao3镜像网站链接入口