面对当前微调大模型主要依赖人类生成数据的普遍做法，谷歌 deepmind 探索出了一种减少这种依赖的更高效方法。

如你我所见，大语言模型（LLM）正在改变深度学习的格局，在生|成人|类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能，但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务来说尤为明显，需要大量资源和专业知识。

怎么解决呢？模型生成得合成数据是一种有潜力的替代方案，只要能保证数据的质量，就能实现可扩展性和成本效益。

虽然 LLM 能够自我评估生成的数据，但在本文中，谷歌 DeepMind 探索了一种更简单的设置，将外部标量反馈信号用作每个生成样本的质量指标。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://arxiv.org/pdf/2312.06585.pdf

为了研究在模型生成数据上的训练，研究者考虑了一种简单但强大的语言模型自训练方法，仅需要两项功能，一是基于模型生成样本，二是利用评分机制对这些样本进行评估。

为了确保清晰度和一致性，研究者采用了一种强化自训练方法 ReST^??，并证明该方法可以将期望最大化（expectation-maximization,EM）用于强化学习。具体来讲，ReST^??在期望和最大化步骤之间交替进行。

1. 生成（E-step）：语言模型为每个输入上下文生成多个输出样本，然后使用二元奖励过滤这些样本以收集训练数据集。
2. 改进（M-step）：原始语言模型在来自前一个 E-step 的训练数据集上进行监督微调，然后在下一个 E-step 中使用。

研究者证实，ReST^??及变体在增强各个领域的语言模型方面取得了成功，包括机器翻译、语义分析、偏好对齐和基础推理。

此外，以往工作主要将 ReST^??用于相对较小的模型（最高 70 亿参数），对于较大模型的可扩展性受限。因此，本文旨在探究模型生成的合成数据与人类生成的数据在以下两个具有挑战性但研究较少领域的有效性和可扩展性，这两个领域分别是竞争水平数学解题（MATH）和代码生成（APPS）。

实证结果表明，当将 ReST^??用于不同规模的 PaLM 2 模型时，在数学推理和代码生成任务中实现了显著的能力改进。与在人类编写数据上训练的模型相比，在模型生成的合成数据上微调的模型取得了更大的性能增益。有趣的是，超过了一定数量的 ReST^?? 迭代后，性能会降低，这表明了在少量训练问题上可能会出现过拟合。

此外，使用 ReST^??微调的模型提升了 pass@k 指标和多数投票性能。这些微调后的模型在相关但 held-out 的基准上也表现出了性能增强，包括数学题（GSM8K 和 Hungarian HS finals）、编码（HumanEval）和 Big-Bench Hard 任务。

总之，本文研究结果表明，具有反馈的自训练是减少对人类数据依赖的一种有潜力的方法。

用于强化自训练的期望最大值（EM）

首先，该研究基于 Dayan 和 Hinton 之前的研究，用语言模型描述了基于 EM 的强化学习框架。具体而言，他们先是定义了一个二进制最优变量 O，使得?(?= 1|?，?)∝?(?(?，?))；然后对非递减函数 ? : ℝ → ℝ+ ，实现最大化观察?= 1（获得高奖励），得到如下公式：

然而，求解上式中的序列 ? 的和很棘手。因而本文考虑相对于参数 ? 和变分分布 ?( ?|?) 最大化其 ELBO ?( ??, ?)，而不是最大化 log ?(? = 1; ?)。具体来说：

公式（2）中的 EM 算法在 E-step（Expectation） 和 M-step（Maximization）之间交替进行。

ReST^??：受 EM 框架的启发，接下来论文讨论了 Gulcehre 等人提出的 ReST 方法的简化版本。为了清楚起见，本文将这种方法称为 ReST^??，它将 RL pipeline 中的数据收集 (E-step) 和策略优化 (M-step) 进行解耦。如算法 1 所示：

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

生成（E-step）：在此步骤中，该研究通过从当前策略 ?? 中采样输出序列来生成数据集。在这里，输入是从原始数据集中重新采样的。然后使用二元奖励函数 ?(?, ?) 对中的输出序列进行评分。

改进（M-step）：在第 ?步迭代中，该研究使用 E-step 中的新数据集来微调策略 ??。不同于 Gulcehre 的研究，他们微调基本预训练语言模型，以最大限度地减少特定于任务的过度拟合并最大限度地减少与基本模型的偏差。为了进行微调，该研究最小化奖励加权负对数似然损失。一旦策略得到改进，就可以再次创建质量更好样本的新数据集。

实验和分析

本文进行实验的主要目标是回答以下问题：

1. 与人类生成的数据进行微调相比，ReST^??的效果如何？ 
2. 需要多少次迭代才能获得最佳性能？ReST^??多长时间会导致训练集过度拟合？ 
3. ReST^??如何影响 pass@k 和多数投票表现？ 
4. 如果用户在特定任务上使用模型生成的数据进行微调，是否会迁移到其他任务上？在广泛的任务中评估本文的微调模型时，与基本模型相比，性能是否会下降？
5. 大约需要多少输入数据才能从 ReST^?? 获得大部分性能提升？ReST^??的一次迭代是否足够？

该研究使用 PaLM 2 模型和 Google Cloud 上的公共 API 进行实验，包括 PaLM 2-S (Bison)、PaLM 2-S* (Codey) 和 PaLM 2-L (Unicorn)。训练数据集采用 MATH 数据集和 APPS 数据集。

图 2 和图 3 分别显示了 ReST^??在 MATH 和 APPS 数据集上训练的性能。可以得出 MATH 受益于  ReST^?? 的多次迭代，无论是在 MATH 测试集上的性能还是迁移到 GSM8K 方面。另一方面可以看到 APPS 的大部分收益来自第一次迭代，而执行更多次迭代会导致 APPS 和 HumanEval 的性能下降。

训练和测试性能的差距。图 4 显示，虽然训练集性能随着 ReST^??迭代次数线性增加，但测试集性能却没有。对于 MATH，第一次迭代后测试性能改进很小，而对于 APPS，在第二次迭代中观察到性能回归。该研究猜测性能的回归可能是由于过度拟合造成的。由于 APPS 数据集的大小约为 MATH 数据集的三分之一，因此它更容易受到此问题的影响。

图 5 显示了 Palm-2-L 模型在 pass@K 指标上的性能。结果显示，微调后获得的 ReST^?? 模型对于所有 K 值都更强，其中性能差距通常在 K=1 时最大。

以上就是大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好的详细内容，更多请关注其它相关文章！

# 工程  # 工业品网站如何优化  # 网站推广平台排行前十  # 三杯水营销推广  # 就能  # 是一种  # 在这里  # 是在  # 取得了  # 新潮流  # 的是  # 是否会  # 出了  # 迭代  # type  # deepmind  # 菏泽网站优化出售  # 东城网站推广优化外包  # 营销推广方法三大类  # 宁德seo哪家好  # 南沙seo外包服务  # 山东网站建设好申请吗  # Mr. 闫 网站建设 推广 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： ai怎么找链接文件位置教程  光刻机的分类及其优缺点  硬件如何执行命令  笔记本电脑多少钱  进口超级维特拉三门版power是什么意思  html怎么使用typescript  没网环境如何安装typescript  课程伴侣登不上怎么办  datediff函数怎么用视频  命令行下如何导出数据库  夸克网盘下载为什么要钱  typescript怎么拼接  如何知道固态硬盘  空调power灯一直闪是什么意思  春运抢票何时开始抢票的  更换固态硬盘如何检查  夸克是什么空间单位  爱奇艺vip会员可以同时几个人用？  市盈率20a21e是什么意思  夸克的答案为什么不对  哪个品牌有折叠屏手机卖  gs是什么意思  如何进入安卓命令行  ssd固态硬盘如何选择  折叠屏手机为什么凉凉  直接gmV是什么意思？直接GMV:定义和概念  阿里云盘共享账户怎么用  苹果16会升级哪些  雅迪电动车上的power是什么意思  命令行如何打开文件  春运抢票可以抢几张  苹果电脑如何输入命令  j*a对数组怎么使用  旧固态硬盘如何卖出  春运抢票还用取票吗  hen是什么意思  如何设置sql命令  vs如何输入命令行参数  如何测固态硬盘芯片  8800日元等于多少人民币  360手机壁纸怎么改  如何显示固态硬盘  如何去掉拍电脑的纹路详细教程  春运抢票准备什么东西  苹果16系统有哪些改变  windows 如何连接ftp命令行  华为如何面对苹果16  如何安装tree命令  solidworks打开IGS文件作图教程  苹果16会有哪些更新