一个参数量为13B的模型竟然能击败顶级的GPT-4？就像下图所示，为了确保结果的有效性，这项测试还遵循了OpenAI的数据去噪方法，并且没有发现任何数据污染的证据

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

观察图中的模型，你会发现只要带有「rephraser」这个词，模型的性能都相对较高

这背后到底有何猫腻？原来是数据污染了，即测试集信息在训练集中遭到泄漏，而且这种污染还不易被检测到。尽管这一问题非常关键，但理解和检测污染仍然是一个开放且具有挑战性的难题。

现阶段，去污最常用的方法是 n-gram 重叠和嵌入相似性搜索：N-gram 重叠依赖于字符串匹配来检测污染，是 GPT-4、PaLM 和 Llama-2 等模型常用方法；嵌入相似性搜索使用预训练模型（例如 BERT）的嵌入来查找相似且可能受到污染的示例。

然而，来自 UC 伯克利、上海交通大学的研究表明测试数据的简单变化（例如，改写、翻译）就可以轻松绕过现有的检测方法。他们并将测试用例的此类变体称为「需要改写的内容是：改写样本（Rephrased Samples）」。

以下是MMLU基准测试中需要改写的内容是：改写样本的演示结果。结果表明，如果训练集中包含这种样本，13B模型可以达到非常高的性能（MMLU 85.9）。可惜的是，现有的检测方法（如n-gram重叠和嵌入相似性）无法检测到这种污染。例如，嵌入相似性方法很难将改写问题与同一主题中的其他问题区分开来

通过类似的改写技术，本文在广泛使用的编码和数学基准测试中观察到一致的结果，例如 HumanEval 和 GSM-8K（如文章开头图中所示）。因此，能够检测此类需要改写的内容是：改写样本变得至关重要。

接下来，我们看看这项研究是如何进行的。

• 论文地址：https://arxiv.org/pdf/2311.04850.pdf
• 项目地址：https://github.com/lm-sys/llm-decontaminator#detect

论文介绍

随着大模型（LLM）的快速发展，人们对测试集污染问题的关注越来越多。许多人对公共基准的可信度表示担忧

为了解决这个问题，一些人使用传统的去污方法，例如字符串匹配（如n-gram重叠），来删除基准数据。然而，这些操作远远不够，因为只需对测试数据进行一些简单的更改（例如改写、翻译），就可以轻松地绕过这些净化措施

如果不消除测试数据的这种更改，13B 模型很容易过度拟合测试基准并实现与 GPT-4 相当的性能，这是更重要的。研究人员在 MMLU、GSK8k 和 HumanEval 等基准测试中验证了这些观察结果

同时为了解决这些日益增长的风险，本文还提出了一种更为强大的基于 LLM 的去污方法 LLM decontaminator，并将其应用于流行的预训练和微调数据集，结果表明，本文提出的 LLM 方法在删除需要改写的内容是：改写样本方面明显优于现有方法。

这一做法也揭露了一些先前未知的测试重叠（test overlap）。例如，在 RedPajamaData-1T 和 StarCoder-Data 等预训练集中，本文发现 HumanEval 基准有 8-18% 重叠。此外，本文还在 GPT-3.5/4 生成的合成数据集中发现了这种污染，这也说明了在 AI 领域存在潜在的意外污染风险。

我们希望通过本文，呼吁社区在使用公共基准时采取更加强有力的净化方法，并积极开发新的一次性测试案例来准确评估模型

需要改写的内容是：改写样本

本文的目标是调查训练集中包含测试集的简单变化是否会影响最终的基准性能，并将测试用例的这种变化称为「需要改写的内容是：改写样本」。实验中考虑了基准的各个领域，包括数学、知识和编码。示例 1 是来自 GSM-8k 的需要改写的内容是：改写样本，其中有 10-gram 重叠无法检测到，修改后和原始文本保持相同的语义。

改写技术针对不同形式的基准污染存在微小差异。在基于文本的基准测试中，本文通过重新排列词序或使用同义词替换等手段，对测试用例进行改写，以达到不改变语义的目的。而在基于代码的基准测试中，本文则通过改变编码风格、命名方式等方式进行改写

如下所示，算法 1 中针对给定的测试集提出了一种简单的算法。该方法可以帮助测试样本逃避检测。

接下来本文提出了一种新的污染检测方法，可以准确地从相对于基准的数据集中删除需要改写的内容是：改写样本。

具体而言，本文引入了 LLM decontaminator。首先，对于每个测试用例，它使用嵌入相似度搜索来识别具有最高相似度的 top-k 训练项，之后通过 LLM（例如 GPT-4）评估每一对是否相同。这种方法有助于确定数据集中有多少需要改写的内容是：改写样本。

在图4中展示了不同污染和不同检测方法的维恩图

实验

在第 5.1 节中，实验证明了在需要改写的内容是：改写样本上训练的模型可以取得显着的高分，在三个广泛使用的基准（MMLU、HumanEval 和 GSM-8k）中实现与 GPT-4 相当的性能，这表明需要改写的内容是：改写样本应被视为污染，应从训练数据中删除。在第 5.2 节中，本文根据 MMLU/HumanEval 中需要改写的内容是：改写样本评估不同的污染检测方法。在第 5.3 节中，本文将 LLM decontaminator 应用于广泛使用的训练集并发现以前未知的污染。

我们接下来来看一些主要的结果

需要改写的内容是：重写污染标准样本

如表 2 所示，在需要改写的内容是：改写样本上训练的 Llama-2 7B 和 13B 在 MMLU 上取得显着的高分，从 45.3 到 88.5。这表明经过改写的样本可能会严重扭曲基准数据，应被视为污染。

本文还对 HumanEval 测试集进行了改写，并将其翻译成五种编程语言：C、J*aScript、Rust、Go 和 J*a。结果显示，在需要改写的内容是：改写样本上训练的 CodeLlama 7B 和 13B 在 HumanEval 上可以取得极高的分数，分别从 32.9 到 67.7 以及 36.0 到 81.1。相比之下，GPT-4 在 HumanEval 上只能达到 67.0。

下表 4 取得了同样的效果：

对检测污染方法的评估

如表 5 所示，除 LLM decontaminator 外，所有其他检测方法都会引入一些误报。改写和翻译的样本都不会被 n-gram 重叠检测到。使用 multi-qa BERT，嵌入相似性搜索被证明对翻译样本完全无效。

数据集的污染状况

在表7中，显示了每个训练数据集中不同基准的数据污染百分比

LLM decontaminator 揭示了 79 个自需要改写的内容是：改写样本的实例，占 MATH 测试集的 1.58%。示例 5 是 MATH 训练数据中 MATH 测试的改写示例。

请查看原论文以获取更多信息

以上就是13B模型在与GPT-4的全面对决中占据优势？背后是否存在某些不寻常的情况？的详细内容，更多请关注其它相关文章！

# ai  # 这一  # 测试中  # 检测到  # 提出了  # 检测方法  # 是否存在  # 对决  # 在与  # llama  # 模型  # 所示  # 专业商城网站建设方案  # 王通seo教学视频  # 服饰国外推广网站公司  # 当阳营销推广  # 吴中关键词排名在哪里  # 谷歌seo图标优化  # 滦平道路建设招标网站  # pc网站建设怎么选  # 英文网站建设推广优化  # 桂平seo优化排名软件  # 腾讯 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： meet是什么意思  苹果16将会带来哪些升级  命令行如何启动应用程序  typescript与es6学哪个  win10如何打开dos命令窗口大小  区块链的热闹将何去何从？  问一下市盈率是什么意思  33000日元等于多少人民币  typescript接口怎么选  solidworks打开IGS文件作图教程  固态硬盘如何启动  市盈率估值1stdv是什么意思  固态硬盘如何保存  夸克转存中是什么意思  折叠手机屏易坏吗为什么  j*a对数组怎么使用  mac 如何启动命令行模式  折叠屏手机哪个牌子性价比高  夸克解压什么意思  苹果16送哪些配件  如何为服务器配置静态路由？服务器配置静态路由详细教程  bored是什么意思  对应市盈率是30X是什么意思  交管12123协议头不完整怎么解决  显示器上power键是什么意思  分享一个稳定的ao3镜像网址  没网环境如何安装typescript  春运抢票技巧攻略  j*a数组逆序怎么写  typescript入门要多久  shell如何注释所有命令  linux如何切换到命令行模式  m*en repository的作用是什么  如何测试固态硬盘速度  如何用adb命令停用系统软件  typescript有什么作用  华为的nfc功能是什么意思  汽车的type-c接口是什么  如何安装台式机固态硬盘  华为的type-c接口是什么接口  东芝固态硬盘如何保修  手机全功能type-c接口是什么意思  苹果16日发售哪些机型  iPhone无法打开YouTube原因分析与解决方案  苹果16多有哪些功能  a03怎么根据编号找文链接入口  单片机是怎么计时的  锤子手机怎么不出5g  直接gmV是什么意思？直接GMV:定义和概念  显卡上面TYPE-C是什么接口