AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 图2（a）：在Python编程中，原始代码虽然正确，但将变量定义与使用分割到不同的训练序列中会引入语法错误，导致某些变量在后续训练序列中未定义，从而使得模型学习到错误的模式，并可能在下游任务中产生幻觉。例如，在程序合成任务中，模型可能会在没有定义的情况下直接使用变量。
• 图2（b）：截断同样损害了信息的完整性。例如，摘要中的“Monday morning”无法与训练序列中的任何上下文匹配，导致内容失实。这种信息不完整性会显著降低模型对上下文信息的敏感度，导致生成的内容与实际情况不符，即所谓的不忠实生成 （unfaithful generation）。
• 图2（c）：截断还会阻碍训练期间的知识获取，因为知识在文本中的表现形式通常依赖完整的句子或段落。例如，模型无法学习到ICML会议的地点，因为会议名称和地点分布在不同的训练序列中。

^{图2. 文档截断导致幻觉或知识丧失的例子。 (a) 变量定义（蓝色部分）被截断，随后的使用调用导致未定义名称（红色部分）。 (b) 关键上下文信息被截断（蓝色部分），使得摘要不准确于原文（红色部分）。 (c) 由于截断，模型不知道ICML 2025的举办地点。}

在打包阶段，通过使用段树（Segment Tree）的数据结构，使得每次寻找最佳适配容器的操作只需对数时间，即O（log L）。又因为L

紧凑性 ：

紧凑性是衡量打包算法效果的另一个重要指标，在不破坏原文档完整性的同时需要尽可能减少训练序列的数量以提高模型训练的效率。

在实际应用中，通过精确控制序列的填充和排布，最佳适配打包能够生成几乎与传统方法相当数量的训练序列，同时显著减少了因截断而造成的数据损失。

基于在自然语言（RefinedWeb） 和编程语言（The Stack） 数据集上的实验，我们发现最佳适配打包显著降低了文本截断。

值得注意的是，大多数文档包含的token数少于2048个；由于传统拼接-分块时造成的截断主要发生在这一范围内，而最佳适配打包不会截断任何长度低于L的文档，由此有效地保持了绝大多数文档的完整性。

^{图4:当最大序列长度设置为2k或8k时，在不同文档长度下,每个文档长度对应的文档数量和截断数量。使用“最佳适应打包”（Best-fit Packing）技术后，截断数量明显减少。上方：自然语言。下方：编程语言。}

实验与结果

研究人员详细报告了使用最佳适配打包与传统方法（即拼接方法）训练的语言模型在不同任务上的表现对比，包括：自然语言处理和编程语言任务，如阅读理解 （Reading Comprehension）、自然语言推理 （Natural Language Inference）、上下文跟随 （Context Following）、文本摘要 （Summarization）、世界知识 （Commonsense and Closed-book QA） 和程序合成 （Program Synthesis），总计22个子任务。

实验涉及的模型大小从70亿到130亿参数不等，序列长度从2千到8千令牌，数据集涵盖自然语言和编程语言。这些模型被训练在大规模的数据集上，如Falcon RefinedWeb和The Stack，并使用LLaMA架构进行实验。

实验结果表明，使用最佳适配打包在在一系列任务中提升了模型性能，尤其是在阅读理解 （+4.7%）、自然语言推理 （+9.3%）、上下文跟随 （+16.8%） 和程序合成 （+15.0%） 等任务中表现显著（由于不同任务的度量标准的规模各异，作者默认使用相对改进来描述结果。） 

经过统计检验，研究者发现所有结果要么统计显著地优于基线（标记为s），要么与基线持平（标记为n），且在所有评测的任务中，使用最佳适配打包均未观察到性能显著下降。

这一一致性和单调性的提升突显了最佳适配打包不仅能提升模型的整体表现，还能保证在不同任务和条件下的稳定性。详细的结果和讨论请参考正文。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

作者们重点研究了最佳适配打包对幻觉的影响。

在摘要生成中，使用QAFactEval度量发现采用最佳适配打包的模型在生成幻觉方面有显著降低。

更为显著的是，在程序合成任务中，使用最佳适配打包训练的模型生成代码时，“未定义名称”（Undefined Name）的错误减少了高达58.3%，这表明模型对程序结构和逻辑的理解更为完整，从而有效减少了幻觉现象。

作者们还揭示了模型在处理不同类型知识时的表现差异。

如前所述，训练过程中的截断可能影响信息的完整性，从而妨碍知识的获取。但大多数标准评估集中的问题侧重于常见知识 （common knowledge），这类知识在人类语言中频繁出现。因此即使部分知识因截断而丢失，模型仍有很好的机会从文档片段中学习到这些信息。

相比之下，不常见的尾部知识（tail knowledge）更容易受到截断的影响，因为这类信息在训练数据中出现的频率本身就低，模型难以从其他来源补充丢失的知识。

通过对ARC-C和ARC-E两个测试集的结果分析，研究者发现，相较于含有更多常见知识的ARC-E，使用最佳适配打包会使模型在含有更多尾部知识的ARC-C中有更显著的性能提升。

通过计算每对问题-答案组合在 Kandpal et al. （2025） 预处理的Wikipedia实体映射中的共现次数，这一发现得到了进一步验证。统计结果显示，挑战集（ARC-C）包含了更多罕见共现的对，这验证最佳适配打包能有效支持尾部知识学习的假设，也为为何传统的大型语言模型在学习长尾知识时会遇到困难提供了一种解释。

总结

本文提出了大型语言模型训练中普遍存在的文档截断问题。

这种截断效应影响了模型学习到逻辑连贯性和事实一致性，并增加了生成过程中的幻觉现象。作者们提出了最佳适配打包（Best-fit Packing），通过优化数据整理过程，最大限度地保留了每个文档的完整性。这一方法不仅适用于处理数十亿文档的大规模数据集，而且在数据紧凑性方面与传统方法持平。 

实验结果显示，该方法在减少不必要的截断方面极为有效，能够显著提升模型在各种文本和代码任务中的表现，同时有效减少封闭域的语言生成幻觉。尽管本文的实验主要集中在预训练阶段，最佳适配打包也可广泛应用于其他如微调阶段。这项工作为开发更高效、更可靠的语言模型做出了贡献，推动了语言模型训练技术的发展。

有关更多研究细节，请参阅原始论文。如果有意向工作或实习，可邮件联系本文作者 zijwan@amazon.com.

以上就是ICML 2025 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准的详细内容，更多请关注其它相关文章！

# python  # 过程中  # 减少了  # 更容易  # 的是  # 编程语言  # 数据结构  # 提出了  # 这一  # 文档  # type  # follow  # llama  # 工程  # 自然语言  # 柳州网店seo优化  # 呈贡网站优化渠道开发  # 西安网络推广是哪个网站  # 安阳网站优化公司地址  # 松原seo公司认准15火星  # 顺义网站推广价格  # 北京进口网站建设指导  # 汶上seo优化联系方式  # 东城区电商网站推广分类  # 承德网站建设费用多少 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 苹果16哪些功能好用  喇叭上标的power30w是什么意思  为什么用typescript  oracle中datediff函数怎么用 Oracle中DATEDIFF函数详解  固态硬盘2m如何修复  db2命令中如何去到指定的副本  vs怎么编写typescript  电焊机power和oc是什么意思  春运大巴上抢票怎么抢票  如何查看邮件域名解析  苹果16自带配件有哪些  春运抢票极速版怎么抢票  如何winpe cmd命令  自己如何加装固态硬盘  2026年将会大爆发的15个新科技  typescript用在哪里  市盈率是负数是什么意思  vue组件typescript怎么用  什么叫typescript  win7怎么做幻灯片  高市盈率是什么意思  a股等权市盈率中位数是什么意思  春运抢票需要抢几天  如何使用命令行界面  单片机怎么加死循环  哪里要用typescript  ai文件在线打开工具有哪些  固态硬盘如何测试  得物上怎么样申请退换货 得物上退换货详细指南(包含海外）  双十一的哪一天最优惠呢  单片机计数程序怎么写  摩托车上power是什么意思  华硕k20ce怎么装win7  一秒是多少毫秒  手机nfc功能功能是什么意思  debian10和ubuntu20哪个好用  安装固态硬盘如何设置  苹果16有哪些不同  电动车充电器上的power是什么意思  typescript怎么使用vue  苹果16会升级哪些  品道音响上的power键是什么意思  市盈率静是什么意思  混合固态硬盘如何分区  typescript接口怎么选  typescript学会要多久  交管12123协议头不完整怎么弄  华为使用nfc功能是什么意思  hp固态硬盘如何安装  夸克的答案为什么不对