谷歌deepmind最近发现的一项新结果在transformer领域引起了广泛争议：

它的泛化能力，无法扩展到训练数据以外的内容。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

目前这一结论还没有进一步得到验证，但已经惊动了一众大佬，比如Keras之父Francois Chollet表示，如果消息为真，将成为大模型界的一件大事。

谷歌Transformer是今天大模型背后的基础架构，我们所熟悉的GPT里的“T”指的就是它。

一系列大模型表现出强大的上下文学习能力，可以快速学习示例并完成新的任务。

但现在，同样来自Google的研究人员似乎指出了它的致命缺陷——超出训练数据也就是人类已有知识之外，全都无能为力。

一时间，不少从业者认为AGI再次变得遥不可及。

有些网友指出，论文中还有一些被忽视的关键细节，例如实验只涉及到了GPT-2的规模，训练数据也不够丰富

随着时间的推移，更多认真研究了这篇论文的网友则指出，研究结论本身没什么问题，但人们却基于此做出过度的解读。

在论文引发网友热议后，其中一位作者也公开进行了两点澄清：

首先，实验中采用的是简单的Transformer，既不是“大”模型，也不是语言模型；

其次，模型是可以学习新任务的，只是无法泛化到新类型的任务

此后，又有网友在Colab中重复了这一实验，却得到了完全不同的结果。

那么，我们就先来看看这篇论文，还有提出不同结果的Samuel，到底都说了什么。

新函数几乎无法预测

在这个实验中，作者使用基于Jax的机器学习框架训练了一个规模接近GPT-2的Transformer模型，该模型仅包含解码器部分

这个模型包含12层，8个注意力头，嵌入空间维度为256，参数量约为950万

为了测试它的泛化能力，作者选择了函数作为测试对象。他们将线性函数和正弦函数作为训练数据输入模型中

这两种函数对于此时的模型来说是已知，预测的结果自然也很好，但当研究者把线性函数和正弦函数进行了凸性组合时，问题就出现了。

凸性组合并没有那么神秘，作者构建出了形如f(x)=a·kx+(1-a)sin(x)的函数，在我们看来不过是两个函数按比例简单相加。

我们之所以会这样认为是因为我们的大脑具备这种泛化能力，而大规模模型则不同

对于只学过线性和正弦函数的模型来说，简单的相加看起来很新颖

针对这种新函数，Transformer的预测几乎没有任何准确性（见图4c），因此作者认为该模型在函数上缺乏泛化能力

为了进一步验证自己的结论，作者调整了线性或正弦函数的权重，但即使这样Transformer的预测表现也没有显著的变化。

Glean

Glean是一个专为企业团队设计的AI搜索和知识发现工具

210 查看详情

只有一点例外——当其中一项的权重接近1时，模型的预测结果和实际就比较吻合了。

如果权重为1，则表示陌生的新函数直接变成了训练时已经见过的函数，这种数据对于模型的泛化能力显然没有什么帮助

进一步实验还显示，Transformer不仅对于函数的种类十分敏感，甚至同种函数也可能变成陌生条件。

研究人员发现，在改变正弦函数的频率时，即使是简单的函数模型，预测结果也会出现线束变化

只有当频率接近训练数据中的函数时，模型才能给出比较准确的预测，当频率过高或过低时，预测结果出现了严重的偏差……

据此，作者认为，条件只要稍微有点不一样，大模型就不知道怎么做了，这不就是说明泛化能力差吗？

作者在文中也自述了研究中存在的一些局限性，如何将函数数据上的观察应用到token化的自然语言问题上。

团队也在语言模型上尝试了相似的试验但遇到一些障碍，如何适当定义任务族（相当于这里的函数种类）、凸组合等还有待解决。

然而，萨缪尔的模型规模较小，只有4层，在Colab上训练5分钟后就可以适用于线性与正弦函数的组合

不能泛化又如何

根据整篇文章的综合内容来看，Quora CEO在这篇文章中的结论非常狭隘，只有在许多假设成立的情况下才能成立

斯隆奖得主、UCLA教授顾全全说，这篇论文本身的结论不存在争议，但不应该被过度解读。

根据之前的研究，Transformer模型只有在面对与预训练数据明显不同的内容时才无法泛化。事实上，大型模型的泛化能力通常是通过任务的多样性和复杂性来评估的

如果仔细追究Transformer的泛化能力，恐怕要让子弹再飞一会儿了。

但是，就算真的缺乏泛化能力，又能怎么样呢？

英伟达AI科学家Jim Fan就说，这种现象其实没啥奇怪的，因为Transformer本来就不是万金油，大模型表现得好，是因为训练数据刚好是我们关心的内容。

Jim进一步补充道，这就好像是在说，用一千亿张猫狗的照片训练视觉模型，接着让模型去识别飞机，然后发现，哇，居然真的不认识诶。

人类在面对一些未知任务时，不仅仅是大规模模型，也未必能够找到解决方案。这是否也暗示了人类缺乏泛化能力呢？

因此，在以目标为导向的过程中，不论是大型模型还是人类，最终的目的都是解决问题，而泛化只是一种手段

将这个表达方式换成中文，既然泛化能力不足，那就将其训练到没有训练样本之外的数据为止

那么，对于这项研究，你有什么看法呢？

论文地址：https://arxiv.org/abs/2311.00871

以上就是谷歌大模型研究引发激烈争议：训练数据之外的泛化能力受到质疑，网友表示AGI奇点或被推迟的详细内容，更多请关注其它相关文章！

# 下载使用  # 海尔的网络营销推广系统  # 网站推广拓客系统  # 威海营销推广服务好  # 外贸网站推广软件怎么做  # 深圳抖音关键词搜索排名平台  # 国内电商关键词挖掘排名  # 思米网站推广怎么样做好  # 网站建设推广哪里好薇  # 深泽通用网站建设资费  # 新乡做网站推广  # 模型  # 最全  # 句话  # 站上  # 解决问题  # 斯隆  # 是因为  # 这一  # 这篇  # 腾讯  # 谷歌 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 2026年将会大爆发的15个新科技  手机如何运行ping命令  为什么进行域名解析  windows 如何连接ftp命令行  轩逸e-power挡位b是什么意思  如何增加固态硬盘  typescript怎么写react  linux环境中如何使用ping命令  市盈率负值是什么意思  如何打开管理员命令提示符  苹果16有哪些亮点功能  单片机学习视频怎么调色  苹果16有哪些黑科技  雅迪电动车上的power是什么意思  夸克是什么空间单位  苹果16都有哪些型号  爱玛电动车power模式是什么意思  电动车power灯亮是什么意思  360桌面壁纸怎么弄掉  笔记本电脑多少钱  春运抢票哪里最火热  尼桑越野车中控前power是什么意思  电动车充电器上的power是什么意思  为什么夸克书架书单没了  typescript如何标记私有方法  哪些明星在用苹果16  考勤机power红灯是什么意思  如何修改域名解析  市盈率市净率是什么意思  react怎么用typescript  j*a中怎么截取数组  新三板市盈率是什么意思  电脑如何查看固态硬盘  typescript需要学多久  春运抢票极速版怎么抢票  固态硬盘如何显示  power在坐标轴中是什么意思  光刻机的作用及工作原理  bored是什么意思  怎么更新typescript  5r是多少钱  笔记本如何使用固态硬盘  单片机怎么判定高电平  光刻机的分类及特点  如何通过命令系统还原  excel中datediff函数怎么用  win7怎么取消360显示的壁纸  soup是什么意思  夸克搜题的原理是什么  苹果16有哪些自带配件