开源羊驼大模型llama上下文追平gpt-4，只需要一个简单改动！

Meta AI这篇刚刚提交的论文表示，LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。

与预训练相比，成本忽略不计。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

扩展上下文窗口，就意味着AI的“工作记忆”容量增加，具体来说可以：

• 支持更多轮对话，减少遗忘现象，如更稳定的角色扮演
• 输入更多资料完成更复杂的任务，如一次处理更长文档或多篇文档

更重要的意义在于，所有基于LLaMA的羊驼大模型家族岂不是可以低成本采用此方法，集体进化？

羊驼是目前综合能力最强的开源基础模型，已经衍生出不少完全开源可商用大模型和垂直行业模型。

论文通信作者田渊栋也激动地在朋友圈分享这一新进展。

基于RoPE的大模型都能用

新方法名为位置插值（Position Interpolation），对使用RoPE（旋转位置编码）的大模型都适用。

RoPE早在2025年就由追一科技团队提出，到现在已成为大模型最常见的位置编码方法之一。

但在此架构下直接使用外推法（Extrapolation）扩展上下文窗口，会完全破坏自注意力机制。

具体来说，超出预训练上下文长度之外的部分，会使模型困惑度（perplexity）飙升至和未经训练的模型相当。

新方法改成线性地缩小位置索引，扩展前后位置索引和相对距离的范围对齐。

用图表现二者的区别更加直观。

实验结果显示，新方法对从7B到65B的LLaMA大模型都有效。

在长序列语言建模（Long Sequence Language Modeling）、密钥检索（Passkey Retrieval）、长文档摘要（Long Document Summarization）中性能都没有明显下降。

除了实验之外，论文附录中也给出了对新方法的详细证明。

Pippit AI

CapCut推出的AI创意内容生成工具

133 查看详情

Three More Thing

上下文窗口曾经是开源大模型与商业大模型之间一个重要差距。

比如OpenAI的GPT-3.5最高支持16k，GPT-4支持32k，AnthropicAI的Claude更是高达100k。

与此同时许多开源大模型如LLaMA和Falcon还停留在2k。

现在，Meta AI的新成果直接把这一差距抹平了。

扩展上下文窗口也是近期大模型研究的焦点之一，除了位置插值方法之外，还有很多尝试引起业界关注。

1、开发者kaiokendev在一篇技术博客中探索了一种将LLaMa上下文窗口扩展到8k的方法。

2、数据安全公司Soveren机器学习负责人Galina Alperovich在一篇文章中总结了扩展上下文窗口的6个技巧。

3、来自Mila、IBM等机构的团队还在一篇论文中尝试了在Transformer中完全去掉位置编码的方法。

有需要的小伙伴可以点击下方链接查看～

Meta论文：https://www.php.cn/link/0bdf2c1f053650715e1f0c725d754b96

Extending Context is Hard…but not Impossiblehttps://www.php.cn/link/9659078925b57e621eb3f9ef19773ac3

The Secret Sauce behind 100K context window in LLMshttps://www.php.cn/link/09a630e07af043e4cae879dd60db1cac

无位置编码论文https://www.php.cn/link/fb6c84779f12283a81d739d8f088fc12

以上就是羊驼家族大模型集体进化！32k上下文追平GPT-4，田渊栋团队出品的详细内容，更多请关注其它相关文章！

# 羊驼家族  # 关键词优化排名就找r火21星  # 地产seo技术  # 清徐推广营销策划  # 放心投seo官网  # 安陆网络营销推广价格  # 郑州seo服务早教  # seo外联的作用  # 找科技seo  # 胥口网站建设价格  # 插值  # 语音识别  # 扩展到  # 最全  # 文档  # 只需要  # 腾讯  # 这一  # 开源  # 追平  # perplexity  # llama  # claude  # 集体进化  # 大模型  # 萧山抖音推广团队营销服务 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 对象数组怎么用j*a  md5解密是什么意思  单片机log怎么看  为什么夸克流畅播失败  苹果16哪些型号好  万能表上的power是什么意思  夸克网盘为什么解析错误  如何修改cad命令  手机拍显示屏有条纹怎么去除  soup是什么意思  苹果16新增哪些功能  充电器上的power是什么意思  typescript有哪些版本  苹果16系统有哪些改变  react怎么用typescript  vi命令如何退出编辑模式  如何加装固态硬盘  苹果16有哪些可以设置  如何正确使用固态硬盘  推特是什么软件国内可以使用吗  nfc功能是什么意思怎么开启  如何用命令行连接本地数据库  如何用固态硬盘做缓存  什么是typescript  路由器power灯一直亮是什么意思  如何使用net命令  js怎么设置typescript  苹果16关闭哪些功能好  vivo手机nfc功能是什么意思  如何提高固态硬盘性能  夸克po什么意思  8寸照片尺寸多少厘米  命令指示符如何打开盘符  汽车排量是什么意思  命令行如何运行j*a  液位传感器power是什么意思  折叠屏有哪些手机  如何知道固态硬盘  旧固态硬盘如何卖出  手机拍电脑屏幕有条纹怎么解决  夸克缺什么登录不了  微波炉power中文是什么意思  苹果16系统有哪些缺陷  有什么基础可以学typescript  2025年哪个局域网聊天软件好用  如何开发typescript  远程桌面如何发送命令  43寸电视长宽多少厘米  typescript的语法格式是什么  typescript 如何使用