70b模型，秒出1000token，换算成字符接近4000！

研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！

不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。

这项成果，来自爆火的AI编程神器Cursor背后团队anysphere，OpenAI也参与过投资。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

要知道在以快著称的推理加速框架Groq上，70B Llama3的推理速度也不过每秒300多token。

Cursor这样的速度，可以说是实现了近乎即时的完整代码文件编辑。

有人直呼好家伙，如果把Cursor魔改后的Llama3放到Groq上，是不是每秒能跑出上万token了。

更是有人激动地说，在大模型领域，我们正在消除“延时”这一概念。

引入全新推理加速算法

作者此次设计的加速方法，主要是用来解决一种名为“Fast Apply”的任务，即对代码内容进行快速修改并应用。

首先需要说明的是，虽然说任务最终实现的效果是代码的局部修改，但是实际操作过程中，输出并非是只有变化的内容，而是直接全局重写。

这样做的原因，是团队在预先测试后做出的选择——他们发现，除了Claude-3-Opus，大多数模型在真·局部修改任务上的表现都不理想。

之所以会这样，主要有以下三个原因：

• 首先是直接重写时会输出更多token，使得有更多的前向传递来确定正确的解决方案。
• 其次，模型的训练数据也大部分都是完整代码，对局部修改相对陌生。
• 此外，大模型糟糕的数学运算也无法保证能在输出差异时正确处理行号。

（不过作者认为这仍然是一个有潜力的未来研究方向。）

确定了采用全局重写的方案后，Cursor团队使用了任务相关的数据对Llama3进行了微调。

所采用的数据有真实编辑数据与合成数据两大来源，按照1:4的比例进行了混合。

其中合成数据是指用GPT-4生成代码编辑的建议，然后用其他模型将这些建议“应用”到原始代码上。

为了提高数据集的质量，作者还对小文件、重复文件和无变化样本进行了下采样。

为了评估这些模型的表现，作者让它们处理了450个代码编辑任务（每个都不超过400行），并用Claude3-Opus对输出进行了打分。

最终，作者微调出的70B Llama3模型，表现几乎与Claude3-Opus-diff匹配，并且优于GPT-4-Turbo和GPT-4o。

至此的微调解决了性能问题，但不难看出此时的Llama3速度依然很慢，每秒只能输出不到300个字符（注意是字符，不是词也不是token）。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

而让改写工作快到飞起的，还有另一项秘密武器。

针对代码改写任务，Cursor团队专门引入了一种名为预测性编辑（speculative edits）的算法。

这种方式用一种先验算法来对多个后续token进行预测，然后再用本体大模型进行验证，降低了大模型的调用次数，从而减轻了运算量。

这种先验算法来自于代码任务的一个特点——相比于其他文本，其词表更小，且语法结构、缩进规则等拥有更高的确定性，利用先验知识可以更精准预测未来的token。

这样的做法也与GPT-4和Meta有着共通之处——

传统的语言模型推理推理速度较慢的原因，主要是预测下一个token的过程通常是自回归的，即模型在生成每个token时，都要考虑之前生成的所有token。

为了降低运算量，以GPT-4为代表的大模型，使用了名为预测解码（speculative decoding）的加速算法，通过小的近似模型提前进行预测，然后再让本体大模型对预测结果进行验证。

Cursor和GPT-4的区别就在于，前者的小“模型”是一种更确定的算法，而后者只是模型规模减小，本质上仍是概率预测。

Meta这边则是推出了一次性预测多个后续token的算法，用n个独立的输出头并行预测n个未来token，结果发现在编程任务上表现尤其优异，原因是由于编程语言的逻辑结构更严谨，知识的内在联系更紧密。

当然，Cursor对这种特点利用更为充分，没有用注意力头，而是直接拿更确定的算法来做多token预测。

最终的结果就是，预测算法为70B的Llama3带来了近13倍的速度提升，而测评表现没有任何损失。

此外，作者还与企业AI模型基础设施平台fireworks.ai合作，利用其优化的推理引擎和定制化的硬件环境，进一步提高了模型的运行效率。

未来，团队还计划进行知识蒸馏，并把预测编辑算法迁移到更小的8B Llama3，并扩展到更多的编程语言和任务。

同时，对于Cursor团队研究过但并未采用的真·局部修改（Diff）算法，作者也计划进行改进。

One More Thing

在实验当中，作者不仅用预测算法加速了Llama3，也实现了对GPT4-Turbo的加速。

不过作者并没有介绍具体在GPT当中如何实现，而是留做了思考题，还搞了一场“有奖竞猜”。

能够正确解答的人将获得1个月的Cursor会员；如果能在vllm和TensorRT-LLM中实现预测加速，将分别获得半年和一年的会员。

如果你感觉有思路的话，不妨挑战试试（手动狗头）。

以上就是70B模型秒出1000token，代码重写超越GPT-4o，来自OpenAI投资的代码神器Cursor团队的详细内容，更多请关注其它相关文章！

# 训练  # 开源  # 行号  # 能在  # 多个  # 都不  # 未来  # 新能源  # 重写  # opus  # llama  # groq  # claude  # cursor  # 数据  # 进行了  # 鱼台建设局举报网站  # 做营销怎么推广洗发水呢  # 衢州网站建设优化公司  # 网站建设知识分享  # 营销销售推广的区别  # 福清融媒体网站建设招标  # 鹤壁网站关键字优化  # 温州网站建设在哪里  # 双语网站建设推广  # 坚果类营销推广策划方案  # 更小 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 汽车排量是什么意思  typescript怎么理解的  单片机加热片怎么制作  市盈率和市净率是什么意思  如何查看网站域名解析  春运抢票用不用取票码  如何设置从固态硬盘启动  固态硬盘如何保存  苹果16新增哪些功能  oracle中datediff函数怎么用 Oracle中DATEDIFF函数详解  win10锁屏壁纸怎么换360锁屏壁纸吗  夸克链信有什么用  typescript数据怎么写  debug中如何用n命令命名程序文件名  solidworks打开IGS文件作图教程  输入命令如何换行  哪些明星在用苹果16  rxjs和typescript什么意思  科技型企业成长＂十步法＂  摄像机的power chg是什么意思中文  市盈率估值1stdv是什么意思  ssd固态硬盘如何安装  双十一的哪一天最优惠呢  typescript的语法格式是什么  折叠屏手机选择哪个好  电脑命令如何删除账号  j*a 数组怎么循环输出  shell如何执行sql脚本命令行  单片机加法程序怎么写  电信开通nfc功能是什么意思  j*a中数组怎么传递  ai文件在线打开工具有哪些  春运预约抢票能抢到吗  春运哪天抢票最好  typescript卸载不掉怎么办  手机如何运行ping命令  4800日元等于多少人民币  内在市盈率是什么意思  征信不好如何短期恢复  夸克网盘是什么都有吗  一天多少分钟  三星固态硬盘如何保修  夸克为什么老是投屏失败  怎么在项目中使用typescript  j*a怎么把数组输出  固态硬盘如何检查  液位传感器power是什么意思  element ui的好处  春运抢票最好抢什么票啊  夸克前缀后缀什么意思啊