GRAPE：通过偏好对齐提升机器人策略泛化能力

aixiv专栏持续报道全球顶尖ai研究成果。本文介绍一篇来自北卡罗来纳大学教堂山分校、华盛顿大学及芝加哥大学的研究，该研究提出了一种名为grape的新算法，显著提升了视觉-语言-动作（vla）模型的泛化能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文第一作者为北卡罗来纳大学教堂山分校的张子健，指导老师为助理教授Huaxiu Yao。共同第一作者为华盛顿大学的Kaiyuan Zheng。其他作者来自北卡教堂山、华盛顿大学和芝加哥大学。

论文信息:

• 标题: GRAPE: Generalizing Robot Policy via Preference Alignment
• 链接: https://www.php.cn/link/96fb9b48825b741083d35b0137af1be0
• 项目地址: https://www.php.cn/link/009d69d2d1b986815e7b825382d73af5
• 代码地址: https://www.php.cn/link/af12e5e50bc88cf41244cf4ced8988c7

研究挑战与GRAPE的解决方案

现有的VLA模型在机器人任务中的泛化能力有限，主要原因在于它们依赖于成功的执行轨迹进行行为克隆，难以应对新任务和环境变化。 GRAPE算法通过偏好对齐来解决这个问题，其核心思想是将VLA模型与预设目标对齐，从而提升其泛化能力。

GRAPE具有三大优势：

1. 轨迹级强化学习对齐: GRAPE在轨迹层面使用强化学习目标对VLA模型进行优化，使其能够全局地进行决策，而非简单的行为模仿。
2. 隐式奖励建模: GRAPE能够隐式地对成功和失败尝试进行奖励建模，从而增强其对多样化任务目标的适应能力。
3. 可扩展的偏好合成: GRAPE采用可扩展的算法合成偏好，能够将VLA模型与任意目标（如效率、安全性、任务完成度）对齐。

算法核心模块

GRAPE由三个核心模块构成：

1. 轨迹级偏好优化 (Trajectory-wise Preference Optimization, TPO): 通过改进的DPO损失函数(TPO_Loss)，根据优劣轨迹样本进行训练，实现轨迹级别的偏好对齐。

   Perplexity

   Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

   302 查看详情

   

2. 定制化偏好合成 (Customized Preference Synthesis): 针对复杂任务缺乏明确奖励模型的问题，GRAPE通过大型视觉-语言模型分解任务阶段，并自动引导偏好建模过程，实现对不同目标的定制化对齐。

3. 迭代式在线对齐 (Iterative Online Alignment): 通过迭代的在线样本采集、偏好排序和轨迹级偏好优化，逐步提升VLA策略的泛化能力和目标对齐程度。

实验结果与结论

GRAPE在真实机器人和*环境下均进行了测试，结果表明其在各种分布外泛化任务（包括视觉、物体、动作、语义和空间位置变化）上显著优于现有最先进的OpenVLA-SFT模型。 此外，GRAPE还能有效地将机器人策略与安全性、效率等目标对齐，例如降低碰撞率或缩短执行时间。

GRAPE为提升VLA模型的泛化能力提供了一种有效的方法，其即插即用的特性使其在各种机器人任务中具有广泛的应用前景。

以上就是把RLHF带给VLA模型！通过偏好对齐来优化机器人策略，代码已开源的详细内容，更多请关注其它相关文章！

# grape  # 工程  # 你该  # 句话  # 使其  # 开源  # 芝加哥大学  # 神技  # 华盛顿  # ai  # git  # 端州区电话网络营销推广  # 媒体营销推广有什么好处  # 江门网站优化免费设计  # 酒吧营销推广方案ppt软件免费  # 推广和网站的需求点  # 如何做好微商营销推广  # 重庆seo网站排名优化  # 徐州seo服务价格多少  # 摇滚网站建设学校文案  # 广东使用seo优化排行  # 迭代  # 是一个  # 如何应对 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 品道音响上的power键是什么意思  轩逸e-power挡位b是什么意思  2025年国外最佳语音聊天软件排行榜  春运抢票哪里最火热  如何显示固态硬盘  如何自己加装固态硬盘  如何查看网站域名解析  vfp 命令窗口如何实现换行  linux如何跳回命令行界面  debian10和ubuntu20哪个好用  春运抢票哪个平台好一点  linux如何用命令修改ip  苹果16关闭哪些功能好  如何由js快速切换typescript  课程伴侣电脑怎么登录  智能锁type-c接口是什么  typescript如何遍历map  为什么ai老是说链接面板中缺少某些文件  360n7lite怎么设置动态壁纸  单片机显存怎么设置最佳  苹果16最近玩法有哪些  春运抢票要用抢票软件吗  固态硬盘如何测试  如何进入cmd命令行  系统如何装在固态硬盘  一天多少分钟  openwrt有什么用  手机拍电脑屏幕有条纹怎么解决  什么软件能下载夸克视频  输入命令如何换行  汽车排量是什么意思  typescript怎么使用map  如何以管理员身份打开命令提示符  linux环境中如何使用ping命令  苹果16更新了哪些软件  固态硬盘如何打开软件  单身聊天app有哪些软件 2025最靠谱的单身交友软件推荐  j*a数组怎么比较abc  热水器没热水显示power是什么意思  光刻机的分类及其优缺点  mysql的datediff函数怎么用  苹果16粉色还有哪些机型  typescript文件怎么打开  迅达热水器显示power是什么意思  typescript中怎么引用js文件  命令指示符如何打开盘符  单片机加热片怎么制作  手机如何ip绑定域名解析  春运抢票最多能抢几趟车  计数器上power是什么意思