新闻中心

关于面向机器人操作的世界模型的一点思考

2024-04-28
浏览次数:
返回列表

近年来,世界模范的火热似乎可以在机器人操作中起到一些至关重要的作用。而对于具身智能来说,现阶段manipulation是最需要突破的点。特别是针对以下long horizon的任务,如何构建机器人“小脑”,来实现各种复杂的操作要求,是当下最需要解决的问题。

是否需要通过拆分skill为原子操作?

在使用LM应用在机器人上时,比较常用的做法是将各类API提供在context里面,然后让LLM根据任务prompt自动编写planning代码,可参考文章:

这种方法优点是非常直观,可以比较清晰地把握任务的拆解逻辑,比如移动到A,抓起B,移动到C,放下B。但是这种操作的前提是能够把整个任务拆分成原子操作(移动、抓取、放置等)。但是如果是一些比较复杂的任务,比如叠衣服这种任务,其是天然难以进行任务拆分的,那这个时候应该怎么办?其实对于manipulation来说,我们大量面对的应该是这种long horizon且难以进行拆分的任务。

关于面向机器人操作的世界模型的一点思考

世界模型可以作为关键突破点

针对long horizon且难以进行拆分的manipulation任务,比较好的处理方法是研究模仿学习,比如diffusion policy或者ACT这种,对整个操作trajectory进行建模拟合。但是这种方法都会遇到一个问题,就是没有办法很好的处理累积误差——而这个问题的本质就是缺乏一套有效地反馈机制

还是以叠衣服为例,人在叠衣服的时候,其实会根据视觉获取的衣服变化,不断地调整操作策略,最终将衣服叠到想要的样子。那这个里面其实有一个比较隐含但是非常重要的点:人大概知道什么样的操作,会导致衣物发生什么样的变化。那么进一步,就是人其实具备一个关于衣物变形的模型,能够大概知道什么样的输入,会导致状态(衣物摆放)的变化(视觉层面就是像素级别),更加具体的可以表示为:

Python精要参考 pdf版 Python精要参考 pdf版

这本书给出了一份关于python这门优美语言的精要的参考。作者通过一个完整而清晰的入门指引将你带入python的乐园,随后在语法、类型和对象、运算符与表达式、控制流函数与函数编程、类及面向对象编程、模块和包、输入输出、执行环境等多方面给出了详尽的讲解。如果你想加入 python的世界,D*id M beazley的这本书可不要错过哦。 (封面是最新英文版的,中文版貌似只译到第二版)

Python精要参考 pdf版 9 查看详情 Python精要参考 pdf版

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜

关于面向机器人操作的世界模型的一点思考

SORA其实给了一剂强心针,就是只要数据够多,我能用transformer+diffusion layer,硬train一个可以理解并预测变化的模型f。假设我们已经有了一个非常强的预测衣物随操作变化的模型f,那这个时候叠衣服就可以通过像素级别的衣物状态反馈,通过Model Predictive Control的思路,构建一个视觉伺服(Visual Servo)的策略,将衣服叠到我们想要的状态。这一点其实在LeCun最近的一些“暴论”上也得到了验证:

关于面向机器人操作的世界模型的一点思考

如何构建面向机器人操作的世界模型

关于面向机器人操作的世界模型的一点思考

以上就是关于面向机器人操作的世界模型的一点思考的详细内容,更多请关注其它相关文章!


# 机器人  # sora  # 出了  # 都能  # 腾讯  # 日韩  # 代码  # 开福区网络推广营销  # 建德网站开发建设  # 有效的网站优化哪里好  # 南昌县关键词优化排名  # 门户网站推广举例英文版  # 唐山网站建设专业定制  # 丹寨关键词排名  # 淄博网站设计建设  # 郑州网站优化d  # 东莞百度关键词排名推广  # 开源  # 首个  # 可直接  # 新能源  # 这本书  # 这个时候 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: mac 如何启动命令行模式  a03怎么根据编号找文链接入口  如何安装固态硬盘win10  2025年国外最佳语音聊天软件排行榜  分享一个稳定的ao3镜像网址  固态硬盘如何保存  华为5g手机怎么用4g网络  j*a数组怎么取元素  360手机壁纸怎么改  300秒等于多少分钟  typescript怎么判断单选按钮  市盈率中的19a是什么意思  春运抢票可以抢几次啊  跑步机power键是什么意思  命令行如何启动应用程序  移动固态硬盘如何使用  什么是typescript  春运车站抢票和网上抢票  自由服务器如何做动态ip域名解析  推特是什么软件国内可以使用吗  如何用命令查看本机的操作系统  苹果手机16有哪些功能  苹果16讲解有哪些功能  输入命令如何换行  固态硬盘如何安装win10系统安装  春运什么时候开始抢票  问一下市盈率是什么意思  对应市盈率是30X是什么意思  公司的tm市盈率为负是什么意思  什么是base64  youtube受限模式是什么_youtube受限模式是什么意思  焊机上power指示灯亮是什么意思  typescript中文怎么读  光刻机的分类及特点  闲鱼上面的power是什么意思  雅迪电动车上的power是什么意思  苹果16颜色有哪些  学typescript需要多久  市盈率是负数是什么意思  春运抢票可以抢几张  typescript怎么使用map  win7怎么装扫描仪  如何更新typescript  12306放票时间规律(2025)  1kb等于多少字节  typescript怎么传json  awful是什么意思  如何用命令下载服务器网站  j*a整形怎么转数组  焊机上power灯闪是什么意思 

搜索