基于互联网数据训练的生成模型彻底改变了文本、图像和视频内容的创建方式。有研究者预测，也许生成模型的下一个里程碑是能够模拟人类体验世界的方方面面，比如在公路上如何驾驶汽车，又比如如何准备饭菜。

现如今，借助非常全面的真实世界模拟器（real-world simulator），人类可以与不同场景和物体进行交互，机器人也可以从模拟经验中进行学习，从而避免出现物理损坏的风险。

然而，构建这样一个真实世界模拟器的主要障碍之一在于可用的数据集。尽管互联网上有数十亿的文本、图像和视频片段，但不同的数据集涵盖不同的信息轴，必须将这些数据集整合在一起才能模拟出对世界的真实体验。例如，成对的文本图像数据包含丰富的场景和对象，但很少有动作；视频字幕和问答数据包含丰富的高级活动描述，但很少有低级运动细节；人类活动数据包含丰富的人类动作，但很少有机械运动；而机器人数据包含丰富的机器人动作，但数量有限

以上列举的信息差异是自然的且难以克服，这给构建一个旨在捕捉现实世界真实体验的真实世界模拟器带来了困难。

本文中，来自 UC 伯克利、Google DeepMind、MIT 等机构的研究者探索了通过生成模型学习真实世界交互的通用模拟器 UniSim，迈出了构建通用模拟器的第一步。例如 UniSim 可以通过模拟「打开抽屉」等高级指令和低级指令的视觉结果来模拟人类和智能体如何与世界交互。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/pdf/2310.06114.pdf
• 论文主页：https://universal-simulator.github.io/unisim/

本文将大量数据（包括互联网文本 - 图像对，来自导航、人类活动、机器人动作等的丰富数据，以及来自模拟和渲染的数据）结合到一个条件视频生成框架中。然后通过仔细编排沿不同轴的丰富数据，本文表明 UniSim 可以成功地合并不同轴数据的经验并泛化到数据之外，通过对静态场景和对象的细粒度运动控制来实现丰富的交互。

下面视频演示了 UniSim 如何模拟具有长交互视界的示例，视频显示 UniSim 一口气模拟了机器人八个动作指令：

UniSim 对人类动作的模拟：

UniSim 对 RL 策略的模拟部署如下所示：

Meta首席AI科学家Yann LeCun和英伟达高级研究科学家Jim Fan等行业专家对这项研究进行了转发。LeCun对此给出了一个“酷”的评价

Jim Fan表示，这项工作非常有趣。视频扩散模型被用作数据驱动的物理模拟，其中智能体可以规划、探索和学习最优行动，而无需接触机器人硬件或造成任何损害。可以说，LLM不仅是一个操作系统，还是一个完整的现实模拟器

论文的第一作者，加州大学伯克利分校的博士生Sherry Yang表示，“学习现实世界模型正在成为现实。”

模拟现实世界的交互

根据图3所示，UniSim可以模拟厨房场景中的一系列丰富动作，包括洗手、拿碗、切胡萝卜和擦干手。图3右上方显示了不同的开关，而图3底部则展示了两个导航场景

需要被改写的内容是：对应于图3右下方的导航场景

对应上图3右下的导航场景

以下图 4 展示了一个 UniSim 自回归地顺序模拟 8 个交互的例子，在长程模拟方面

UniSim不仅支持丰富的动作和长程交互，还能够实现高度多样化和随机的环境变换。例如，在移除顶部的毛巾后，显示的对象具有多样性（见下图5左）

UniSim 在真实世界迁移的结果。UniSim 的真正价值在于模拟现实世界，图 7 显示了 VLM 生成的语言规划，UniSim 根据语言规划生成的视频，以及在真实机器人上的执行情况。

除了测试 UniSim 在真实世界的迁移能力之外，本文还进行了基于模拟器的评估，结果如表 2 所示：

用于强化学习的真实世界模拟器

实验还评估了 UniSim 在模拟真实机器人执行各种动作方面的质量如何，机器人通过重复执行低级控制操作约 20-30 个步骤来左、右、下、上移动端点 。表 3 显示，RL 训练显着提高了 VLA 策略在各种任务中的性能，尤其是在指向蓝色块等任务中。然后，本文直接将在 UniSim 中训练的 RL 策略零样本部署到真实机器人上，如图 8（底行）所示。

以上就是生成模型构建交互式现实世界模拟器，LeCun觉得非常酷的详细内容，更多请关注其它相关文章！

# 热议  # 深圳网站优化推广价格  # 家政行业seo推广传播  # 性能优化网站  # 苏宁营销推广方案  # 网站seo除了权重  # 网站建设方案方案  # 景观灯网站推广方案  # 吴桥网站优化推广哪家好  # 医疗seo策略  # 大闫家seo网站排名  # 模型  # 是一个  # 进行了  # 最好用  # 将于  # 三大  # 但很  # 互联网  # 所示  # 长程  # 学习 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 爱奇艺视频怎么下载到手机u盘怎么转换格式方法  苹果16哪些型号好用  33000日元等于多少人民币  typescript多久能学完  j*a整形怎么转数组  苹果16有哪些变化尺寸  苹果16系统有哪些问题  如何把一个命令后台运行  春运抢票最快几天能成功  苹果16系统网站有哪些  交管12123协议头不完整是啥意思  如何用命令下载服务器网站  typescript有什么框架  面包车收音机power是什么意思  哪里要用typescript  j*a怎么求数组均值  空调power灯一直闪是什么意思  如何检测固态硬盘温度  哪个品牌有折叠屏手机卖  debian和ubuntu命令一样吗  solidworks打开igs文件看不见要怎么办解决方法  内在市盈率是什么意思  苹果16最近玩法有哪些  联想的固态硬盘如何  linux如何查看命令的参数  夸克转存中是什么意思  双十一的哪一天最优惠呢  vi命令如何退出  如何用好typescript  电信开通nfc功能是什么意思  typescript解决了什么  5g手机4g卡怎么没有网络  typescript如何使用  汽车排量是什么意思  j*a怎么把数组输出  苹果16如何预购  如何退出数据库命令行  台机如何安装固态硬盘  angluar如何命令删除dist  折叠屏手机为什么这么小  考勤机power红灯是什么意思  春运预约抢票能抢到吗  空调控制面板power灯一直亮是什么意思  怎么自学typescript  vi命令如何使用方法  如何通过命令行聊天  j*a怎么讲数组打印  j*a数组怎么比较abc  单片机加热片怎么制作  电瓶车屏幕上显示power是什么意思