不百分百还原出虚拟场景，效果反而更好。

我们很多人都听说过数字孪生（digital twin），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。

但你听说过数字表亲（digital cousin）吗？

近日，斯坦福大学李飞飞团队就做出了一个这样的研究，其可有效地将真实数据变成适用于机器人学习的模拟数据 —— 在降低真实转模拟成本的同时还能提升学习的泛化性能。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

简单来说，你只需拍一张照片，就能将照片中的物体变成虚拟版本，并且这个数字虚拟版本还不是照片中物体的一比一复刻，而是存在一定的变化。

我们知道，在真实世界中训练机器人并不安全，而且成本很高，难以大规模扩展。这就是模拟的用武之地，其成本低，并且可以源源不断地获取训练数据。但是，模拟的问题也很明显，模拟环境和真实环境总归不一样，存在含义和物理机制上的差异。

为了解决这种差异，数字孪生的概念诞生了。简单来说，数字孪生就是为真实场景构建一个虚拟副本，但其成本很高，并且难以实现跨域泛化。

为了解决这些局限，李飞飞团队提出了数字表亲（digital cousin）的概念。不同于数字孪生，数字表亲并不是真实物体的虚拟对应，而只是具有相似的几何和语义特质和属性。

• 论文标题：ACDC: Automated Creation of Digital Cousins for Robust Policy Learning
• 论文链接：https://arxiv.org/abs/2410.07408
• 项目地址：https://digital-cousins.github.io/

如此一来，数字表亲既能降低生成相似的虚拟环境的成本，还能通过提供相似训练场景的分布而实现更好的跨域泛化。基于数字表亲，该团队提出了一种用于自动创建数字表亲的全新方法，该方法就叫做自动数字表亲创建（Automatic Creation of Digital Cousins），简称 ACDC。

他们还提出了一种全自动的「真实→虚拟→真实」流程，可用于生成完全可交互的场景以及训练可以零样本方式部署在原始场景中的机器人策略。

结果表明，ACDC 得到的数字表亲可以成功保留几何与语义特质和属性，同时训练得到的机器人策略也优于使用数字孪生得到的策略：在零样本虚拟→真实迁移条件下，能以 90% 的成功率胜过数字孪生的 25%。

方法概述

ACDC 由三个连续步骤构成：

1. 首先，从输入的 RGB 图像中提取出每个物体的相关信息。
2. 接下来，基于一个资产数据集，使用该信息来为每个检测到的输入物体匹配数字表亲。
3. 最后，对选取的数字表亲进行后处理，生成一个完全可交互的模拟场景。

实验

该团队进行一系列实验，试图解答以下研究问题：

问题 1：ACDC 能否得到高质量的数字表亲场景？给定一张 RGB 图像，ACDC 能否捕获原始场景中固有的高层级语义和空间细节？ 

问题 2：当在原始设置上进行评估时，基于数字表亲训练得到的策略能否与基于数字孪生得到的策略相媲美？

问题 3：相比于基于数字孪生训练得到的策略，基于数字表亲训练得到的策略是否更加稳健

问题 4：基于数字表亲训练得到的策略能否实现零样本「虚拟→真实」策略迁移

通过 ACDC 进行场景重建

                                       ^{在模拟 - 模拟场景中，ACDC 对场景重建进行定量和定性评估。}

其中，「Scale」是输入场景中两个物体的边界框之间的最大距离。「Cat.」表示正确分类的物体与场景中物体总数的比例。「Mod.」显示正确建模的物体与场景中物体总数的比例。「L2 Dist.」提供输入和重建场景中边界框中心之间的欧几里得距离的平均值和标准差。「Ori. Diff.」表示每个中心对称物体的方向幅度差异的平均值和标准差。「Bbox IoU」表示资产 3D 边界框的交并比 (IoU)。

                                      ^{定性 ACDC 真实 - 模拟场景重建结果。针对给定场景显示多个表亲。}

基于这些结果，我们可以放心地回答问题 1：ACDC 确实可以保留输入场景的语义和空间细节，从单个 RGB 图像生成现实世界对象的表亲，这些表亲可以准确定位和扩展，以匹配原始场景。

使用数字表亲进行模拟 - 模拟策略学习

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

                                     ^{模拟-模拟策略结果。}

在精确孪生、不同数量的表亲和三个最近类别的所有资产上训练的策略的汇总成功率。策略在四种设置上进行测试：精确数字孪生和三种越来越不相似的设置（以 DINOv2 嵌入距离为衡量标准）以探测零样本泛化。请注意，对于任务 3，使任务可行的橱柜模型要少得多，因此这里仅比较数字孪生和 8 个表亲的策略。

使用数字表亲进行模拟-真实策略学习

                                         ^{数字孪生与数字表亲策略的零样本真实世界评估。任务是打开宜家橱柜的门，衡量标准是成功率：模拟 / 真实结果在 50/20 次试验中取平均值。}

真实-模拟-真实的场景生成和策略学习

                        ^{全自动数字表亲生成。ACDC 的无剪切视频完全自动执行，为真实厨房场景生成了多个数字表亲。ACDC 步骤 1 末尾的轴对齐边界框无需加速即可做到可视化。}

                                      ^{零样本模拟到真实世界策略迁移。专门从上面生成的四个数字表亲训练的模拟策略，我们可以零样本迁移到相应的真实厨房场景。}

基于这些结果，我们可以放心地回答问题 2、3、4：与在数字孪生上训练的策略相比，使用数字表亲训练的策略表现出相当的分布内性能和更稳健的分布外性能，并且可以实现零样本模拟到真实策略迁移。

                                    ^{一些失败的案例。}

结论

作为一种全自动管道，ACDC 用于快速生成与单个现实世界 RGB 图像相对应的完全交互式数字表亲场景。我们可以发现，利用这些数字表亲训练的策略比在数字孪生上训练的策略更稳健，具有可媲美的域内性能和卓越的域外泛化能力，同时也支持零样本模拟到现实的策略转移。

以上就是李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景的详细内容，更多请关注其它相关文章！

# 李飞飞  # 波奇宠物营销推广方案  # 黄山家政网站建设  # 晋城seo团队  # 网站推广费怎么算  # 苏州网站建设维护  # 黑帽SEO分享  # 延平网络seo哪个好  # 做医疗营销推广  # 可直接  # 新能源  # 很高  # 日韩  # 还能  # 多个  # 提出了  # 我们可以  # 景中  # 一张照片  # type  # git  # 工程  # 网络营销推广怎么学好  # 桐城seo优化定制 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： sausage是什么意思  红米手机怎么设置变成5G手机  市盈率市净率是什么意思  typescript中怎么引用js文件  typescript怎么加号  每日推荐电声音乐软件有哪些  主板如何禁用固态硬盘  如何用chown命令  新固态硬盘如何装系统  单片机蜂鸣器响了怎么停  typescript干什么的  电瓶车充电器power是什么意思  如何给电脑加装固态硬盘  分销是什么意思  油电混动车仪表盘上的power是什么意思  夸克的答案为什么不对  typescript怎么用  免费恢复删除的微信聊天记录软件有哪些  如何管理员打开cmd命令行窗口  春运车站抢票和网上抢票  夸克还原排版是什么意思  夸克是什么用途  openwrt有哪些功能  记录仪power灯亮是什么意思  html怎么使用typescript  typescript和node学哪个  折叠屏手机哪个有性价比  360f4怎么取消百变壁纸  单片机软件keil怎么运行  固态硬盘如何查看盘符  折叠屏手机共有哪些  什么是泛域名解析  壁挂炉power常亮是什么意思  calm是什么意思  typescript哪个最好  丰田type-c接口是什么  固态硬盘如何4k对其  5g手机4g卡怎么没有网络  j*a如何运行curl命令行  faq是什么意思  开机如何运行dos命令提示符  哪里要用typescript  如何查看固态硬盘分区  更换固态硬盘如何检查  cmd如何定时执行命令  得物上怎么样申请退换货 得物上退换货详细指南(包含海外）  市盈率亏损是什么意思  typescript怎么使用map  如何在命令行执行存储过程  如何查看win10版本命令行