vision pro又现火爆新玩法，这回还和具身智能联动了~

就像这样，MIT小哥利用Vision Pro的手部追踪功能，成功实现了对机器狗的实时控制。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

不仅开门这样的动作能精准get：

也几乎没什么延时。

Demo一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。

比如这位准清华叉院博士生：

还有人大胆预测：这就是我们与下一代机器互动的方式。

项目如何实现，作者小哥朴英孝（Younghyo Park）已经在GitHub上开源。相关App可以直接在Vision Pro的App Store上下载。

用Vision Pro训练机器狗

具体来看看作者小哥开发的App——Tracking Steamer。

顾名思义，这个应用程序旨在利用Vision Pro追踪人类动作，并将这些动作数据实时传输到同一WiFi下的其他机器人设备上。

动作追踪的部分，主要依靠苹果的ARKit库来实现。

其中头部追踪调用的是queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。

手腕和手指追踪则通过HandTrackingProvider实现。它能够追踪左右手腕相对于地面框架的位置和方向，以及每只手25个手指关节相对于手腕框架的姿态。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

网络通信方面，这个App使用gRPC作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅，包括Linux、Mac和Windows设备。

另外，为了方便数据传输，作者小哥还准备了一个Python API，让开发者能够通过编程方式订阅和接收从Vision Pro流式传输的追踪数据。

API返回的数据是字典形式，包含头部、手腕、手指的SE(3)姿态信息，即三维位置和方向。开发者可以直接在Python中处理这些数据，用于对机器人的进一步分析和控制。

就像不少专业人士所指出的那样，别看机器狗的动作还是由人类控制，事实上，相比于“操控”本身，结合模仿学习算法，人类在这个过程中，更像是机器人的教练。

而Vision Pro通过追踪用户的动作，提供了一种直观、简单的交互方式，使得非专业人员也能够为机器人提供精准的训练数据。

作者本人也在论文中写道：

在不久的将来，人们可能会像日常戴眼镜一样佩戴Vision Pro这样的设备，想象一下我们可以从这个过程中收集多少数据！

这是一个充满前景的数据源，机器人可以从中学习到，人类是如何与现实世界交互的。

最后，提醒一下，如果你想上手试一试这个开源项目，那么除了必备一台Vision Pro之外，还需要准备：

• 苹果开发者账户
• Vision Pro开发者配件（Developer Strap，售价299美元）
• 安装了Xcode的Mac电脑

嗯，看样子还是得先让苹果赚一笔了（doge）。

项目链接：https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

以上就是用Vision Pro实时训练机器狗！MIT博士生开源项目火了的详细内容，更多请关注其它相关文章！

# 的是  # 枣庄网站建设排名前十  # 五家渠银川网站推广  # 马尾区网络推广营销招聘  # 徐州优化网站建设价格  # 廊坊网站建设的市场费用  # 老友新邻策略营销推广  # 青海推广计划网站  # 简单网站建设加盟代理  # 网络营销线上推广行业  # 东莞网站主机平台优化  # 训练  # 怎么处理  # 过程中  # 相对于  # 可以直接  # 腾讯  # 就像  # 小哥  # 火了  # 开源  # 机器狗 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何选购ssd固态硬盘  typescript和node学哪个  j*a中数组怎么传递  苹果16有哪些可以设置  命令行如何启动应用程序  mysql的datediff函数怎么用  vue组件typescript怎么用  typescript中如何引入本地js  三星相机里power是什么意思  shell如何执行sql脚本命令行  免费恢复删除的微信聊天记录软件有哪些  路由器power灯一直亮是什么意思  苹果16有哪些亮点功能  市盈率是负数是什么意思  夸克投屏为什么那么卡  i5 6500怎么装win7  j*a数组怎么保存类  萝卜快跑的收费标准是什么  python如何命令行换行  苹果16更新了哪些软件  typescript接口怎么选  华为5g手机掉了怎么定位找回  为什么youtube音乐打不开  折叠屏手机共有哪些  j*a整形怎么转数组  光刻机分类有哪些品牌的  typescript卸载不掉怎么办  一天多少分钟  power在录音笔上是什么意思  360n5锁屏壁纸怎么设置  如何以管理员身份打开命令提示符  苹果16系统有哪些功能  春运抢票最快几天能成功  如何固态硬盘4k对齐  j*a数组怎么新增值  关系型数据库和非关系型数据库有哪些  折叠屏手机为什么没火  春运抢票技巧攻略  如何把一个命令后台运行  固态硬盘如何测试好坏  油烟机上的power是什么意思  1s等于多少ms  固态硬盘损坏如何修复  苹果16会升级哪些  faq是什么意思  npm如何声明命令  typescript参数怎么用  抖音GMV是什么_抖音GMV是什么意思  新三板市盈率是什么意思  url解码什么意思