☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

机智客AIxiv专栏持续发布前沿学术与技术内容。多年来，已报道2000余篇来自全球顶尖高校和企业实验室的成果，有力推动学术交流与传播。欢迎优秀研究者投稿或联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

共同一作孙秋实，香港大学博士生，新加坡国立大学硕士毕业，研究方向涵盖LLM Agents和神经代码智能。共同一作金川杨，约翰霍普金斯大学博士生，纽约大学专业第一毕业，其开发的心智能力测试MMToM-QA荣获ACL 2025杰出论文奖。上海人工智能实验室吴志勇团队此前已发布OS-Copilot、OS-Atlas、SeeClick等系列成果。

• 论文题目：OS-Genesis：基于逆向任务合成自动构建GUI Agent轨迹
• 项目地址：https://www.php.cn/link/ad20360c1ad60f8f5d9223a28907d7ba
• 研究机构：上海人工智能实验室，香港大学，上海交通大学，约翰霍普金斯大学，牛津大学，香港科技大学

1. 研究背景与动机

高效的数字代理需要具备两项关键能力：（1）规划能力：将高级指令分解成可执行的子目标；（2）执行能力：根据当前目标执行相应操作。

高质量GUI代理的构建依赖于丰富的GUI轨迹数据，但此类数据极其稀缺，成为该领域的核心挑战。典型的GUI轨迹数据包含：

• 高级指令：例如，“将Broccoli应用中的‘Avocado Toast with Egg’添加到收藏夹”。
• 低级指令：例如，“点击‘Avocado Toast with Egg’查看更多选项”。
• 动作：例如，“CLICK [Avocado Toast with Egg]”。
• 状态：动作前后界面截图及GUI的a11ytree结构。

现有轨迹数据采集方法依赖人工标注或基于预定义任务的合成数据，存在局限性：

• 人工采集成本高昂：需要手动设计指令并记录每一步操作。
• 合成数据局限性：基于模型生成的轨迹数据依赖预定义任务，限制了数据多样性，且容易与真实环境脱节。

因此，高效低成本地构建GUI Agent轨迹数据至关重要。为此，本文提出OS-Genesis：一个无需人工监督的高质量GUI数据合成框架。

2. OS-Genesis框架

OS-Genesis的核心思想是通过探索性地交互GUI环境，捕捉动作及其前后状态变化。

然后，基于这些变化逆向生成高质量的低级指令（例如，“点击Calendar应用”），并根据环境推导出高级指令（例如，“添加日程：阅读本站文章”）。模型执行这些合成指令，无需人工干预和预定义任务，实现高效多样化的GUI轨迹数据生成。具体方法如下：

2.1 逆向任务合成

逆向任务合成是OS-Genesis的核心，它摆脱了对人工/机器预定义任务的依赖。流程如下：

• 动作记录与状态捕捉: 系统性地执行基本动作（CLICK、TYPE、SCROLL等），生成大量三元组数据〈状态前，动作，状态后〉 (〈spre, action, spost〉)。
• 低级指令生成: 利用GPT-4模型将三元组转换为低级指令，例如将“点击下拉菜单以显示选项”。
• 高级任务生成: 结合低级步骤和GUI环境，生成高级指令，例如，“配置应用程序设置”。

2.2 轨迹构建与奖励模型

逆向任务合成生成的高级指令用于探索GUI环境，构建完整轨迹数据。奖励模型（Trajectory Reward Model, TRM）评估和筛选轨迹质量：

Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

302 查看详情

• 轨迹执行: GUI agent执行一系列动作完成任务，轨迹包含高级指令、低级指令、动作序列和状态信息。
• 轨迹奖励模型（TRM）: 根据完成度和一致性分配奖励分数。
• 奖励驱动的数据筛选: 高奖励分数的轨迹优先用于模型训练。

3. 实验结果

本文在动态环境（AndroidWorld、AndroidControl和WebArena）中进行了实验，评估OS-Genesis合成数据训练的agent性能。

3.1 模型与基线

• VLMs: InternVL2-4B/8B, Qwen2-VL-7B-Instruct, GPT-4o (作为强基线)
• 基线: Zero-Shot, Task-Driven, Self-Instruct

3.2 移动端实验结果

在AndroidWorld（域内实验）中，OS-Genesis显著提升了任务成功率。在AndroidControl（域外实验）中，OS-Genesis在高阶和低阶任务中均表现出色，展现了强泛化能力。

3.3 Web端实验结果

在WebArena中，OS-Genesis也显著优于基线方法，尤其在复杂交互式网页任务中。

4. 数据分析

本文将OS-Genesis生成的数据与人工标注数据进行了对比分析，包括高阶指令和完整轨迹对比。结果表明，OS-Genesis显著缩小了合成数据与人工标注数据之间的性能差距。

5. 总结与展望

OS-Genesis为构建GUI Agent提供了一种全新的方法，克服了以往数据构建中的关键瓶颈。实验结果证明了其在构建高质量GUI Agent上的有效性，为数字世界自动化提供了新的方向。

以上就是OS-Genesis来了，自动收集和标注Agent数据，高效且多样的详细内容，更多请关注其它相关文章！

# git  # 牛津大学  # 句话  # 网易  # 来了  # 约翰  # 高质量  # 神技  # Copilot  # Genesis  # Qwen  # 邮箱  # ai  # cad  # 工程  # Type  # 全国谷歌seo报价  # 纸巾营销推广图片大全集  # 郑州活动营销推广招聘信息  # 河北seo获客  # 江阳区做优化网站  # 展鹏网站建设  # 东莞品牌seo推广  # 大连网站建设开源  # 喝酒营销推广方案策划  # 万源商城网站建设  # 开源  # 上海  # 你该 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 平板键盘nfc功能是什么意思  win10电脑如何使用命令提示符  使用typescript对团队有什么要求  华为如何面对苹果16  市盈率亏损是什么意思  为什么都做折叠屏手机呢  md5解密是什么意思  喇叭上POWER4欧是什么意思  怎么在项目中使用typescript  linux如何切换到命令行模式  金色cmyk色值是多少  如何检测固态硬盘温度  j*a怎么保存到数组  typescript卸载不掉怎么办  市盈率ttm写的亏损是什么意思  划水是什么意思  rxjs和typescript什么意思  分享一个稳定的ao3镜像网址  如何winpe cmd命令  如何利用运行命令查看声音启动  linux环境中如何使用ping命令  360n6锁屏壁纸怎么设置  j*a怎么复制数组中  win10系统如何打开cmd命令  春运抢票最好抢什么票啊  typescript多久能学会  300秒等于多少分钟  苹果16系统多了哪些  双十一的哪一天最优惠呢  个人征信不好如何恢复 个人征信不良的全面修复指南  如何看固态硬盘信息  苹果16有哪些变化尺寸  为什么程序员热爱typescript  element ui的好处  苹果16如何预购  如何安装大华固态硬盘  苹果16会升级哪些  三星固态硬盘如何保修  新装固态硬盘如何安装  typescript和es6先学哪个  命令控制台如何执行sql文件  固态硬盘如何装入机箱  夸克搜题的原理是什么  J*a数组静态怎么打  sql isnull函数如何使用  typescript的语法格式是什么  所有删除的聊天记录都可以恢复吗？  折叠屏手机好不好,耐不耐用  学typescript要求什么  安卓手机怎么打开5g