苹果悄然进军大模型领域，其最新多模态模型ferret-ui或将改变游戏规则？| 编译：赖文昕

大模型技术引爆科技圈，巨头与新兴企业展开激烈角逐。OpenAI、Anthropic和Mistral等新秀的崛起，证明了在大模型时代，传统巨头并非占据绝对优势。

近期，苹果叫停了耗资数十亿美元、历时十余年的自动驾驶项目，并裁减了美国总部600多名员工，另有近2000名员工转投AI部门。然而，在主流智能手机厂商中，苹果却迟迟未推出自研大模型，这与以往的领先地位形成鲜明对比。

4月8日，苹果发布了名为“Ferret-UI”的新研究成果，这是一个能够理解并执行手机屏幕任务的多模态模型。该模型专为增强对移动端UI的理解而设计，具备引用、定位和推理功能。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://www.php.cn/link/6d16b39c4bdd5c238d55ea70055b4846

六个月前，苹果与哥伦比亚大学合作发布了多模态大模型“Ferret”，展现出强大的图文关联能力。“Ferret-UI”则更专注于移动端应用和用户交互。

研究团队表示，Ferret-UI能够有效理解和交互用户界面（UI），弥补了现有通用多模态大模型的不足。

UI任务性能超越GPT-4V

Ferret-UI的亮点在于其对UI的专注。苹果团队对比了Ferret-UI-base、Ferret-UI-anyres、Ferret和GPT-4V在各种UI任务上的表现，并在高级任务中加入了开源模型Fuyu和CogAgent进行对比。

在基础UI任务测试中，Ferret-UI在大多数任务上表现出色，尤其是在与iPhone相关的任务中，除了“查找文本”任务外，它全面超越了Ferret和GPT-4V。

在OCR、图标识别和控件分类等任务上，Ferret-UI的平均准确率分别达到72.9%、82.4%和81.4%，远高于GPT-4V的47.6%、61.3%和37.7%。在安卓任务中，GPT-4V的性能显著下降，尤其是在定位任务上，这可能是由于安卓UI元素更小、更密集造成的。

值得注意的是，在OCR任务中，模型预测的是目标区域旁的文本，而非目标区域内的文本。Ferret-UI能够准确预测部分被遮挡的文本，即使OCR模型返回错误文本也能做到。

在查找文本、图标和控件等定位任务中，Ferret-UI同样表现优异。在高级UI任务（如详细描述、感知对话、交互对话和功能推断）中，Ferret-UI与GPT-4V不相上下，甚至在某些任务上超越了后者。与开源模型Fuyu和CogAgent相比，Ferret-UI在大多数任务上均取得领先，尤其是在iPhone平台上优势明显。

Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

302 查看详情

尽管训练数据中未包含安卓数据，Ferret-UI在安卓平台上的高级任务中也展现出不错的性能，表明其具有跨操作系统UI知识迁移能力。

Anyres技术解决屏幕长宽比差异难题

Ferret-UI的成功离不开“任何分辨率”（anyres）技术的创新。这项技术旨在解决移动设备屏幕长宽比多样化的问题。

Ferret-UI-anyres在Ferret-UI-base的基础上，增加了额外的细粒度图像特征，包括预训练图像编码器和投影层，用于生成整个屏幕的图像特征。

对于每个基于原始图像长宽比获得的子图像，都会生成额外的图像特征；对于具有区域引用的文本，视觉采样器会生成相应的区域连续特征。大型语言模型（LLM）使用全图表示、子图表示、区域特征和文本嵌入来生成响应。

Ferret-UI-anyres架构

传统模型通常需要固定大小的输入，而移动设备屏幕大小和长宽比各异，anyres技术通过将屏幕分割成多个子图像，并对每个子图像进行放大来捕捉更多细节，从而适应不同屏幕尺寸。

这种方法不仅适用于不同长宽比的屏幕，还提高了模型对UI元素细节的识别能力，能够突出显示屏幕上的小型对象，如图标和文本，从而提高识别和定位精度。

苹果团队采用分层实验方法，从简单到复杂逐步提升模型能力，从基础的识别和分类任务开始，逐步过渡到需要更高层次理解的对话和推断任务，最终使其能够处理复杂的UI交互。

从基础的识别和分类到高级的描述和推断，Ferret-UI能够在真实世界的UI交互中提供准确有效的响应。结合anyres技术处理不同分辨率的屏幕，进一步增强了其有效性和用户体验。

结语

在大模型竞争激烈的环境下，科技巨头需要不断调整战略和产品布局。苹果的Ferret-UI、Ferret以及旨在改善语音助手交互的ReALM，都显示出苹果在大模型领域的持续投入。Ferret-UI能否推动iPhone引入AI，并帮助苹果重回领先地位，值得期待。

以上就是苹果发布多模态模型 Ferret-UI，部分手机 UI 任务超越 GPT-4V的详细内容，更多请关注其它相关文章！

# iphone  # Seo141  # 谷歌seo中文链接  # 微营销推广码  # 数百  # 系列产品  # 俄罗斯  # 是在  # 的是  # 保时捷  # 开源  # 长宽  # 多模  # 2025  # ai  # 苹果  # 操作系统  # 什么是网站建设的费用  # 宁波网站建设加盟  # 建设网站后的维护  # 湖州seo网站建设  # 网站建设技巧大全  # 培训网站推广公司有哪些  # 如何搞外贸网站推广代理 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 咋免费领取爱奇艺会员 如何免费领取爱奇艺会员步骤  如何查看硬盘是固态硬盘  市盈率为负值是什么意思  iPhone无法打开YouTube原因分析与解决方案  mac如何使用vi命令  焊机上power灯闪是什么意思  如何更新固态硬盘固件  ai文件里无法找到链接文件要怎么解决步骤  电脑如何查看固态硬盘  固态硬盘装完如何使用  j*a怎么创建json数组  j*a数组对象怎么取  电脑显示器上power是什么意思  typescript如何使用viewer  如何看固态硬盘信息  如何提高固态硬盘速度  typescript入门要多久  docs命令如何进入d  为什么夸克网盘下载不了  hen是什么意思  如何进入 dos 命令行  linux如何跳回命令行界面  如何使用批处理命令编译vc程序  夸克为什么老是投屏失败  夸克是什么用途  摩托车上power是什么意思  8k是多少钱  丰田type-c接口是什么  vs怎么编写typescript  春运抢票在哪儿抢票  2026年将会大爆发的15个新科技  如何利用运行命令查看声音启动  为什么ai老是说链接面板中缺少某些文件  光刻机分类有哪些品牌的  ao3镜像网站哪个好  春运车票啥时候可以抢票  什么是泛域名解析  春运哪天抢票最好  春运预约抢票能抢到吗  苹果16系统有哪些缺陷  vue组件typescript怎么用  爱奇艺fun会员可以几个人用？  热水器没热水显示power是什么意思  如何安装m.2固态硬盘  远程桌面如何发送命令  苹果ipad爱奇艺怎么投屏到电视  微波炉power中文是什么意思  命令行如何打开打印机  固态硬盘电脑如何设置  市盈率是什么意思高好还是低好