☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 评估问题通常是 ai 生成的，形式固定；

• 逻辑链简单，不涉及复杂多步推理；

• 输入是纯文本形式，模态单一；

• 没有部署真实可执行的工具，无法端到端评测。

• 真实的用户问题

• 真实部署的工具

• 多模态输入输出

• 论文标题：GTA: A Benchmark for General Tool Agents

• 论文链接：https://arxiv.org/abs/2407.08713

• 代码和数据集链接: https://github.com/open-compass/GTA

• 项目主页:  https://open-compass.github.io/GTA

  Yaara

  使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

  95 查看详情

• Hugging Face：https://huggingface.co/datasets/Jize1/GTA

• 真实用户查询：包含 229 个人类撰写的问题，问题具有简单的真实世界目标，但解决步骤是隐含的，工具也是隐含的，要求模型通过推理来选择合适的工具并规划操作步骤。

• 真实部署的工具：GTA 提供了工具部署平台，涵盖感知、操作、逻辑和创作四大类共 14 种工具，能够真实反映智能体实际的任务执行性能。

• 多模态输入输出：除了文本，GTA 还引入了空间场景、网页截图、表格、代码片段、手写 / 打印材料等多模态输入，要求模型处理这些丰富的上下文信息，并给出文本或图像输出。这使得任务更加接近实际应用场景，进一步提升了评估的真实性和复杂性。

• 逐步模式 (step-by-step mode)。该模式旨在细粒度地评估模型的工具使用能力。在该模式下，ground truth 工具链的前 n 步作为 prompt，模型预测第 n + 1 步的操作。在逐步模式下，设计四个指标：InstAcc（指令遵循准确率）、ToolAcc（工具选择准确率）、ArgAcc（参数预测准确率）和 SummAcc（答案总结准确率）。

• 端到端模式 (end-to-end mode)。该模式旨在反映智能体实际执行任务时的表现。在这种模式下，模型会自主调用工具并解决问题，而无外部引导。使用 AnsAcc（最终答案准确率）来衡量执行结果的准确性。此外，还计算了工具选择方面的四个 F1 score：P、L、O、C，分别衡量感知 (Perception)、操作 (Operation)、逻辑 (Logic) 和创作 (Creativity) 类别的工具选择能力。

评测结果表明，目前的大语言模型在复杂真实场景任务的工具调用上仍存在明显的局限性。GPT-4 在 GTA 上仅能完成 46.59% 的任务，而大多数模型仅能完成不到 25% 的任务。

• 构建了通用工具智能体的评测数据集。问题由人类设计，是步骤隐含、工具隐含的，且立足于真实世界场景，并提供了多模态语境输入。每个问题都标注了可执行的工具链，以支持细粒度的工具使用能力评测。

• 提供了包含感知、操作、逻辑、创作类别工具的评测平台。针对工具调用设计了细粒度的评测指标，揭示工具增强的语言模型在真实世界场景中的推理和规划能力。

• 评测和分析了主流大语言模型。从多个维度评测了 16 个大语言模型，反映了目前的语言模型在真实世界场景下的工具调用能力瓶颈，为通用目标智能体的发展路径提供建议。

以上就是NeurIPS 2025 | 真实世界复杂任务，全新基准GTA助力大模型工具调用能力评测的详细内容，更多请关注其它相关文章！

# git  # 新市区网站产品推广排行  # 网站优化技术分析工具  # 长尾词怎么优化网站  # seo工作部署  # 可直接  # 新能源  # 所示  # 细粒度  # 解决问题  # 日韩  # 模式下  # 工程  # ai  # 邮箱  # hugging face  # qwen  # llama  # type  # 多模  # 多个  # 提出了  # 商务网站建设公司哪里有  # 武威网站排名优化  # 成都网站优化外链  # 华为营销推广岗位怎么样  # 德州抖音seo推广优化  # 房地产烂尾楼营销推广 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 净水器上的power是什么意思  热水器没热水显示power是什么意思  如何查看电脑的固态硬盘  j*a数组怎么放字符  爱奇艺会员qq登录可以几个人用？  如何通过命令行聊天  5G手机导航怎么旋转  华为如何面对苹果16  新买的固态硬盘如何查  linux如何用命令修改ip  苹果怎么没出5g手机  命令行如何运行c  如何把一个命令后台运行  win7如何打开命令行窗口  征信不好如何短期恢复  安卓手机怎么打开5g  md5解密是什么意思  市盈率ttm市盈动静是什么意思  python 如何执行linux命令  企业征信不好如何恢复 企业征信不好怎么恢复步骤  如何以管理员身份打开命令提示符  征信不好如何恢复信誉度 ‌征信不好恢复信誉度的方法  如何4k对齐固态硬盘  什么是unix时间戳  如何查看硬盘是固态硬盘  ao3镜像网站哪个好  怎么在typescript写原型链  33000日元等于多少人民币  linux如何打开命令窗口  联想的固态硬盘如何  如何学好typescript  华硕k20ce怎么装win7  如何增加固态硬盘  市盈率负值是什么意思  win10如何打开dos命令窗口大小  位置控制单片机怎么用的  为什么夸克流畅播失败  如何利用固态硬盘  自己如何安装固态硬盘  固态硬盘如何显示  如何查询固态硬盘寿命  夸克的答案为什么不对  春运抢票最好抢什么票啊  access中如何使用常用宏命令  内网和外网区别 内网和外网有什么区别  光刻机的分类及其优缺点  一年多少周  苹果16讲解有哪些功能  空调控制面板power灯一直亮是什么意思  gs是什么意思