1 月 22 日，零一万物 Yi 系列模型家族迎来新成员：Yi Vision Language（Yi-VL）多模态语言大模型正式面向全球开源。据悉，Yi-VL 模型基于 Yi 语言模型开发，包括 Yi-VL-34B 和 Yi-VL-6B 两个版本。

Yi-VL 模型开源地址：

• https://huggingface.co/01-ai
• https://www.modelscope.cn/organization/01ai

凭借卓越的图文理解和对话生成能力，Yi-VL 模型在英文数据集 MMMU 和中文数据集 CMMMU 上取得了领先成绩，展示了在复杂跨学科任务上的强大实力。

MMMU（全名 Massive Multi-discipline Multi-modal Understanding & Reasoning 大规模多学科多模态理解和推理）数据集包含了 11500 个来自六大核心学科（艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程）的问题，涉及高度异构图像类型和交织文本图像信息，对模型的高级知觉和推理能力提出了极高要求。在该测试集上，Yi-VL-34B 以 41.6% 的准确率表现超越了一系列多模态大模型，仅次于 GPT-4V（55.7%），展现出强大的跨学科知识理解和应用能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

^{来源：https://mmmu-benchmark.github.io}

在针对中文场景打造的 CMMMU 数据集上，Yi-VL 模型展现了「更懂中国人」的独特优势。CMMMU 包含了约 12000 道源自大学考试、测验和教科书的中文多模态问题。其中，GPT-4V 在该测试集上的准确率为 43.7%， Yi-VL-34B 以 36.5% 的准确率紧随其后，在现有的开源多模态模型中处于领先位置。

^{来源：https://cmmmu-benchmark.github.io/}

那么，Yi-VL 模型在图文对话等多元场景中的表现如何？

我们先看两个示例：

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

可以看到，基于 Yi 语言模型的强大文本理解能力，只需对图片进行对齐，就可以得到不错的多模态视觉语言模型 —— 这也是 Yi-VL 模型的核心亮点之一。

^{Yi-VL 模型架构设计和训练方法流程一览。}

在架构设计上，Yi-VL 模型基于开源 LLaVA 架构，包含三个主要模块：

• Vision Transformer（简称 ViT）用于图像编码，使用开源的 OpenClip ViT-H/14 模型初始化可训练参数，通过学习从大规模「图像 - 文本」对中提取特征，使模型具备处理和理解图像的能力。
• Projection 模块为模型带来了图像特征与文本特征空间对齐的能力。该模块由一个包含层归一化（layer normalizations）的多层感知机（Multilayer Perceptron，简称 MLP）构成。这一设计使得模型可以更有效地融合和处理视觉和文本信息，提高了多模态理解和生成的准确度。
• Yi-34B-Chat 和 Yi-6B-Chat 大规模语言模型的引入为 Yi-VL 提供了强大的语言理解和生成能力。该部分模型借助先进的自然语言处理技术，能够帮助 Yi-VL 深入理解复杂的语言结构，并生成连贯、相关的文本输出。

在训练方法上，Yi-VL 模型的训练过程分为三个精心设计的阶段，旨在全面提升模型的视觉和语言处理能力。

• 第一阶段：零一万物使用 1 亿张的「图像 - 文本」配对数据集训练 ViT 和 Projection 模块。在这一阶段，图像分辨率被设定为 224x224，以增强 ViT 在特定架构中的知识获取能力，同时实现与大型语言模型的高效对齐。
• 第二阶段：零一万物将 ViT 的图像分辨率提升至 448x448，这一提升让模型更加擅长识别复杂的视觉细节。此阶段使用了约 2500 万「图像 - 文本」对。
• 第三阶段：零一万物开放整个模型的参数进行训练，目标是提高模型在多模态聊天互动中的表现。训练数据涵盖了多样化的数据源，共约 100 万「图像 - 文本」对，确保了数据的广泛性和平衡性。

零一万物技术团队同时也验证了可以基于 Yi 语言模型强大的语言理解和生成能力，用其他多模态训练方法比如 BLIP、Flamingo、EVA 等快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。Yi 系列模型可以作为多模态模型的基座语言模型，给开源社区提供一个新的选项。

目前，Yi-VL 模型已在 Hugging Face、ModelScope 等平台上向公众开放，用户可通过以下链接亲身体验这款模型在图文对话等多元场景中的优异表现。欢迎探索 Yi-VL 多模态语言模型的强大功能，体验前沿的 AI 技术成果。

以上就是Yi-VL大模型开源，荣居MMMU、CMMMU榜首的详细内容，更多请关注其它相关文章！

# 零一万物  # hugging face  # 多模  # 开源  # 两大  # 榜单  # 华纳  # 产业  # 聊城营销网站优化  # 机械外贸怎么做seo  # 网站优化好方案  # 放心的营销如何推广  # 娄底网站优化公司电话  # 市北区网站seo  # 嘉定抖音seo客服电话  # 广州集团推广网站公司  # 怎么看关键词排名有上升  # 高校开学网站建设方案  # 开好  # 之争  # 新能源  # 都能  # 这一 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何在一串数字前面去掉四位数的命令  如何发挥固态硬盘性能  单片机计数程序怎么写  typescript如何使用viewer  计数器上power是什么意思  手机如何运行ping命令  单片机.lib文件怎么打开  手机全功能type-c接口是什么意思  主板如何禁用固态硬盘  linux如何使用db2命令  hen是什么意思  苹果16哪些功能好用  typescript性能如何  如何设置从固态硬盘启动  如何自己加装固态硬盘  春运抢票在哪儿抢票  平仓是什么意思?  ts什么意思  汽车上power是什么意思  如何用dos命令分区  启辰星power标志是什么意思  爱玛电动车power模式是什么意思  阿里云盘修复工具怎么用  linux下如何重定位命令  国标控制器单片机怎么接线  对应市盈率是30X是什么意思  光刻机的作用及工作原理  typescript变量是什么  360手机壁纸怎么改  如何用命令提示符显示隐藏分区  估值水平比较中市盈率E是什么意思  360n6锁屏壁纸怎么设置  5g手机怎么没视频通话功能  什么是typescript  如何学好typescript  win7怎么装扫描仪  手机拍电脑屏幕有条纹怎么解决  HTML5如何引用typescript  固态硬盘如何启动  unix时间戳是什么意思  win7怎么取消360显示的壁纸  j*a怎么处理json数组  typescript如何遍历map  安全的ao3镜像网站链接入口  如何修改cad中的命令  有什么基础可以学typescript  固态硬盘如何测试好坏  为什么夸克流畅播失败  如何正确使用固态硬盘  汽车中控导航机power线是什么意思