研究者指出，codi-2标志着在开发全面的多模态基础模型领域取得了重大突破

今年 5 月，北卡罗来纳大学教堂山分校、微软提出一种可组合扩散（Composable Diffusion，简称 CoDi）模型，让一种模型统一多种模态成为可能。CoDi 不仅支持从单模态到单模态的生成，还能接收多个条件输入以及多模态联合生成。

最近，来自UC伯克利、微软Azure AI、Zoom、以及北卡罗来纳大学教堂山分校的多位研究者已将CoDi系统升级至CoDi-2版本

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/pdf/2311.18775.pdf

• 项目地址：https://codi-2.github.io/

^{重新写内容，不改变原意，需要改写成中文语言，不需要出现原句}

根据Zineng Tang的论文，CoDi-2遵循复杂的多模态交错上下文指令，以零样本或少样本交互的方式生成任何模态（文本、视觉和音频）

^{此链接为图片来源：https://twitter.com/ZinengTang/status/1730658941414371820}

可以说，作为一种多功能、交互式的多模态大语言模型（MLLM），CoDi-2 能够以 any-to-any 输入-输出模态范式进行上下文学习、推理、聊天、编辑等任务。通过对齐编码与生成时的模态与语言，CoDi-2 使 LLM 不仅可以理解复杂的模态交错指令和上下文示例， 还能在连续的特征空间内自回归地生成合理和连贯的多模态输出。

而为了训练 CoDi-2，研究者构建了一个大规模生成数据集，包含了跨文本、视觉和音频的上下文多模态指令。CoDi-2 展示了一系列多模态生成的零样本能力，比如上下文学习、推理以及通过多轮交互对话实现的 any-to-any 模态生成组合。其中在主题驱动图像生成、视觉转换和音频编辑等任务上超越了以往领域特定的模型。

^{人类与 CoDi-2 的多轮对话为图像编辑提供了上下文多模态指令。}

需要重新书写的内容是：模型架构

CoDi-2 在设计时旨在处理上下文中的文本、图像和音频等多模态输入，利用特定指令促进上下文学习并生成相应的文本、图像和音频输出。CoDi-2 需要重新书写的内容是：模型架构图如下所示。

以多模态大语言模型作为基础引擎

这种 any-to-any 基础模型可以消化交错式模态输入，理解和推理复杂指令（如多轮对话、上下文示例），并与多模态扩散器交互，实现这一切的前提是需要一个强大的基础引擎。研究者提出将 MLLM 作为这个引擎，它的构建需要为仅文本的 LLM 提供多模态感知。

利用对齐的多模态编码器映射，研究者可以无缝地使 LLM 感知到模态交错的输入序列。具体地，在处理多模态输入序列时，他们首先使用多模态编码器将多模态数据映射到特征序列，然后特殊 token 被添加到特征序列的前后，比如「〈audio〉 [audio feature sequence] 〈/audio〉」。

多模态生成的基础是MLLM

VALL-E

VALL-E是一种用于文本到语音生成 (TTS) 的语言建模方法

134 查看详情

研究者提出将扩散模型（DM）集成到MLLM中，以生成多模态输出。在此过程中，遵循了详尽的多模态交错指令和提示。扩散模型的训练目标如下所示：

接着他们提出训练 MLLM 以生成条件式特征 c = C_y (y)，该特征被馈入到扩散模型中以合成目标输出 x。这样一来，扩散模型的生成损失被用来训练 MLLM。

任务类型

该模型在以下示例任务类型中展现出强大的能力，它提供了一种独特的方法，可以促使模型生成或转换上下文中的多模态内容，包括文本、图像、音频、视频及其组合

重写后的内容为：1. 零样本推理。零样本推理任务要求模型在没有任何先前示例的情况下进行推理并生成新的内容

2. 一次/少量样本提示。一次或少量样本提示为模型提供了一个或几个示例，以便在执行类似任务之前从中学习。这种方法在以下任务中很明显：模型将学习到的概念从一个图像应用到另一个图像，或者通过理解所提供示例中描述的风格来创建一个新的艺术品。

（1）范例学习在要求模型将此学习应用于新实例之前，向模型显式显示期望输出的示例。

（2）概念学习涉及模型从这些给定示例的共享概念/属性中学习，例如艺术风格或模式，然后创建展示类似概念/属性的新内容。

（3）主题驱动的学习侧重于根据一组提供的图像生成新的内容。

实验及结果

模型设置 

本文模型的实现基于 Llama2，特别是 Llama-2-7b-chat-hf。研究者使用 ImageBind ，它具有对齐的图像、视频、音频、文本、深度、thermal 和 IMU 模式编码器。研究者使用 ImageBind 对图像和音频特征进行编码，并通过多层感知器（MLP）将其投射到 LLM（Llama-2-7b-chat-hf）的输入维度。MLP 由线性映射、激活、归一化和另一个线性映射组成。当 LLM 生成图像或音频特征时，他们通过另一个 MLP 将其投射回 ImageBind 特征维度。本文图像扩散模型基于 StableDiffusion2.1 （stabilityai/stable-diffusion-2-1-unclip）、AudioLDM2 和 zeroscope v2。

研究人员为了获得更高保真度的原始输入图像或音频，将它们输入到扩散模型中，并通过连接扩散噪声生成特征。这种方法非常有效，它可以最大程度地保留输入内容的感知特征，并能够添加新内容或改变风格等指令编辑

需要进行重写的内容是：图像生成评估

下图展示了 Dreambench 上主题驱动图像生成的评估结果和 MSCOCO 上的 FID 分数。本文方法实现了极具竞争力的零样本性能，显示了其对未知新任务的泛化能力。

音频生成评估

表 5 展示了音频处理任务的评估结果，即添加、删除和替换音轨中的元素。从表中可以明显看出，与之前的方法相比，本文方法表现出了卓越的性能。值得注意的是，在所有三个编辑任务中，它在所有指标——对数谱距离（LSD）、Kullback-Leibler（KL）发散和 Fréchet Distance（FD）上都取得了最低得分

阅读原文，了解更多技术细节。

以上就是任意文本、视觉、音频混合生成，多模态有了强大的基础引擎CoDi-2的详细内容，更多请关注其它相关文章！

# codi-2  # 产业  # 所示  # 重写  # 微软  # 将于  # 将其  # 模态  # 多模  # type  # udio  # llama  # 药品天猫店怎么做营销推广  # 外贸产品营销推广邮件  # 云养动物如何推广营销  # 大润发供应商网站建设  # 网站建设所需物资  # 网站建设需要提供什么  # 青州seo公司  # 南京网站建设审批部门  # 茂名营销型建站推广  # 网站后台优化推广tdk设置  # 展示了  # 首款  # 新能源 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： shell如何注释所有命令  联想手机如何输入命令行  如何选择启用固态硬盘  固态硬盘如何接主机  焊机上power灯闪是什么意思  春运抢票哪个平台好抢  折叠屏手机为什么有黑点  如何用命令行连接本地数据库  固态硬盘如何消除缓存  360n6锁屏壁纸怎么设置  typescript怎么解析vue TypeScript在vue中的使用最新解读  单片机串口接收怎么实现  哪些框架支持typescript  春运抢票准备什么  命令行如何打开文件  折叠屏手机选择哪个好  摩托车上power是什么意思  2025年哪个局域网聊天软件好用  酷狗音乐pc版的每日推荐在哪 酷狗音乐PC版每日推荐查找指南  折叠屏手机为什么没火  typescript性能如何  如何查询固态硬盘寿命  单片机怎么读取电流值  typescript入门要多久  如何知道固态硬盘  单片机面包板怎么插  混合固态硬盘如何分区  xdm是什么意思  ai如何重复使用上一命令  如何判断固态硬盘端口  adb 命令如何后台运行  爱奇艺fun会员可以几个人用？  夸克po什么意思  如何引用typescript中的方法  喇叭上标的power30w是什么意思  直接gmV是什么意思？直接GMV:定义和概念  如何在固态硬盘上安装win7系统  固态硬盘如何备份  苹果16系统多了哪些  照相机上面power是什么意思  如何查看硬盘是固态硬盘  春运抢票在哪儿抢票  2025年国外最佳语音聊天软件排行榜  苹果16有哪些变化尺寸  路亚竿上的power是什么意思  typescript参数怎么用  学typescript需要什么基础么  导航power在汽车上是什么意思  单片机怎么定义字符长度  typescript的文件如何执行