人体动作生成任务旨在生成逼真的人体动作序列，以满足娱乐、虚拟现实、机器人技术等领域的需求。传统的生成方法包括 3d 角色创建、关键帧动画和动作捕捉等步骤，其存在诸多限制，如耗时较长，需要专业技术知识，涉及昂贵的系统和软件，不同软硬件系统之间可能存在兼容性问题等。随着深度学习的发展，人们开始尝试使用生成模型来实现人体动作序列的自动生成，例如通过输入文本描述，要求模型生成与文本要求相匹配的动作序列。随着扩散模型被引入这个领域，生成动作与给定文本的一致性不断提高。

然而，尽管生成动作的自然程度已经有所提升，但与使用需求仍存在较大差距。为了进一步提升人体动作生成算法的能力，本文在MotionDiffuse [1]的基础上提出了ReMoDiffuse算法（图1）。通过利用检索策略，找到高相关性的参考样本，并提供细粒度的参考特征，从而生成更高质量的动作序列

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文链接：https://arxiv.org/pdf/2304.01116.pdf

• GitHub链接：https://github.com/mingyuan-zhang/ReMoDiffuse

• 项目主页：https://mingyuan-zhang.github.io/projects/ReMoDiffuse.html

通过巧妙地将扩散模型和创新的检索策略融合，ReMoDiffuse 为文本指导的人体动作生成注入了新的生命力。经过精心构思的模型结构，ReMoDiffuse 不仅能够创造出丰富多样、真实度高的动作序列，还能有效地满足各种长度和多粒度的动作需求。实验证明，ReMoDiffuse 在动作生成领域的多个关键指标上表现出色，显著地超越了现有算法。

图 1. ReMoDiffuse 概览

方法介绍

ReMoDiffuse的主要流程分为两个阶段：检索和扩散。在检索阶段，ReMoDiffuse利用混合检索技术，根据用户输入文本和预期的动作序列长度，从外部的多模态数据库中检索出信息丰富的样本，为动作生成提供有力的指导。在扩散阶段，ReMoDiffuse利用检索阶段获取的信息，通过高效的模型结构生成与用户输入语义一致的运动序列

为了确保高效的检索，ReMoDiffuse 为检索阶段精心设计了以下数据流（图 2）：

共有三种数据参与检索过程，分别是用户输入文本、预期动作序列长度，以及一个外部的、包含多个 对的多模态数据库。在检索最相关的样本时，ReMoDiffuse 利用公式计算出每个数据库中的样本与用户输入的相似度。这里的第一项是利用预训练的 CLIP [2] 模型的文本编码器对用户输入文本和数据库实体的文本计算余弦相似度，第二项计算预期动作序列长度和数据库实体的动作序列长度之间的相对差异作为运动学相似度。计算相似度分数后，ReMoDiffuse 选择相似度排名前 k 的样本作为检索到的样本，并提取出文本特征，和动作特征。这两者和从用户输入的文本中提取的特征 一同作为输入给扩散阶段的信号，指导动作生成。

图 2：ReMoDiffuse 的检索阶段

扩散过程（图3.c）由正向过程和逆向过程两个部分组成。在正向过程中，ReMoDiffuse会逐步将高斯噪声添加到原始动作数据中，并最终将其转化为随机噪声。逆向过程则专注于去除噪声并生成逼真的动作样本。从一个随机高斯噪声开始，ReMoDiffuse在逆向过程的每一步都使用语义调制模块（SMT）（图3.a）来估测真实分布，并根据条件信号逐步去除噪声。这里的SMT中的SMA模块将会将所有的条件信息融入到生成的序列特征中，是本文提出的核心模块

图 3：ReMoDiffuse 的扩散阶段

对于 SMA 层（图 3.b），我们使用了高效的注意力机制（Efficient Attention）[3] 来加速注意力模块的计算，并创造了一个更强调全局信息的全局特征图。该特征图为动作序列提供了更综合的语义线索，从而提升了模型的性能。SMA 层的核心目标是通过聚合条件信息来优化动作序列的生成。在这个框架下：

1.Q 向量具体地代表了我们期望基于条件信息生成的预期动作序列。

2.K 向量作为一种索引机制综合考虑了多个要素，包括当前动作序列特征、用户输入的语义特征，以及从检索样本中获取的特征和。其中，表示从检索样本中获取的动作序列特征，表示从检索样本中获取的文本描述特征。这种综合性的构建方式保证了 K 向量在索引过程中的有效性。

Blackink AI纹身生成

创建类似纹身的设计，生成独特纹身

80 查看详情

3.V 向量提供了生成动作所需的实际特征。与 K 向量类似，V 向量综合考虑了检索样本、用户输入和当前动作序列。由于检索样本的文本描述特征与生成的动作之间没有直接关联，因此在计算 V 向量时，我们选择不使用这一特征，以避免不必要的信息干扰

结合 Efficient Attention 的全局注意力模板机制，SMA 层利用来自检索样本的辅助信息、用户文本的语义信息以及待去噪序列的特征信息，建立起一系列综合性的全局模板，使得所有条件信息能够被待生成序列充分吸收。

为了实现内容的重写，需要将原文转换成中文。以下是重写后的内容： 研究设计和实验结果

我们对ReMoDiffuse进行了HumanML3D [4]和KIT-ML [5]两个数据集的评估。实验结果（表1、2）从文本一致性和动作质量两个角度展示了我们提出的ReMoDiffuse框架的强大性能和优势

表 1. 不同方法在 HumanML3D 测试集上的表现

表 2. 不同方法在 KIT-ML 测试集上的表现

以下是展示 ReMoDiffuse 强大性能的一些示例（图 4）。与之前的方法相比，例如，在给定文本“一个人在圆圈里跳跃”时，只有 ReMoDiffuse 能够准确捕捉到“跳跃”动作和“圆圈”路径。这表明 ReMoDiffuse 能够有效地捕捉文本细节，并将内容与给定的运动持续时间对齐

图 4. ReMoDiffuse 生成的动作序列与其他方法生成的动作序列的比较

我们对 Guo 等人的方法 [4]、MotionDiffuse [1]、MDM [6] 以及 ReMoDiffuse 所生成的相应动作序列进行了可视化展示，并以问卷形式收集测试参与者的意见。结果的分布情况如图 5 所示。从结果中可以清晰地看出，在大多数情况下，参与测试者认为我们的方法 —— 即 ReMoDiffuse 所生成的动作序列在四个算法中最贴合所给的文本描述，也最自然流畅。

图 5：用户调研的结果分布

引用

明源张、蔡忠刚、潘亮、洪方舟、郭欣颖、杨磊和刘子伟。Motiondiffuse: 基于扩散模型的文本驱动人体动作生成。arXiv预印本 arXiv:2208.15001, 2025年

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2025.

[3] Zhuoran Shen, Mingyuan Zhang, Haiyu Zhao, Shuai Yi, and Hongsheng Li. Efficient attention: Attention with linear complexities. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 3531–3539, 2025.

[4] Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5152–5161, 2025.

需要重写的内容是：[5] Matthias Plappert, Christian Mandery和Tamim Asfour。《运动语言数据集》。大数据，4（4）：236-252，2016年

[6] Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. In The Eleventh International Conference on Learning Representations, 2025.

以上就是ICCV 2025 | 重塑人体动作生成，融合扩散模型与检索策略的新范式ReMoDiffuse来了的详细内容，更多请关注其它相关文章！

# 过程中  # 肇庆网站优化首页哪家好  # 营销推广过不了怎么办  # 漳河seo推广对比  # 建设图纸网站查询  # 重庆南岸区网站建设  # 山西seo培训怎么操作  # 深圳网站建设品牌公司  # 淮安抖音关键词排名客服人员  # 梅州网站建设wlwl  # 通讯产品网站推广计划书  # 入门  # 进行了  # 一键  # 合集  # 变身  # 句话  # 有效地  # 重写  # 多个  # 来了  # type 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 电瓶车的power是什么意思  爱奇艺视频怎么下载到手机u盘怎么转换格式方法  typescript解决了什么  单片机计数程序怎么写  春运抢票最多能抢几趟车  苹果16哪些会降价的  固态硬盘颗粒如何修理  一秒是多少毫秒  python和typescript学哪个  如何修改域名解析  华为的nfc功能是什么意思  直接gmV是什么意思？直接GMV:定义和概念  怎么在typescript写原型链  苹果16更新了哪些功能  苹果16有哪些改善  ensp命令如何提示  汽车中控导航机power线是什么意思  unix时间戳是什么意思  为什么程序员热爱typescript  linux如何打开命令窗口  汽车上power是什么意思  焊机上power指示灯亮是什么意思  js怎么设置typescript  摄像机的power chg是什么意思中文  国标控制器单片机怎么接线  如何查找固态硬盘  使用typescript对团队有什么要求  为什么进行域名解析  ai显示无法找到链接的文件是什么意思  路由器上的power按钮是什么意思  360n6锁屏壁纸怎么设置  电动车power灯亮红灯是什么意思  如何去除计算器的命令  苹果16新增哪些功能  苹果16有哪些bug  折叠屏手机为什么有黑点  电脑显示器上power是什么意思  命令行如何启动应用程序  如何安装大华固态硬盘  vs如何输入命令行参数  如何查看win10版本命令行  如何进入 dos 命令行  市盈率为负数是什么意思  夸克网盘是什么都有吗  awk命令如何对两列加分隔符  typescript中如何定义json  市盈率底下 18A 19E 是什么意思  typescript有什么框架  为什么夸克网盘下载不了  课程伴侣电脑怎么登录