新闻中心

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

2023-10-30
浏览次数:
返回列表

目前,虽然在人体全身姿态与体型估计(EHPS, Expressive Human Pose and Shape estimation)方面已经取得了很大的研究进展,但是最先进的方法仍然受限于训练数据集的限制

最近,南洋理工大学S-Lab、商汤科技、上海人工智能实验室、东京大学和IDEA研究院的研究人员首次提出了针对人体全身姿态与体型估计任务的动捕大模型SMPLer-X。该研究使用了来自不同数据源的多达450万个实例对模型进行训练,在7个关键榜单上都取得了最佳性能

SMPLer-X不仅可以捕捉身体动作,还可以输出面部和手部动作,并对体型进行估计

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

论文链接:https://arxiv.org/abs/2309.17448

项目主页:https://caizhongang.github.io/projects/SMPLer-X/

凭借丰富的数据和庞大的模型,SMPLer-X在各种测试和排行榜上展现出强大的性能,甚至在未知环境中也具备出色的通用性

在数据扩展方面,研究人员对32个3D人体数据集进行了全面的评估和分析,以为模型训练提供参考

2. 在模型缩放方面,使用视觉大模型来研究增加模型参数量对性能的提升效果

3. 通过微调策略可以将SMPLer-X通用大模型转变为专用大模型,使其能够实现进一步的性能提升。

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

综上所述,SMPLer-X进行了数据缩放与模型缩放的探索(见图1),并在32个学术数据集上进行排名,同时在其450万个实例上进行训练,在包括AGORA、UBody、EgoBody和EHF在内的7个关键榜单上均实现了最佳性能

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

Figure 1 增大数据量和模型参数量在降低关键榜单(AGORA、UBody、EgoBody、3DPW 和 EHF)的平均主要误差(MPE)方面都是有效的

对现有的3D人体数据集进行泛化性研究

研究人员对32个学术数据集进行了排名:为了衡量每个数据集的性能,需要使用该数据集训练一个模型,并在五个评估数据集上评估模型:AGORA、UBody、EgoBody、3DPW和EHF。

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

表中还计算了平均主要误差(Mean Primary Error, MPE),以便于在各个数据集之间进行简单比较。

从研究数据集泛化性得到的启示

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

通过对大量数据集的分析(见图3),可以得出以下四个结论:

1. 关于单一数据集的数据量,10万个实例数量级的数据集用于模型训练可以得到较高的性价比;

2. 关于数据集的采集场景,In-the-wild数据集的效果最佳。如果只能在室内采集数据,为了提升训练效果,需要避免使用单一场景的数据

关于数据集的采集,排名前三的数据集中有两个是生成的数据集。近年来,生成数据集展现出了强大的性能

关于数据集的标注,伪标签在训练中也扮演了非常重要的角色

动捕大模型的训练与微调

现今最先进的方法通常只使用少数几个数据集(例如,MSCOCO、MPII和Human3.6M)进行训练,而本文研究了使用更多的数据集

短影AI 短影AI

长视频一键生成精彩短视频

短影AI 170 查看详情 短影AI

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

在考虑到排名较高的数据集为首选的前提下,我们使用了四种不同的数据量:分别是作为训练集的5、10、20和32个数据集,总大小分别为75万、150万、300万和450万个实例

除此之外,研究人员也展示了低成本的微调策略来将通用大模型适应到特定场景。

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

上表中展示了部分主要测试,如AGORA测试集(表3)、AGORA验证集(表4)、EHF(表5)、UBody(表6)、EgoBody-EgoSet(表7)。

此外,研究人员还对动捕大模型的泛化性进行了在ARCTIC和DNA-Rendering两个测试集上的评估

研究人员希望SMPLer-X能带来超出算法设计的启发,并为学术社区提供强大的全身人体动捕大模型。

代码和预训练模型已经在项目主页开源,欢迎访问https://caizhongang.github.io/projects/SMPLer-X/ ,了解更多详情

结果展示

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!

以上就是SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!的详细内容,更多请关注其它相关文章!


# 中也  # 淘宝seo标题生成器  # 网站优化外包托管  # 恩施公司网站建设  # 网站关键词优化推广工具  # 罗源网站seo优化  # 集客seo获客  # 酒店网站建设报价单  # 建设阿里巴巴网站首页  # 网站推广选择什么行业  # web设置seo  # 最先进  # 模型  # 将于  # 较高  # 并在  # 三大  # 进行了  # 万个  # 榜单  # 首个  # fig  # ai 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 一分钟等于多少秒  2025年哪个局域网聊天软件好用  固态硬盘2m如何修复  如何通过dos命令  j*a怎么让数组倒换  一天多少分钟  哪些明星在用苹果16  苹果16哪些功能好用  typescript的文件如何执行  如何用adb命令停用系统软件  微波炉power中文是什么意思  nfc功能是什么意思怎么开启  如何使用net命令  bugly是什么  J*a数组静态怎么打  命令行如何启动应用程序  制冰机power1灯亮是什么意思  内在市盈率是什么意思  热水器没热水显示power是什么意思  固态硬盘如何启动  自由服务器如何做动态ip域名解析  春运抢票最新技巧与方法  折叠屏手机为什么凉凉  vs如何输入命令行参数  台达plc只有power灯亮是什么意思  远程桌面如何发送命令  市盈率3.2是什么意思  如何打开win10命令  树莓派命令行如何新建文件  夸克用的什么服务器  夸克绑定设备是什么意思  春运车站抢票和网上抢票  固态硬盘如何区分好坏  安全的ao3镜像网站链接入口  夸克是什么用途  夸克还原排版是什么意思  商誉是什么意思  2025年国外最佳语音聊天软件排行榜  苹果手机16新款颜色有哪些  j*a数组怎么新增值  如何在固态硬盘上安装win7系统  js怎么设置typescript  typescript如何做项目  直接gmV是什么意思?直接GMV:定义和概念  单片机面包板怎么插  j*a二数组怎么创建  三菱变频器POWER是什么意思  苹果16改进了哪些  电焊机power和oc是什么意思  苹果16会有哪些更新 

搜索