新闻中心
SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!
目前,虽然在人体全身姿态与体型估计(EHPS, Expressive Human Pose and Shape estimation)方面已经取得了很大的研究进展,但是最先进的方法仍然受限于训练数据集的限制
最近,南洋理工大学S-Lab、商汤科技、上海人工智能实验室、东京大学和IDEA研究院的研究人员首次提出了针对人体全身姿态与体型估计任务的动捕大模型SMPLer-X。该研究使用了来自不同数据源的多达450万个实例对模型进行训练,在7个关键榜单上都取得了最佳性能
SMPLer-X不仅可以捕捉身体动作,还可以输出面部和手部动作,并对体型进行估计
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
论文链接:https://arxiv.org/abs/2309.17448
项目主页:https://caizhongang.github.io/projects/SMPLer-X/
凭借丰富的数据和庞大的模型,SMPLer-X在各种测试和排行榜上展现出强大的性能,甚至在未知环境中也具备出色的通用性
在数据扩展方面,研究人员对32个3D人体数据集进行了全面的评估和分析,以为模型训练提供参考
2. 在模型缩放方面,使用视觉大模型来研究增加模型参数量对性能的提升效果
3. 通过微调策略可以将SMPLer-X通用大模型转变为专用大模型,使其能够实现进一步的性能提升。

综上所述,SMPLer-X进行了数据缩放与模型缩放的探索(见图1),并在32个学术数据集上进行排名,同时在其450万个实例上进行训练,在包括AGORA、UBody、EgoBody和EHF在内的7个关键榜单上均实现了最佳性能

Figure 1 增大数据量和模型参数量在降低关键榜单(AGORA、UBody、EgoBody、3DPW 和 EHF)的平均主要误差(MPE)方面都是有效的
对现有的3D人体数据集进行泛化性研究
研究人员对32个学术数据集进行了排名:为了衡量每个数据集的性能,需要使用该数据集训练一个模型,并在五个评估数据集上评估模型:AGORA、UBody、EgoBody、3DPW和EHF。

表中还计算了平均主要误差(Mean Primary Error, MPE),以便于在各个数据集之间进行简单比较。
从研究数据集泛化性得到的启示

通过对大量数据集的分析(见图3),可以得出以下四个结论:
1. 关于单一数据集的数据量,10万个实例数量级的数据集用于模型训练可以得到较高的性价比;
2. 关于数据集的采集场景,
In-the-wild数据集的效果最佳。如果只能在室内采集数据,为了提升训练效果,需要避免使用单一场景的数据
关于数据集的采集,排名前三的数据集中有两个是生成的数据集。近年来,生成数据集展现出了强大的性能
关于数据集的标注,伪标签在训练中也扮演了非常重要的角色
动捕大模型的训练与微调
现今最先进的方法通常只使用少数几个数据集(例如,MSCOCO、MPII和Human3.6M)进行训练,而本文研究了使用更多的数据集
短影AI
长视频一键生成精彩短视频
170
查看详情

在考虑到排名较高的数据集为首选的前提下,我们使用了四种不同的数据量:分别是作为训练集的5、10、20和32个数据集,总大小分别为75万、150万、300万和450万个实例
除此之外,研究人员也展示了低成本的微调策略来将通用大模型适应到特定场景。



上表中展示了部分主要测试,如AGORA测试集(表3)、AGORA验证集(表4)、EHF(表5)、UBody(表6)、EgoBody-EgoSet(表7)。
此外,研究人员还对动捕大模型的泛化性进行了在ARCTIC和DNA-Rendering两个测试集上的评估
研究人员希望SMPLer-X能带来超出算法设计的启发,并为学术社区提供强大的全身人体动捕大模型。
代码和预训练模型已经在项目主页开源,欢迎访问https://caizhongang.github.io/projects/SMPLer-X/ ,了解更多详情
结果展示








以上就是SMPLer-X:颠覆七大榜单,呈现首个人体动捕基模型!的详细内容,更多请关注其它相关文章!
# 中也
# 淘宝seo标题生成器
# 网站优化外包托管
# 恩施公司网站建设
# 网站关键词优化推广工具
# 罗源网站seo优化
# 集客seo获客
# 酒店网站建设报价单
# 建设阿里巴巴网站首页
# 网站推广选择什么行业
# web设置seo
# 最先进
# 模型
# 将于
# 较高
# 并在
# 三大
# 进行了
# 万个
# 榜单
# 首个
# fig
# ai
相关栏目:
【
行业资讯67740 】
【
技术百科0 】
【
网络运营39195 】
相关推荐:
一分钟等于多少秒
2025年哪个局域网聊天软件好用
固态硬盘2m如何修复
如何通过dos命令
j*a怎么让数组倒换
一天多少分钟
哪些明星在用苹果16
苹果16哪些功能好用
typescript的文件如何执行
如何用adb命令停用系统软件
微波炉power中文是什么意思
nfc功能是什么意思怎么开启
如何使用net命令
bugly是什么
J*a数组静态怎么打
命令行如何启动应用程序
制冰机power1灯亮是什么意思
内在市盈率是什么意思
热水器没热水显示power是什么意思
固态硬盘如何启动
自由服务器如何做动态ip域名解析
春运抢票最新技巧与方法
折叠屏手机为什么凉凉
vs如何输入命令行参数
台达plc只有power灯亮是什么意思
远程桌面如何发送命令
市盈率3.2是什么意思
如何打开win10命令
树莓派命令行如何新建文件
夸克用的什么服务器
夸克绑定设备是什么意思
春运车站抢票和网上抢票
固态硬盘如何区分好坏
安全的ao3镜像网站链接入口
夸克是什么用途
夸克还原排版是什么意思
商誉是什么意思
2025年国外最佳语音聊天软件排行榜
苹果手机16新款颜色有哪些
j*a数组怎么新增值
如何在固态硬盘上安装win7系统
js怎么设置typescript
typescript如何做项目
直接gmV是什么意思?直接GMV:定义和概念
单片机面包板怎么插
j*a二数组怎么创建
三菱变频器POWER是什么意思
苹果16改进了哪些
电焊机power和oc是什么意思
苹果16会有哪些更新


2023-10-30
浏览次数:次
返回列表