在ar、vr、3d打印、场景搭建以及电影制作等多个领域中，高质量的穿着衣服的人体3d模型非常重要。

传统方法创建模型需大量时间，专业设备和技术人员才可完成。

相反，在日常生活中，我们通常使用手机相机或在网页上找到的人像照片。

因此，一种能从单张图像准确重建3D人体模型的方法可以显著降低成本，并简化独立创作的过程。

以往方法（左）与本文方法技术路线比较（右）

以往的深度学习模型用于3D人体重建，往往需要经过三个步骤：从图像中提取2D特征，将2D特征转到3D空间，以及3D特征用于人体重建。

然而这些方法在2D特征转换到3D空间的阶段，往往忽略了人体先验的引入，导致特征的提取不够充分，最终重建结果上会出现各种缺陷。

SIFU与其他SOTA模型重建效果比较

此外，在对纹理预测的阶段，以往模型仅仅依靠训练集中学得的知识，缺少真实世界的先验知识，也往往导致不可见区域的纹理预测较差。

SIFU在纹理预测阶段引入先验知识，增强不可见区域（背部等）的纹理效果。

对此，来自浙江大学ReLER实验室的研究人员提出SIFU模型，依靠侧视图条件隐函数从单张图片重建3D人体模型。

图片

论文地址：https://arxiv.org/abs/2312.06704

项目地址：https://github.com/River-Zhang/SIFU

该模型通过在2D特征转换到3D空间引入人体侧视图作为先验条件，增强几何重建效果。并在纹理优化阶段引入预训练的扩散模型，来解决不可见区域纹理较差的问题。

模型结构

模型pipeline如下：

图片

该模型运行可分为两个阶段，第一阶段借助侧隐式函数重建人体的几何（mesh）与粗糙的纹理（coarse texture），第二阶段则借助预训练的扩散模型对纹理进行精细化。

在第一阶段中，作者设计了一种独特的Side-view Decoupling Transformer，通过global encoder提取2D特征后，在decoder中引入了人体先验模型SMPL-X的侧视图作为query，从而在图像2D特征中解耦出人体不同方向的3D特征（前后左右），最后用于重建。

该方法成功的在2D特征转换到3D空间时结合人体先验知识，从而使得模型有更好的重建效果。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

在第二阶段，作者提出一种3D一致性纹理优化流程（3D Consistent Texture Refinement），首先将人体不可见的区域（侧面、背面）可微渲染成视角连续的图片集，再借助在海量数据中学习到先验知识的扩散模型，对粗糙纹理图片进行一致性编辑，得到更精细的结果。最后通过精细化前后的图片计算损失来优化3D模型的纹理贴图。

实验部分

更高的重建精度

在实验部分，作者使用全面多样化的测试集对他们的模型进行测试，包括CAPE-NFP、CAPE-FP和THuman2.0，并与以往发表在各大顶会的单张图片人体重建SOTA模型进行比较。经定量测试，SIFU模型在几何重建与纹理重建中均表现出了最好的效果。

定量评估几何重建精度

定量评估纹理重建效果

 

使用互联网中公开图片作为输入进行定性效果展示

更强的鲁棒性

以往的模型应用训练集以外的数据时，由于估计的人体先验模型SMPL/SMPL-X不够准确，往往导致重建结果与输入图片相差甚远，难以投入实际应用。

对此，作者专门对模型的鲁棒性进行了测试，通过在ground truth先验模型参数中加入扰动使其位姿发生偏移，模拟真实场景中SMPL-X估计不准确的情况，来评估模型重建的精度。结果表明SIFU模型在该情况下，依然具有最好的重建精度。

评估模型面对有误差的人体先验模型时的鲁棒性

使用真实世界中的图片，在先验人体模型估计不准确的情况下，SIFU依然有较好的重建效果

更广阔的应用场景

SIFU模型的高精度高质量重建效果，使得其具有丰富的应用场景，包括3D打印、场景搭建、纹理编辑等。

3D打印SIFU重建的人体模型

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

SIFU用于3D场景搭建

借助公开动作序列数据，可对SIFU重建的模型进行驱动

总结

本文提出侧视图条件隐式函数和3D一致性纹理编辑方法，弥补了以往工作在2D特征转换到3D空间、纹理预测时对先验知识引入的不足，极大的提高了单张图片人体重建的精度和效果，使模型在真实世界应用中具有显著的优势，也为该领域未来的研究提供了新的思路。

参考资料：

https://arxiv.org/abs/2312.06704

以上就是浙大提出新SOTA技术SIFU：仅需一张图片即可重建高质量3D人体模型的详细内容，更多请关注其它相关文章！

# 3D  # 方法  # 如何用  # 仅需  # 站上  # 腾讯  # 十大  # 最好的  # 榜单  # 以往  # 建新  # 高质量  # SOTA  # 深圳环保SEO方法  # 青岛网站建设推广推荐  # 威海网站设计建设  # 互联网站外包推广怎么做  # 网站建设创业  # 河北大型网站建设联系人  # 河北区自助营销推广中心  # 抖音小店关键词排名  # 项目推广渠道营销策略  # 建设网站后怎么维护 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： kingston是什么_kingston是什么意思  电瓶车充电器power是什么意思  typescript怎么判断单选按钮  固态硬盘质量如何  三星相机里power是什么意思  typescript有什么框架  typescript怎么用  市盈率负值是什么意思  如何区别固态硬盘  怎么把手机里爱奇艺的视频下载到u盘里  solidworks打开IGS文件作图教程  如何通过命令行聊天  early什么意思  雅迪电动车上的power是什么意思  如何打开命令提示符  市盈率亏损是什么意思  5G类似微信的聊天软件有哪些  折叠手机屏易坏吗为什么  热水器没热水显示power是什么意思  苹果16有哪些bug  如何使用命令行界面  一年多少周  汽车收音机power是什么意思  r中如何逐行执行命令  市盈率292是什么意思  羽毛球拍power9是什么意思  焊机上power灯闪是什么意思  如何操作fixup命令  春运订票什么时候抢票  typescript有哪些版本  如何把u盘改成固态硬盘  ssd固态硬盘如何选择  电脑显示器上power是什么意思  vs如何输入命令行参数  市盈率是负数是什么意思  如何打开win10命令  element ui的好处  如何引用typescript中的方法  固态硬盘如何拆除  净水器上的power是什么意思  春运抢票哪个平台好一点  买的5g手机但是没有5g网络怎么办  如何给电脑加装固态硬盘  为什么夸克下载不到  区块链的热闹将何去何从？  单片机for循环怎么用  安装固态硬盘如何设置  win7怎么关闭360壁纸屏保  春运抢票如何快速抢到票  为什么夸克流畅播失败