新闻中心

初学者必备,NeRF学习笔记洞察一切!

2023-12-26
浏览次数:
返回列表

神经辐射场究竟是什么

辐射场:由光源发出的光线在场景中的传播和反射过程中所形成的能量分布。通俗来说就是一个函数,记录了空间某个位置处向某个方向的辐射信息,辐射信息(或者说能量分布)其实就是颜色、亮度、阴影等信息。这里的方向需要额外留意,它是nerf实现真实重建的重要因素之一!

纯小白入门,开山之作NeRF学习笔记!

由此引出神经辐射场的概念。
神经辐射场:用神经网络储存空间位置向任意方向的辐射。原文中的描述如下:

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

纯小白入门,开山之作NeRF学习笔记!

更加规范的公式表达如下:

纯小白入门,开山之作NeRF学习笔记!

输入3D位置(x,y,z)和2D的视角方向(),输出是颜色和体密度

NeRF具体的网络结果参考原文如下:

纯小白入门,开山之作NeRF学习笔记!

  • 3D坐标x输入第一个网络fσ,包含8层全连接层,每层256个神经元,ReLU激活;
  • 网络fσ输出体密度σ和一个256维向量,该向量与视角方向d送入fc(一层,128通道,ReLU激活)预测RGB;

纯小白入门,开山之作NeRF学习笔记!

由上面可知,NeRF是隐式建模,因为模型是储存在MLP里面的,模型就是MLP的参数,这和以往点云和mesh建模不同(点云/mesh是可以直接看到模型的)。NeRF必须查询一个个的三维点,然后渲染成一章图像。这种查看方式或者说渲染方式就叫体渲染。

在看体渲染之前。我们先看一下网络的效果如何:

纯小白入门,开山之作NeRF学习笔记!

可以看出,不同视角下颜色是不同的!这是NeRF相对于传统重建非常重要的优势之一~

NeRF的核心:体渲染

下面进入NeRF的第二个核心要点——体渲染。体渲染就是用来将颜色和密度渲染成2D图像的方法!

纯小白入门,开山之作NeRF学习笔记!

示意图如下:图a展示了从相机光心位置发出射线,射线上有采样点,将采样点和方向送入MLP获得颜色和体密度。图c展示的的就是沿射线的体密度分布曲线,是通过采样获得的,对曲线进行积分就能获得像素的颜色。这个过程就是体渲染

纯小白入门,开山之作NeRF学习笔记!

总结一下体渲染步骤:

  • 从相机光心发出穿透每个像素的射线,射线上取三维采样点;
  • 将采样点坐标和视角方向送入MLP计算颜色和体密度;
  • 按体密度积分(堆叠)颜色信息,形成2D图像

纯小白入门,开山之作NeRF学习笔记!

体渲染的公式如下:

纯小白入门,开山之作NeRF学习笔记!

当然实际使用的是离散版本公式:

纯小白入门,开山之作NeRF学习笔记!

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

隐式重建流程

在讲完神经辐射场和体渲染后,现在开始完整的重建流程~

在形成一个完成的pipeline之前,还有以下两个问题需要解决:

纯小白入门,开山之作NeRF学习笔记!

为了解决上述两个问题,NeRF提出了位置编码和分层采样过程

位置编码:纯小白入门,开山之作NeRF学习笔记!

论文直观展示了位置编码的效果对比:纯小白入门,开山之作NeRF学习笔记!

可以看出,去掉位置编码,模型无法表达高频的几何和纹理信息~

多层采用:

纯小白入门,开山之作NeRF学习笔记!

训练流程如下:

纯小白入门,开山之作NeRF学习笔记!

实验和总结

评价指标:

纯小白入门,开山之作NeRF学习笔记!

实验设置:

纯小白入门,开山之作NeRF学习笔记!

实验结果可以看出,各种材质的小球上面的散光也可以很好的表现出来~

纯小白入门,开山之作NeRF学习笔记!

纯小白入门,开山之作NeRF学习笔记!

消融实验:

纯小白入门,开山之作NeRF学习笔记!

总结

文提出的神经辐射场,从相机光心发出穿过像素的采样射线,在射线上取点,将其三维位置和视角方向用一个MLP映射到体密度和颜色,然后用体渲染堆叠采样射线上的体密度和颜色,获得像素值。像素值与GT图像求误差后反向传播,优化MLP参数。本文用这样的隐式重建方法实现了照片级的具有真实感的模型重建和渲染。

缺陷:

  • 渲染、训练速度慢;
  • 对视角数量和分布有较高要求;
  • 难以拓展到有背景的或者较大的场景。

纯小白入门,开山之作NeRF学习笔记!

原文链接:https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g

以上就是初学者必备,NeRF学习笔记洞察一切!的详细内容,更多请关注其它相关文章!


# 隐式  # 天津企业网站推广方法  # 网站建设基础培训  # 营口seo培训怎么引流  # 最全小说网站推广排行榜  # 关键词排名图片大全  # 张家口抖音网站建设行业  # 财务前沿网站建设  # 福建seo怎么选  # 建一个网站推广要多少钱  # 建设外贸网站如何收费  # 技术  # 或者说  # 新能源  # 都能  # 可以看出  # 省电  # 光心  # 腾讯  # 学习笔记  # 之作  # 自动驾驶 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 如何用固态硬盘做缓存  单片机速度怎么看  单片机蜂鸣器响了怎么停  苹果手机16有哪些功能  单片机怎么进行排序操作  typescript中怎么引用js文件  j*a对数组怎么使用  夸克网盘下载为什么要钱  显示器的power是什么意思  cos150度等于多少  j*a怎么讲数组打印  如何编写一个linux命令  如何操作fixup命令  恋爱软件免费聊天不收费的有哪些  1s等于多少ms  市盈率百分位roe是什么意思  j*a怎么复制数组中  什么网址不能域名解析  命令行如何运行c  华为交换机如何复制命令行  51单片机贴片怎么*  单片机显存怎么设置最佳  爱奇艺会员qq登录可以几个人用?  单片机怎么做组合  今天是农历多少号  typescript怎么写多个构造方法  春运抢票如何抢连坐的票  夸克缺什么登录不了  awk命令如何对两列加分隔符  市盈率ttm写的亏损是什么意思  win7旗舰版wifi怎么打开  vue中datediff函数怎么用  手机拍电脑屏幕有条纹怎么解决  虚拟机如何用命令清除垃圾  光刻机分类有哪些品牌的  什么是base64  远程桌面如何发送命令  苹果16有哪些款式的  如何进入安卓命令行  征信信用不好如何恢复 征信信用不好如何恢复指南  春运抢票可以抢几次票  win10如何开启命令行  宵衣旰食是什么意思  如何修改cad命令  夸克学习都有什么课程  夸克内测有什么好处  金色cmyk色值是多少  摩托车上power是什么意思  轩逸e-power挡位b是什么意思  怎么把手机里爱奇艺的视频下载到u盘里 

搜索