☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

我们网站的AIxiv专栏是关于学术和技术内容的栏目。过去几年来，我们网站的AIxiv专栏已经收到超过2000篇内容，覆盖全球各大高校与企业的顶级实验室，有助于推进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或联系报道。投稿邮箱为liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式 NeRF-to-NeRF 转换框架，适用于各种 NeRF 转换任务，例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等，性能均表现极其出色！

Yaara

使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

95 查看详情

• 论文地址：https://arxiv.org/abs/2404.02788
• 论文主页：https://xiangyueliu.github.io/GenN2N/
• Github 地址：https://github.com/Lxiangyue/GenN2N
• 论文标题：GenN2N: Generative NeRF2NeRF Translation

近年来，神经辐射场（NeRF）因其紧凑、高质量、多功能性在三维重建、三维生成和新视角合成领域引起了广泛关注。然而，一旦创建了 NeRF 场景，这些方法通常缺乏对生成几何和外观的进一步控制。因此，NeRF 编辑（NeRF Editing）最近成为了一个值得关注的研究重点。

目前的 NeRF 编辑方法通常是针对特定任务的，例如 NeRF 的文本驱动编辑、超分辨率、修复和着色。这些方法需要大量的特定任务领域知识。而在 2D 图像编辑领域，开发通用的图像到图像（Image-to-image）转换方法成为一种趋势，例如利用 2D 生成模型 Stable Difussion 支持多功能的图像编辑。因此，我们提出了利用基础的 2D 生成模型进行通用的 NeRF 编辑。

随之而来的挑战是 NeRF 和 2D 图像之间的表示差距，尤其是图像编辑器通常会为不同视角生成多种不一致的编辑。最近的一种基于文本的 NeRF 编辑方法 Instruct-NeRF2NeRF 对此进行了探究。其采用 “渲染 - 编辑 - 聚合” 的流程，通过逐步渲染多视角图像、编辑这些图像，将编辑图像聚合到 NeRF 中逐步更新 NeRF 场景。然而这种编辑方法，针对特定的编辑需求，经过大量的优化，只能生成一种特定编辑的结果，如果用户不满意则需要反复迭代尝试。

因此，我们提出了「GenN2N」，一种适用于多种 NeRF 编辑任务的 NeRF-to-NeRF 通用框架，其核心在于用生成的方式来刻画编辑过程多解性，使其可以借助生成式编辑轻松产生大量符合要求的编辑结果供用户挑选。

在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整个编辑空间，来学习与一组输入的 2D 编辑图像对应的所有可能的 3D NeRF 编辑分布，并用 GAN 为编辑 NeRF 的不同视图提供合理的监督，确保编辑结果的真实性，2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性，3）在推理时，用户简单地从条件生成模型中随机地采样出多个编辑码，就可以生成与编辑目标对应的各种 3D 编辑结果。

相比于各种 NeRF 编辑任务的 SOTA 方法（ICCV2025 Oral 等），GenN2N 在编辑质量、多样性、效率等方面均优于已有方法。

方法介绍

我们首先进行 2D 图像编辑，然后将这些 2D 编辑提升到 3D NeRF 来实现生成式的 NeRF-to-NeRF 的转换。

A. 隐式蒸馏（Latent Distill）

我们用 Latent Distill Module 作为 VAE 的 encoder，为每张编辑图像学习一个隐式的编辑码，在 NeRF-to-NeRF 转换中通过此编辑码控制生成的内容。所有编辑码在 KL loss 的约束下服从一个良好的正态分布，以便更好地采样。为了解耦编辑内容和视角，我们精心设计了对比学习，鼓励相同编辑风格视角不同的图片的编辑码相近，不同编辑风格但视角相同的图片的编辑码互相远离。

B.NeRF-to-NeRF 的转换（Translated NeRF）

我们用 NeRF-to-NeRF Translation 作为 VAE 的 decoder，其以编辑码作为输入，将原始的 NeRF 修改为一个转换 NeRF。我们在原 NeRF 网络隐藏层之间添加了残差层，这些残差层以编辑码作为输入来调制隐藏层神经元，使得转换 NeRF 既能够保留原本 NeRF 的信息，又可以根据编辑码来控制转换 3D 内容。同时，NeRF-to-NeRF Translation 也作为生成器参与生成对抗训练。通过生成而非优化的方式，使得我们可以一次性得到多种转换结果，显著提升了 NeRF 转换效率和结果多样性。

C. 条件判别器（Conditional Discriminator）

转换 NeRF 的渲染图片构成了需要判别的生成空间，这些图片的编辑风格、渲染视角各异，导致生成空间非常复杂。因此我们提供一个 condition 作为判别器的额外信息。具体而言，判别器在鉴别生成器的渲染图片（负样本）或训练数据中的编辑图片（正样本）时，我们都从训练数据中再挑选一张相同视角的编辑图片作为条件，这使得判别器在鉴别正负样本时不会受到视角因素的干扰。

D. 推理（Inference）

在 GenN2N 优化后，用户可以从正态分布中随机采样出编辑码，输入转换 NeRF 即可生成出编辑后的高质量、多视角一致性的 3D NeRF 场景。

实验

我们在多种 NeRF-to-NeRF 任务上进行了大量的实验，包括 NeRF 文本驱动编辑、着色、超分辨率、修复等。实验结果展示了 GenN2N 卓越的编辑质量、多视角一致性、生成的多样性和编辑效率。

A. 基于文本的 NeRF 编辑B.NeRF 着色 C.NeRF 超分辨率 D.NeRF 修复 

对比实验

我们的方法与各种特定 NeRF 任务的 SOTA 方法进行了定性和定量对比（包括文本驱动编辑、着色、超分辨率和修复等）。结果表明，GenN2N 作为一个通用框架，其表现与特定任务 SOTA 相当或者更好，同时编辑结果具有更强的多样性（如下是 GenN2N 与 Instruct-NeRF2NeRF 在基于文本的 NeRF 编辑任务上的对比）。

A. 基于文本的 NeRF 编辑

了解更多实验、方法内容，请参考论文主页。

团队介绍

该论文来自香港科技大学谭平团队、清华大学 3DVICI Lab、上海人工智能实验室和上海期智研究院，论文的作者为香港科技大学学生刘襄阅，清华大学学生薛晗，香港科技大学学生罗堃铭，指导老师为清华大学弋力老师和香港科技大学谭平老师。

以上就是CVPR 2025高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务的详细内容，更多请关注其它相关文章！

# genn2n  # 武汉多语网站建设  # SEO外链优化提交  # 广元网站推广  # 济南餐饮行业抖音营销推广  # 进行了  # 编辑器  # 正态分布  # 华纳  # 保时捷  # 提出了  # 科技大学  # 香港  # 清华大学  # 高分  # type  # follow  # git  # 工程  # 曲靖营销推广方案公示公告  # 重庆淘宝搜索seo优化  # 行业网站可以做推广吗  # 网站优化公司好吗  # 榆树网站推广优化  # 具体营销推广措施怎么写 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： linux如何打开命令窗口  put linux命令如何书写  typescript怎么用  如何通过命令检测u盘启动  什么是typescript  j*a数组对象怎么取  苹果16系统有哪些缺陷  vi命令如何退出  远程桌面如何发送命令  j*a怎么讲数组打印  市盈率为负值是什么意思  如何创建解压文件命令  热水器没热水显示power是什么意思  如何通过dos命令  如何操作fixup命令  华为的nfc功能是什么意思  j*a整形怎么转数组  苹果16颜色有哪些  小屏折叠屏手机有哪些  单身聊天app有哪些软件 2025最靠谱的单身交友软件推荐  typescript有什么框架  j*a怎么存放数组中  命令指示符如何打开盘符  市盈率底下 18A 19E 是什么意思  三星固态硬盘如何保修  征信不好如何短期恢复  广东春运几点抢票  如何找出命令行  手机如何更改固态硬盘  春运抢票如何快速抢到票  忐忑不安是什么意思  typescript能干什么  如何查看bash内置的命令  oracle中datediff函数怎么用 Oracle中DATEDIFF函数详解  element ui的好处  命令不执行如何处理  51单片机贴片怎么*  如何引用typescript中的方法  单片机.lib文件怎么打开  如何设置sql命令  折叠屏有哪些手机  typescript哪个最好  typescript怎么拼接  如何寻找和修复无法在 AI 中找到文件的问题  faq是什么意思  域名解析后为什么要进行域名备案  J*a数组静态怎么打  电焊机power和oc是什么意思  linux如何使用db2命令  苹果怎么没出5g手机