新闻中心

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

2024-06-06
浏览次数:
返回列表

北航的研究团队,用扩散模型“复刻”了一个地球?

在全球的任意位置,模型都能生成多种分辨率的遥感图像,创造出丰富多样的“平行场景”。

而且地形、气候、植被等复杂的地理特征,也全都考虑到了。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

受Google Earth启发,北航的研究团队从俯拍视角出发,将整颗地球的卫星遥感影像“装进”了深度神经网络。

基于这样的网络,团队构建出了覆盖全球的俯视视角视觉生成模型MetaEarth。

MetaEarth拥有6亿参数,可实现多种分辨率、无界且覆盖全球任意地理位置的遥感图像生成。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

覆盖全球的遥感图像生成模型

相比于此前的研究,构建世界范围的视觉生成基础模型更具挑战性,过程之中克服了多个难点。

模型容量是挑战,因为地球具有城市、森林、沙漠、海洋、冰川和雪地等广泛的地理特征,需要模型能够理解并表征。

即使是同一类型的人造地物,在不同的纬度、气候和文化环境下,也会表现出巨大差异,这对生成模型的容量提出了很高的要求。

MetaEarth成功解决了这一困难,实现了不同地点、地貌的高分辨率、大范围场景生成。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

另外,实现分辨率可控的遥感图像生成,同样是一项挑战。

因为在俯拍图像成像过程中,地物特征的展现受分辨率影响很大,在不同图像分辨率下具有明显的差异,难以具备在指定分辨率(米/像素)下精准生成的能力。

而在MetaEarth生成不同分辨率的图像时,都能准确合理地呈现地物特征,而且不同分辨率之间的关联性也得到了精确对应。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

最后是无界图像生成的挑战——与日常自然图像不同,遥感图像具有超大幅宽的特性,边长可能达到数万像素,此前的方法都难以生成连续、任意大小的无界图像。

但MetaEarth生成的连续无界场景,避开了这一缺陷,可以看到随着“镜头”的平移图像的移动十分丝滑。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

此外,MetaEarth具有强大的泛化性能,能够以未知场景作为条件输入级联生成多分辨率图像。

例如,将GPT4-V生成的“潘多拉星球”作为初始条件输入模型,MetaEarth仍然能够生成具有合理地物分布和逼真细节的图像。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

下游任务上的验证结果表明,MetaEarth作为一种全新的数据引擎,有望为地球观测领域各类下游任务提供虚拟环境和训练数据支持。

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

实验过程中,作者选择了遥感图像分类这一基础任务进行验证,结果显示,MetaEarth所生成的高质量图像的辅助下,下游任务分类精度有显著提升。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

作者认为,MetaEarth有望为卫星等空天无人系统平台提供一个逼真的虚拟环境,并在城市规划、环境监测、灾害管理、农业优化等领域广泛应用;

除了作为数据引擎之外,MetaEarth在构建生成式世界模型方面也具有巨大潜力,为未来的研究提供新的可能。。

那么,MetaEarth究竟是如何实现的呢?

6亿参数扩散模型“复刻”地球

MetaEarth基于概率扩散模型构建,具有超过六亿的参数规模。

为支持模型训练,团队收集了一个大型遥感图像数据集,包含覆盖全球大多数地区的多个空间分辨率的图像及其地理信息(纬度、经度和分辨率)

在本项研究中,作者提出了一种分辨率引导的自级联生成框架。

把整个地球装进神经网络,北航团队推出全球遥感图像生成模型

△MetaEarth的整体框架

在该框架下,仅用单一模型即可实现给定地理位置的多分辨率图像生成,并在每一级分辨率下创造出丰富多样的“平行场景”。

具体来说,这是一种编解码器结构的去噪网络,将低分辨率条件图像和空间分辨率编码后与去噪过程的时间步嵌入相结合,预测每个时间步的噪声,实现图像生成。

为了生成无界的任意大小图像,作者还设计了一种内存高效的滑动窗口生成方法和噪声采样策略。

该策略将生成的图像切分成重叠的图像块作为条件,通过特定的噪声采样策略,使相邻图像块的共享区域生成相似的内容,从而避免拼接缝隙。

此外,这种噪声采样策略,也使得模型能在实现任意尺寸的无界图像生成时,消耗更少的显存资源。

团队简介

本研究的作者来自北京航空航天大学的“学习、视觉与遥感实验室”(LEarning, VIsion and Remote sensing laboratory,LEVIR Lab),实验室由国家杰青史振威教授领导。

史振威教授曾经的博士生、密歇根大学博士后,现任该实验室成员的邹征夏教授,是本文的通讯作者。

论文地址:https://www.php.cn/link/2959ced850c7261ff93292042fed7240
项目主页:https://www.php.cn/link/65ddf8fc40f919eba2239c13c19bead4

以上就是把整个地球装进神经网络,北航团队推出全球遥感图像生成模型的详细内容,更多请关注其它相关文章!


# 模型  # 图像  # 昌邑建筑网站建设  # 密歇根  # 提出了  # 并在  # 都能  # 多个  # 无界  # 地球  # 北航  # 装进  # follow  # 地理位置  # git  # 生成  # 这一  # seo01雷光网  # 化妆品网店营销推广分析  # 微博网站用户体验优化  # 艺术网站推广  # seo软件联系29火星软件  # 营销公司怎么推广自己  # 四团网站建设  # 定安县绍兴网站推广  # 中式茶饮推广营销方案 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 新三板市盈率是什么意思  win10如何打开dos命令窗口大小  哪个牌子的折叠屏手机好  固态硬盘如何安装win10系统安装  ai文件在线打开工具有哪些  市盈率百分位roe是什么意思  nfc近场通讯功能是什么意思  固态硬盘如何4k对其  js怎么设置typescript  夸克还原排版是什么意思  win7怎么做幻灯片  域名批量查询工具有哪些  春运抢票哪里最火热  苹果16系统有哪些功能  电脑命令如何删除账号  如何在命令行写j*a程序  光刻机分类有哪些品牌的  关系型数据库和非关系型数据库有哪些  手机拍电脑屏幕有条纹怎么解决  满射为什么没有逆映射  ts什么意思  广东春运抢票怎么抢的  debian和ubuntu命令一样吗  j*a map数组怎么用  固态硬盘4k如何看  语音聊天软件哪个好 语音聊天软件2025排行榜  mac如何使用vi命令行  苹果16要升级哪些功能  typescript的语法格式是什么  typescript在浏览器里怎么用  如何安装tree命令  怎么用win7系统盘重装系统  43寸电视长宽多少厘米  typescript如何开发  video是什么意思  为什么都用typescript  如何正确使用固态硬盘  春运订票什么时候抢票  税负是什么意思  基金市盈率是什么意思  苹果16有哪些不同  分享一个稳定的ao3镜像网址  旧固态硬盘如何卖出  j*a中如何创建列表数组  单片机怎么加死循环  j*a整形怎么转数组  夸克绑定设备是什么意思  苹果16如何预购  ai如何重复使用上一命令  单片机串口接收怎么实现 

搜索