新闻中心
量产杀器!P-Mapnet:利用低精地图SDMap先验,建图性能暴力提升近20个点!
写在前面
当前自动驾驶系统摆脱对高精度地图依赖的算法之一,是利用远距离范围下的感知表现依然较差的现实依然较差。为此,我们提出了p-mapnet,其中的“p”专注于融合地图先验来提高模型性能。具体来说,我们利用了sdmap和hdmap中的先验信息:一方面,我们从openstreetmap中提取了弱对准的sdmap数据,并将其编码为独立的条款来支持输入。严格修改输入与实际hd+map存在弱对齐的问题,我们基于cross-attention机制的结构能够自适应地关注sdmap骨架,并带来显著的性能提升;另一方面,我们提出了一种使用mae来捕捉hdmap的先验分布的refine模块,该模块有助于生成更符合实际地图的分布,有助于减小遮挡、伪影等影响。我们在nuscenes和argoverse2数据集上进行了广泛的实验验证。
图 1
总结来说我们的贡献如下:
我们的SDMap先进能够提升在线地图生成性能,包含了栅格化(最多可提高18.73 mIoU)和量化化(最多可提高8.50 mAP)两种地图表现。
(2)我们的HDMap先验能够将地图感知指标提升最多6.34%。
(3)P-MapNet可以切换到不同的推理模式,以在精度和效率之间进行权衡。
P-MapNet是一种远距离HD+Map生成的解决方案,对于较远的感知范围能够带来更大的改进。我们的代码和模型已经公开发布在https://jike5.github.io/P-MapNet/。
相关工作回顾
(1)在线地图生成
HD+Map的制作主要包含SLAM建图、自动标注、人工标注等步骤。这导致了HD+Map的成本高、鲜度有限。因此,在线地图生成对于自动驾驶系统是至关重要的。HDMapNet将地图元素通 过格化化进行表达,使用pixel-wise的预测和后处理方法获得矢量化的预测结果。最近的一些方法,如MapTR、PivotNet、Streammapnet等基于Transformer架构实现了端到端的矢量化预测,但这些方法仅使用传感器输入,在遮挡、极端天气等复杂环境下性能仍有限。
(2)远距离地图感知
为了让在线地图生成的结果能够更好的被下游模块使用,一些研究尝试将地图感知范围进一步拓展。SuperFusion[7]通过融合激光雷达和相机,通过depth-aware BEV变换,实现了前向90m的远距离预测。NeuralMapPrior[8]通过维护和更新全局神经地图先验来增强当前在线观测的质量、拓展感知的范围。[6]通过将卫星图像与车载传感器数据进行特征聚合来获得BEV特征,进一步再进行预测。MV-Map则专注于离线、长距离的地图生成,该方法通过聚合所有关联帧特征,并使用神经辐射场来对BEV特征进行优化。
概述P-MapNet
整体框架如图 2所示。
图 2
输入: 系统输入为点云: 、环视相机:,其中 为环视相机数量。通常的HDMap生成任务(例如HDMapNet)可以定义为:
其中 表示特征提取, 表示segmentation head, 则是HDMap的预测结果。
我们所提出的P-MapNet融合了SD Map和HD Map先验,这种新任务( setting)可以表示为:
其中, 表示SDMap先验, 表示本文所提的refinement模块。 模块通过预训练的方式学习HD Map分布先验。类似的,当只使用SDMap先验时,则得到 -only setting:
输出:对于地图生成任务,通常有两种地图表示形式:栅格化和矢量化。在本文的研究中,由于本文所设计的两个先验模块更适合栅格化输出,因此我们主要集中在栅格化的表示上。
3.1 SDMap Prior 模块
SDMap数据生成
易标AI
告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项
135
查看详情
本文基于nuScenes和Argoverse2数据集进行研究,使用OpenStreetMap数据生成以上数据集对应区域的SD Map数据,并通过车辆GPS进行坐标系变换,以获取对应区域的SD Map。
BEV Query
如图2中所示,我们首先分别对图像数据进行特征提取和视角转换、对点云进行特征提取,得到BEV特征。然后将BEV特征通过卷积网络进行下采样后得到新的BEV特征:,将该特征图展平得到BEV Query。
SD Map先验融合
对于SD Map数据,通过卷积网络进行特征提取后,得到的特征 与BEV Query进行Cross-attention机制:
经过交叉注意力机制后得到的BEV特征通过segmentation head可以获得地图元素的初始预
测。
3.2、HDMap Prior 模块
直接将栅格化的HD Map作为原始MAE的输入,MAE则会通过MSE Loss进行训练,从而导致无法作为refinement模块。因此在本文中,我们通过将MAE的输出替换为我们的segmentation head。为了让预测的地图元素具有连续性和真实性(与实际HD Map的分布更贴近),我们使用了一个预训练的MAE模块来进行refine。训练该模块包含两步:第一步上使用自监督学习训练MAE模块来学习HD Map的分布,第二步是通过使用第一步得到的权重作为初始权重,对网络的所有模块进行微调。
第一步预训练时,从数据集中获取的真实HD Map经过随机mask后作为网络输入 ,训练目标则为补全HD Map:

第二步fine-tune时, 则使用第一步预训练的权重作为初始权重,完整的网络为:

4、实验
4.1 数据集和指标
我们在两个主流的数据集上进行了评测:nuScenes和Argoverse2。为了证明我们所提方法在远距离上的有效性,我们设置了在三种不同的探测距离:, , 。其中, 范围中BEV Grid的分辨率为0.15m,另外两种范围下分辨率为0.3m。我们使用mIOU指标来评估栅格化预测结果,使用mAP来评估矢量化预测结果。为了评估地图的真实性,我们还使用了LPIPS指标作为地图感知指标。
4.2 结果
与SOTA结果对比:我们对所提的方法与当前SOTA方法在短距离(60m × 30m)和长距离(90m × 30m)下的地图生成结果进行比较。如表II所示,我们的方法在与现有的仅视觉和多模态(RGB+LiDAR)方法相比表现出更优越的性能。

我们在不同距离和使用不同传感器模式下,与HDMapNet [14] 进行了性能比较,结果总结在表I和表III中。我们的方法在240m×60m范围的mIOU上取得了13.4%改进。随着感知距离超出或甚至超过传感器检测范围,SDMap先验的有效性变得更加显著,从而验证了SDMap先验的功效。最后,我们利用HD地图先验通过将初始预测结果精细化以使其更加真实,并消除了错误结果,进一步带来了性能提升。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜


HDMap先验的感知度量指标。HDMap先验模块将网络的初始预测映射到HD地图的分布上,使其更加真实。为了评估HDMap先验模块输出的真实性,我们利用了感知度量LPIPS 数值越低表示性能越好)进行评测。如表IV所示,在 setting 中LPIPS指标要比 -only setting 中的提升更大。


可视化:


以上就是量产杀器!P-Mapnet:利用低精地图SDMap先验,建图性能暴力提升近20个点!的详细内容,更多请关注其它相关文章!
# 提出了
# 丹东正规网站建设
# 烂苹果乐园营销推广方案
# 山东seo公司怎么做
# seo新手教程收录
# 餐饮年度营销推广总结
# 心理服务网站建设流程
# 抖音排名seo优化厂家
# 莱芜网站优化单价是多少
# 泉州网站优化服务商
# 网站关键词优化找seo
# 自动驾驶
# 更大
# 矢量化
# 都能
# 进行了
# 开源
# 两种
# 最多
# 所示
# 量产
# 高精地图
相关栏目:
【
行业资讯67740 】
【
技术百科0 】
【
网络运营39195 】
相关推荐:
linux如何切换到命令行模式
怎么在爱奇艺中投屏到电视最新方法
a03怎么根据编号找文链接入口
vfp 命令窗口如何实现换行
j*a整形怎么转数组
typescript要用什么工具
夸克还原排版是什么意思
命令控制台如何执行sql文件
如何在一串数字前面去掉四位数的命令
单片机串口接收怎么实现
2025年哪个局域网聊天软件好用
命令行下如何导出数据库
丰田type-c接口是什么
wps中datediff函数怎么用 WPS中DATEDIFF函数的语法和用法分享
如何看固态硬盘型号
如何以命令符运行程序
typescript怎么传json
市盈率静是什么意思
typescript怎么使用map
如何以管理员身份打开cmd命令行窗口
为什么夸克下载不到
win7怎么做幻灯片
mac如何使用vi命令
如何用命令行连接本地数据库
如何学习typescript
如何用命令提示符显示隐藏分区
路亚竿上的power是什么意思
得物怎样不扣手续费 如何通过得物不支付手续费
春运抢票哪里最火热
固态硬盘如何安装win10系统安装
windows 如何连接ftp命令行
typescript与es6学哪个
笔记本如何选择固态硬盘
typescript中如何定义json
如何使用net命令
华为5g手机掉了怎么定位找回
如何查询固态硬盘寿命
企业征信不好如何恢复 企业征信不好怎么恢复步骤
市盈率中的19a是什么意思
33000日元等于多少人民币
j*a怎么让数组倒换
服务器系统怎么装
如果公司ttm市盈率为负数是什么意思
苹果16有哪些不同
sqlite中datediff函数怎么用 SQLite中DATEDIFF()函数的用法分享
分销是什么意思
比亚迪秦nfc功能是什么意思
如何查看win10版本命令行
手机换电池要多少钱
显示器的power是什么意思


2024-03-28
浏览次数:次
返回列表