未来，移动通信网络支撑下的网联具身智能体将深度融入经济社会，推动各行业与日常生活的革命性变革。针对当前网联具身智能体上通信与多模态感知相互分立、各自为政，进而制约其智能能力的科学问题，北京大学电子学院程翔教授团队首次提出并系统论述了机器联觉（synesthesia of machines，som）的架构与概念，即面向通用任务的ai原生通信与多模态感知智能融合，利用大模型/无线基座模型，突破多模态通感智能融合的核心技术，提供网联智能发展新路径。由于通信与多模态感知智能融合数据集的体量和质量在训练阶段从根本上决定了未来ai原生的多模态通感系统的性能上限，海量、高质量的通信与多模态感知智能融合数据集至关重要。然而，现阶段的通信与多模态感知数据集（如图1所示）存在缺少完备的通信与多模态感知信息、场景简单单一以及数据集的可信度和可用性未得到充分验证等不足，难以满足未来ai原生系统对于数据集体量和质量的要求。因此，亟需开展海量、高质量的通信与多模态感知智能融合数据集构建研究，作为ai原生的多模态通感系统设计的核心数据基础，支撑机器联觉研究，赋能未来网联智能深度快速发展。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图1 现有典型的通信与多模态感知数据集

然而，构建海量、高质量的通信与多模态感知智能融合数据集极具挑战。首先，实测多模态通感数据采集所需设备繁多且需严格时空同步，从而导致实测数据成本极高、复杂度极高、场景受限且不可控性强。其次，现阶段没有一个*平台能直接生成和采集通信与多模态感知*数据。为填补上述空白和克服上述挑战，程翔团队创新性地采用机器联觉架构，搭建了首个实测注入的通信与多模态感知*数据生成与采集平台，并基于此构建了海量、高质量的通信与多模态感知智能融合数据集SynthSoM: A Synthetic Intelligent Multi-Modal Sensing-Communication Dataset for Synesthesia of Machines （SoM），从根本上提升了AI原生多模态通感系统的性能上限。SynthSoM数据集的构建汇集了3个高可靠*软件AirSim、W*eFarer和Wireless InSite，包含4个步骤：高保真场景构建、完备场景条件*、动态场景生成、数据采集与导出，以及对SynthSoM数据集可信度和可用性的进一步验证，总体架构如图2所示。

图2 SynthSoM数据集的构建架构

该工作的主要亮点如下：

（1） 平台层面：搭建了首个实测注入的通信与多模态感知*数据生成与采集平台，汇集了3个高可靠*软件AirSim、W*eFarer和Wireless InSite，实现了3个*软件的深度融合与精准匹配。

（2） 数据层面：包含144万张RGB图、289万张深度图、144万组激光雷达点云、49万组雷达波形、70万组信道矩阵和10万组路径损耗，总计共700万组以上的通信与多模态感知数据，是现有多模态通感数据量的5倍以上。

（3） 场景层面：包含空地多路协同网联具身智能场景（网联智能无人车、低空经济无人机）下城镇、郊区、乡村（如图3所示），具有多时段、多天气、多视角、多车流量密度、多频段、多种天线阵列等丰富场景条件，并在不同场景和条件设置过程中采用了多种先进技术和算法，包括射线追踪、激光雷达光散射增强（LISA）算法、协同自适应巡航控制（CACC）汽车跟随模型用于防碰撞检测等。

小云雀

剪映出品的AI视频和图片创作助手

1949 查看详情

图3 SynthSoM涵盖的五类空地协同场景：(a) 城镇十字路口 (b) 城镇超宽车道 (c) 城镇高架立交桥 (d) 郊区分岔路口 (e) 乡村山区公路

（4） 验证层面：为全面验证构建的*SynthSoM数据集的可信度和可用性，首次开展对于SynthSoM数据集的基于统计的定性分析以及实测注入的性能扩展性测试。针对基于统计的定性分析，结果表明在不同场景和条件下所采集的*数据与实测数据展现出一致的电磁传播机制；针对实测注入的性能扩展性测试，基于数字孪生技术，在北京大学校园场景搭建精准匹配的实测与*场景（如图4所示），采集时空一致的实测与*多模态通感数据。基于此，进一步开展在*数据训练，在实测数据测试（TSTR）以及在实测数据训练和测试（TRTR），如图5所示。测试结果表明TSTR和TRTR的精度分别为89.28%和90.35%，证明了*数据与实测数据的高吻合度使得简单深度学习小模型也有能力实现零样本泛化。

图4 精准匹配的实测场景与*场景

图5 实测注入的性能扩展性测试

（5） 开源层面：构建的海量、高质量的通信与多模态感知智能融合数据集SynthSoM和代码完全开源，可支撑不同多模态通感智能融合算法的交叉验证、模型校准和基线实现，从根本上提升AI原生多模态通感系统性能上限，支撑未来网联智能深度快速发展。

该研究成果以“SynthSoM: A synthetic intelligent multi-modal sensing-communication dataset for Synesthesia of Machines (SoM)”为题于5月20日正式发表于Nature子刊Scientific Data。北京大学为该研究工作的第一完成单位，合作单位包括山东大学。程翔和山东大学白露教授为该论文的共同通讯作者，程翔、博雅博士后黄子蔚和博士生于勇为共同第一作者，其他作者包括北京大学电子学院博士生孙铭然、韩增瑞、张瑞德和李思江。这项工作得到了国家自然科学基金委杰出青年科学基金、新基石科学基金会科学探索奖、中国博士后科学基金会博士后创新人才支持计划等的支持。

以上就是北京大学程翔团队构建首个实测注入的通信与多模态感知智能融合数据集SynthSoM，从根本上提升AI原生多模态通感系统性能上限的详细内容，更多请关注其它相关文章！

# synthsom  # ai  # 多模  # 北京大学  # 南沙网站建设优化推广  # 舟山网站建设兼职  # 邢台网站建设批发  # 营销平台推广计划表格图  # 沧州网络推广与营销  # 产品微信营销推广  # 品牌网站建设广告费用  # 天津微信号营销推广方案  # 阿图什购物商城网站建设  # 五大连池互联网营销推广  # 山东大学  # 高质量  # 所示  # 如图  # 网联  # 首个  # 通感  # 从根本上 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 征信不好如何恢复正常 征信不好要怎么样才能恢复正常教程  金色cmyk色值是多少  typescript数据怎么写  折叠屏手机为什么有黑点  苹果16有哪些变化尺寸  url解码什么意思  苹果16哪些型号好用  typescript中怎么引用js文件  雅迪电动车上的power是什么意思  typescript为什么能运行  typescript参数怎么用  苹果16多有哪些功能  汽车排量是什么意思  华为的nfc功能是什么意思  红米手机怎么设置变成5G手机  得物怎样不扣手续费 如何通过得物不支付手续费  linux环境中如何使用ping命令  树莓派命令行如何新建文件  三星固态硬盘如何保修  交管12123协议头不完整怎么弄  nfc功能是什么意思怎么开启  win10系统如何打开cmd命令  如何用好typescript  element ui的好处  debug中如何用n命令命名程序文件名  命令不执行如何处理  typescript能开发什么  固态硬盘如何判断大小  j*a数组求和怎么算  光刻机的分类及其优缺点  如何退出数据库命令行  如何修改cad中的命令  如何winpe cmd命令  typescript怎么设置滚动条  单片机怎么读取电流值  j*a怎么清除数组  typescript的语法格式是什么  阿里云盘扩容是什么_扩容阿里云盘方法是什么教程  solidworks打开IGS文件作图教程  电瓶车充电器power是什么意思  春运抢票最快几天能成功  typescript怎么加号  如何用dos命令分区  360桌面壁纸怎么弄掉  access中如何使用常用宏命令  摄像机的power chg是什么意思中文  夸克缺什么登录不了  linux如何安装yum命令  折叠屏手机为什么凉凉  如何设置从固态硬盘启动