新闻中心

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

2024-03-14
浏览次数:
返回列表

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如何把大量物理知识塞给ai?eit和北大团队提出「规则重要性」概念

编辑 | ScienceAI

深度学习模型由于其可以从海量数据中学习潜在关系的能力而在科学研究领域产生了深远影响。然而,纯粹依赖数据的模型逐渐显露出其局限性,包括对数据的过度依赖、泛化能力的限制以及与现实物理世界的一致性问题。这些问题推动着研究者探索更具解释性和可解释性的模型,以弥补数据驱动模型的不足。因此,结合领域知识和数据驱动方法,构建更具可解释性和泛化能力的模型成为当前科学研究的重要方向。这种

例如,美国OpenAI公司开发的文本到视频模型Sora因其出色的图像生成能力而备受赞誉,被认为是人工智能领域的重要进展。尽管能够生成逼真的图像和视频,Sora在处理物理定律方面仍存在一些挑战,比如重力和物体碎裂等。虽然Sora在模拟现实场景方面取得了显著进展,但在理解和准确模拟物理规律方面还有改进的空间。AI技术的发展仍需要不断努力,以提高模型的全面性和准确性,从而更好地适应各种现实世界的情境。

解决这一问题的一个潜在途径是将人类知识融入深度学习模型中。通过结合先验知识和数据,可以增强模型的泛化能力,从而产生能够理解物理规律的「知情机器学习」(Informed machine learning)模型。这种方法有望提高模型的性能和准确性,使其能够更好地应对现实世界中的复杂问题。通过将人类专家的经验和洞察力融入机器学习算法,我们可以建立更加智能和高效的系统,从而推动人工智能技术的发展和应用。

目前,对深度学习中知识的确切价值仍然缺乏深入探讨。在确定哪些先验知识可以有效地整合到模型中以进行“预学习”方面,存在着一个急需解决的难题。同时,盲目地融合多项规则可能导致模型的失效,这一点也是需要引起重视的。这些限制给数据与知识关系的深入探索带来了挑战。

针对这一问题,东方理工(EIT)和北京大学的研究团队提出了「规则重要性」的概念,并开发了一套框架,能精确计算每个规则对模型预测精度的贡献。该框架不仅揭示了数据和知识之间的复杂相互作用关系,为知识嵌入提供了理论性指导,还有助于在训练过程中平衡知识和数据的影响。此外,该方法还可用于识别不恰当的先验规则,为交叉学科领域的研究与应用提供广阔前景。

这项研究题为“Prior Knowledge's Impact on Deep Learning”,已于2025年3月8日在 Cell 出版社旗下的跨学科期刊《Nexus》上发表。该研究受到了 AAAS(美国科学促进会)和 EurekAlert! 的关注报道。

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

在教授孩子拼图时,既可以让他们通过反复试验来找出答案,也可以用一些基本的规则和技巧来引导他们。同样地,将规则和技巧——比如物理定律——融入到人工智能训练中能让它们更贴近现实,运作更高效。然而,如何评估这些规则在人工智能中的价值,一直是困扰研究者的难题。

鉴于先验知识的丰富多样性,将先验知识融入深度学习模型是一个复杂的多目标优化任务。研究团队创新性地提出了一个框架,以量化不同先验知识在提高深度学习模型方面的作用。他们将此过程视为充满合作与竞争的博弈,通过评估规则对模型预测的边际贡献来界定其重要性。首先生成所有可能的规则组合(即「联盟」),并对每个组合构建模型,并计算均方误差。

为降低计算成本,他们采用了一种基于扰动的高效算法:先训练一个完全基于数据的神经网络作为基线模型,然后逐一加入各个规则组合进行额外训练,最后在测试数据上评估模型表现。通过比较模型在包含和不包含某个规则的所有联盟中的表现,可以计算出该规则的边际贡献,进而得出其重要性。

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

图示:规则重要性的计算流程(来源:论文)

通过流体力学的算例,研究人员探讨了数据与规则间的复杂关系。他们发现,在不同任务中,数据和先验规则的作用完全不同。当测试数据与训练数据分布相近时(即 In-distribution),数据量的增加会削弱规则的作用。

然而,当测试数据与训练数据分布相似度较低时(即 Out-of-distribution),全局规则的重要性被凸显出来,而局部规则的影响则被削弱。这两类规则的区别在于:全局规则(如控制方程)影响整个域,而局部规则(如边界条件)仅作用于特定区域。

Yaara Yaara

使用AI生成一流的文案广告,电子邮件,网站,列表,博客,故事和更多…

Yaara 95 查看详情 Yaara

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

图示:规则重要性与数据量之间的关系(来源:论文)

研究团队经数值实验发现,在知识嵌入中,规则间存在三种相互作用效应:依赖效应、协同效应和替代效应。

依赖效应指某些规则需依赖其他规则才能有效;协同效应表明多条规则共同作用的效果超越各自独立作用时的总和;替代效应则显示一条规则的功能可能被数据或其他规则替代。

这三种效应同时存在,并受到数据量的影响。通过计算规则重要性,可清晰展示这些效应,为知识嵌入提供重要指导

在应用层面,研究团队试图解决知识嵌入过程中的一个核心问题:如何平衡数据与规则的作用,以提升嵌入效率并筛选出不适宜的先验知识。在模型的训练过程中,该团队提出了一种动态调整规则权重的策略。

具体而言,随着训练迭代步的增加,逐渐增大正重要性规则的权重,同时减小负重要性规则的权重。这种策略能够根据优化过程的需求,实时调整模型对不同规则的关注度,从而实现更加高效和准确的知识嵌入。

此外,向 AI 模型传授物理定律可以使它们「更加贴近现实世界,从而在科学和工程领域发挥更大作用」。因此,该框架在工程、物理和化学领域具有广泛的实际应用。研究人员不仅优化了机器学习模型来求解多元方程,还准确识别出对薄层色谱分析预测模型性能有提升效果的规则。

实验结果显示,通过融入这些有效规则,模型的性能得到了显著提升,测试数据集上的均方误差从 0.052 降低至 0.036(减少了 30.8%)。这意味着该框架可以将经验性见解转化为结构化知识,从而显著提升模型性能。

总体而言,准确评估知识的价值有助于构建更契合现实的AI模型,提高安全性和可靠性,对深度学习发展具有重要意义。

如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念

图示:通过规则重要性以识别有效的规则(来源:论文)

接下来,研究团队计划将他们的框架开发成可供人工智能开发人员使用的插件工具。他们的最终目标是开发出能够直接从数据中提取知识和规则,进而自我完善的模型,从而打造一个从知识发现到知识嵌入的闭环系统,使模型成为真正的人工智能科学家。

论文链接:https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9

AAAS 报道链接:https://www.eurekalert.org/news-releases/1036117

以上就是如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念的详细内容,更多请关注其它相关文章!


# sora  # 北大  # 理论  # 网站建设报告总结分析  # 天心区淘宝营销推广公司  # 网站建设宣传海报模板  # 深圳英迈思 seo  # 合肥电影推广招聘网站  # 世纪百捷网站建设ppt  # 日本酱油推广网站官网  # 文旅项目营销推广渠道  # 北京营销系统如何做推广  # 网络营销推广茶叶品牌有哪些  # 相互作用  # 而在  # 都能  # 过程中  # 这一  # 他们的  # 测试数据  # 省电  # 提出了 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 单片机蜂鸣器响了怎么停  摄像机的power chg是什么意思中文  datediff快捷函数怎么用  单片机怎么定义字符长度  哪里要用typescript  如何使用ping命令  苹果16有哪些自带配件  市盈率pe是什么意思  j*a中如何创建列表数组  如何操作fixup命令  如何用命令行连接本地数据库  j*a二数组怎么创建  手机如何更改固态硬盘  ssd固态硬盘如何安装  春运抢票如何快速抢到票  python 如何执行linux命令  mysql的datediff函数怎么用  如何用命令连接mysql  宵衣旰食是什么意思  单身聊天app有哪些软件 2025最靠谱的单身交友软件推荐  华为5g手机掉了怎么定位找回  vfp 命令窗口如何实现换行  路由器power闪红绿灯闪是什么意思  市盈率负值是什么意思  python和typescript学哪个  美食音乐每日推荐怎么写  vue组件typescript怎么用  animal是什么意思  shell如何注释所有命令  固态硬盘如何拆除  春运抢票软件哪个好  j*a数组对象怎么取  苹果16有哪些系统  dos命令如何复制目录结构  网络光刻机是干什么用的  1s等于多少ms  hp固态硬盘如何安装  平仓是什么意思?  空调power灯一直闪是什么意思  windows 如何连接ftp命令行  单片机怎么控制闪烁技术  折叠屏手机哪款最好  j*a数组怎么存满  固态硬盘如何启动  typescript怎么理解的  征信不好如何恢复信誉度 ‌征信不好恢复信誉度的方法  什么是泛域名解析  如何引用typescript中的方法  51单片机怎么连接端口  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南 

搜索