新闻中心

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

2024-08-18
浏览次数:
返回列表
Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

aixiv专栏是本站发布学术、技术内容的栏目。过去数年,本站aixiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本篇工作发表在《Nature Computational Science》上,共同通讯作者是中国科学院自动化所李国齐研究员、徐波研究员,北京大学田永鸿教授。共同一作是清华大学钱学森班的本科生何林轩(自动化所实习生)、数理基科班本科生徐蕴辉(自动化所实习生),清华大学精仪系博士生何炜华和林逸晗。

让模型具有更加广泛和通用的认知能力,是当前人工智能(AI)领域发展的重要目标。目前流行的大模型路径是基于 Scaling Law (尺度定律) 去构建更大、更深和更宽的神经网络提升模型的表现,可称之为 “基于外生复杂性” 的通用智能实现方法。然而,这一路径也面临着一些难以克服的困境,例如高昂的计算资源消耗和能源消耗,并且在可解释性方面存在不足。

人工智能与神经科学长期以来相互依存,协同发展。为了克服 “基于外生复杂性” 实现通用智能的困境,中国科学院自动化研究所李国齐、徐波研究团队联合清华大学、北京大学等借鉴大脑神经元复杂动力学特性,提出了 “基于内生复杂性” 的类脑神经元模型构建方法 (图 1),改善了传统模型通过向外拓展规模带来的计算资源消耗问题,为有效利用神经科学发展人工智能提供了示例。Nature Computational Science 期刊对此评论道:“AI 研究更加贴近工程与应用,而神经科学的研究更加具有探索性。研究团队挑战了这一传统观点,并表明更详细且生物学上更真实的神经元模型可以推动深度学习取得更大进展。”

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

  • 论文链接:https://www.nature.com/articles/s43588-024-00674-9

  • 评论链接:https://www.nature.com/articles/s43588-024-00677-6

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

                                   图 1. “外生复杂性” 和 “内生复杂性” 定义示意图。内生复杂性是指向内借鉴大脑神经元复杂动力学特性构建神经网络基元模型

具有内生复杂性的小网络模型:生物神经元的启示

生物神经元具有复杂的内部结构,例如离子通道、突触传递机制等,这些复杂的内部结构使得神经元能够处理复杂的信号并产生多样化的响应。相比之下,目前的人工脉冲神经网络模型,例如经典的 LIF (Leaky Integrate and Fire)网络,通常采用简单的内部结构,难以模拟生物神经元的复杂动力学和功能。

在这项研究中,研究者提出了 “具有内生复杂性的小网络模型” 这一概念,其核心思路是通过模拟生物神经元的复杂动力学,将复杂的内部结构引入单个神经元,从而构建更高效的 AI 模型。例如在本研究中,研究者在脉冲神经网络中使用 HH(Hodgkin-Huxley)模型来替代传统的 LIF 模型。作为一种描述神经元动作电位产生机制的数学模型,HH 模型具有由复杂的内部结构带来的精细动力学,可以模拟神经元对各种刺激的响应。

从外生复杂性至内生复杂性的转化

理论动力学推导与*

研究团队通过理论证明了 HH 模型与 LIF 模型在动作电位产生机制上存在某种等效关系,即一个 HH 神经元可以和四个时变参数 LIF 神经元(tv-LIF)以特定连接方式形成的微结构等效,其中每个 LIF 神经元描述 HH 模型中的一个离子通道。基于这种等效性,可以通过设计微结构提升计算单元的内生复杂性,使 HH 网络模型能够模拟更大规模 LIF 网络模型的动力学特性,在更小的网络结构上实现与之相似的计算功能。

研究团队通过模拟神经元刺激输入对比网络输出对该理论进行了*验证。在相同的输入刺激下,具有更高外生复杂性的 tv-LIF 网络能够与 HH 模型产生相同的输出响应。进一步,团队将由四个 tv-LIF 神经元构建的 “HH 模型”(tv-LIF2HH)简化为 s-LIF2HH 模型,通过*实验验证了这种简化模型依然保有捕捉 HH 模型动力学行为的可能性 (图 2)。

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

                                      图 2. “外生复杂性” 和 “内生复杂性” 神经元能够保持等效的动力学行为,为计算任务简化后仍旧能够保持相近的动力学行为

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

网络学习实验对比

除了通过*研究相同刺激下不同网络的动力学行为,研究者构建了更大规模的 HH 网络模型, s-LIF2HH 网络模型,并进行了多任务分类和深度强化学习实验。结果表明,具有内生复杂性 HH 网络模型能够与更大规模的 s-LIF2HH 网络模型在表示能力和鲁棒性上具有相似的性能,相比更大规模的一般 LIF 网络表现出更好的性能。

  • 多任务学习实验:研究者通过使用 Fashion-MNIST 数据集进行多任务学习实验,结果表明 HH 网络模型能够与更大规模的 s-LIF2HH 网络模型实现相当性能,甚至略优于更大规模的一般 LIF 网络(图 3)。

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

                                                                  图 3. 具有内生复杂性的 HH 网络模型在多任务上能与更大规模外生复杂性网络络性能相当

  • 时序强化学习实验:研究者在倒立摆(Inverted Pendulum)和倒立双摆(Inverted Double Pendulum)环境下进行时序强化学习实验,结果表明 HH 网络模型能够与更大规模的 LIF 网络模型相比,表现出更强的时序信息提取能力(图 4)。

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

                                      图 4. 具有内生复杂性的 HH 网络模型在时序强化学习任务上能与更大规模外生复杂性网络性能相当

  • 鲁棒性实验:研究者在多任务学习和深度强化学习任务中添加高斯噪声,以评估网络的鲁棒性。实验结果显示,更大规模的一般 LIF 网络模型在噪声影响下性能下降幅度最大,而 HH 网络模型和更大规模的 s-LIF2HH 网络模型则表现出更强的鲁棒性。在噪声强度增加的情况下,HH 网络模型和 s-LIF2HH 网络模型的奖励曲线仍然保持接近,并且相比一般 LIF 网络模型受到的影响显著地更小(图 5)。

Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁

                                    图 5. 具有内生复杂性的 HH 网络模型比更大规模外生复杂性网络具有更好的鲁棒性

实验证明了内生复杂性模型在处理复杂任务时的有效性和可靠性。同时,研究发现 HH 网络模型在计算资源消耗上更为高效,显著减少了内存和计算时间的使用,从而提高了整体的运算效率。研究团队通过信息瓶颈理论对上述研究结果进行了解释。除此之外,小规模的模型外部结构相对简单,更容易理解其决策过程,这也提高了模型的可解释性和安全性。

结语与展望

具有内生复杂性的小型模型为 AI 的发展带来了新的机遇。通过模拟生物神经元的复杂动力学,优化模型的局部微结构扩展内生复杂性,我们可以构建更高效、更强大的 AI 模型,并克服外部复杂性大型模型的困境。未来,拓展内生复杂性或将成为 AI 研究的重要方向,并推动 AI 技术走向更广泛的应用。

本研究为将神经科学的复杂动力学特性融入人工智能提供了新的方法和理论支持,为实际应用中的 AI 模型优化和性能提升提供了可行的解决方案。目前,研究团队已开展对更大规模 HH 网络,以及具备更大内生复杂性的多分枝多房室神经元的研究,有望进一步提升大模型计算效率与任务处理能力,实现在实际应用场景中的快速落地。

以上就是Nature子刊 | 基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁的详细内容,更多请关注其它相关文章!


# 提出了  # 怎么免费建设自己的网站  # 湛江正规seo  # 海南网站建设运营费用  # 上海大学 网站建设系统  # 描述网站免费优化  # 河北seo燕杰团队  # 马陆营销推广公司  # 网站关键词优化网站推广  # 北京市seo快速排名  # 杂货店seo  # 日韩  # 工程  # 进行了  # 北京大学  # 中国科学院  # 表现出  # 清华大学  # 这一  # 内生  # 更大  # type  # 神经科学 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 如何打开管理员命令提示符  关系型数据库和非关系型数据库有哪些  linux如何安装yum命令  如何提高import命令的性能  净水器上的power是什么意思  五十铃x-power是什么意思  怎么用typescript 写js  交管12123协议头是什么  单片机怎么加死循环  命令行如何运行c  苹果手机16有哪些功能  折叠屏手机选择哪个好  单片机怎么连接电路图  夸克加载什么要会员  typescript入门要多久  春运哪天抢票最好预约  手机换电池要多少钱  苹果16有哪些改装模式  typescript如何定义变量  路亚竿上的power是什么意思  夸克高考为什么不靠谱  win7怎么装扫描仪  cmd如何定时执行命令  固态硬盘如何外接  恋爱软件免费聊天不收费的有哪些  单片机显存怎么设置最佳  基金市盈率是什么意思  苹果16新增哪些功能  摩托车上power是什么意思  typescript为什么能运行  夸克用的什么服务器  迅达热水器显示power是什么意思  typescript和es6先学哪个  满射为什么没有逆映射  rxjs和typescript什么意思  春运抢票最快几天能成功  哪些库是typescript  linux如何切换到命令行模式  如何通过命令行启动tomcat  debian和ubuntu的区别是什么  如果公司ttm市盈率为负数是什么意思  夸克链信有什么用  点焊机接触器上power是什么意思  得物怎样不扣手续费 如何通过得物不支付手续费  怎么下载360桌面壁纸  5G手机导航怎么旋转  哪些编程软件需用typescript  如何使用net命令  推特是什么软件国内可以使用吗  混合固态硬盘如何分区 

搜索