1. 背景

这些年来，Transformer、Large-kernel CNN和MLP这三种视觉主干网络在广泛的计算机视觉任务中取得了巨大的成功，这主要归功于它们在全局范围内高效地融合信息的能力

Transformer、CNN和MLP是当前三种主流的神经网络，它们分别采用不同的方式来实现全局范围的Token融合。在Transformer网络中，自注意力机制利用查询-键对的相关性作为Token融合的权重。CNN通过扩大卷积核的尺寸来实现与Transformer相似的性能。而MLP则通过全连接在所有令牌之间实现另一种强大的范式。尽管这些方法都是有效的，但它们的计算复杂度较高（O(N^2)），难以在存储和计算能力有限的设备上部署，从而限制了很多模型的应用范围

2. AFF Token Mixer: 轻量、全局、自适应

为了解决计算昂贵的问题，研究人员开发了一种名为自适应傅里叶滤波器（Adaptive Fourier Filter，AFF）的高效全局Token融合算法。该算法利用傅里叶变换将Token集合转换到频域，并在频域学习到一个能够自适应内容的滤波掩膜，以对转换到频域空间中的Token集合进行自适应滤波操作

adaptive frequency filters: efficient global token mixers

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

点击此链接可访问原文：https://arxiv.org/abs/2307.14008

Tome

先进的AI智能PPT制作工具

143 查看详情

根据频域卷积定理，AFF Token Mixer 的数学等价操作是在原始域中进行的卷积操作，相当于在傅里叶域中进行的Hadamard乘积操作。这意味着AFF Token Mixer 可以通过在原始域中使用一个动态卷积核，其空间分辨率与Token集合大小相同，来实现内容自适应的全局Token融合（如下图右子图所示）

众所周知，动态卷积的计算成本很高，尤其是在使用大空间分辨率的动态卷积核时，对于高效 / 轻量级网络设计来说，这种成本似乎是难以接受的。然而，本文提出的 AFF Token Mixer 却能够以低功耗的等效实现方式同时满足上述要求，将复杂性从 O (N^2) 降低到 O (N log N)，从而显著提高了计算效率

示意图 1：展示了 AFF 模块和 AFFNet 网络的结构

3. AFFNet：轻量级视觉网络新主干

通过将 AFF Token Mixer 作为主要神经网络操作算子，研究人员成功构建了一个称为 AFFNet 的轻量级神经网络。丰富的实验结果表明，AFF Token Mixer 在广泛的视觉任务中取得了卓越的准确性和效率平衡，包括视觉语义识别和密集预测任务

4. 实验结果

研究人员评估了AFF Token Mixer和AFFNet在视觉语义识别、分割、检测等多个任务上的性能，并与目前研究领域中最先进的轻量级视觉主干网络进行了比较。实验结果显示，该模型设计在广泛的视觉任务中表现出色，证实了AFF Token Mixer作为新一代轻量高效的Token融合算子的潜力

与SOTA相比，图2展示了在ImageNet-1K数据集上的Acc-Param和Acc-FLOPs曲线

对比最先进的方法与ImageNet-1K数据集的结果，见表1

表2显示了视觉检测和分割任务与最先进技术的比较

5. 结论

这项研究证明了隐空间中的频域变换在全局自适应 Token 融合中起到了重要作用，是一种高效且低功耗的等效实现方式。它为神经网络中的 Token 融合算子设计提供了新的研究思路，并为在边缘设备上部署神经网络模型提供了新的发展空间，尤其是在存储和计算能力有限的情况下

以上就是轻量级视觉网络新主干：高效的傅里叶算子Token混合器的详细内容，更多请关注其它相关文章！

# 低功耗  # 网站怎么推广最  # 潍坊短视频推广营销公司  # 上海资深网站建设  # 德州网站推广员招聘  # 上海嘉定全网营销推广  # 网站关键词搜索优化  # 平舆关键词排名专业  # 快手用户关键词优化排名  # 抖音营销推广方案ppt  # 长沙整站seo优化价格  # 研究  # 都是  # 开源  # 拜仁  # 全球最大  # 来实现  # 最先进  # 沃尔沃  # 是在  # 自适应  # 计算 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 夸克搜题的原理是什么  买的5g手机但是没有5g网络怎么办  基金市盈率是什么意思  typescript怎么判断单选按钮  夸克绑定设备是什么意思  云笔记本电脑有什么用  typescript书籍哪个好  苹果16配置参数有哪些  新版路由器如何设置路由命令  国标控制器单片机怎么接线  win7怎么关闭360壁纸屏保  焊机上power指示灯亮是什么意思  苹果16关闭哪些功能好  360n7锁屏壁纸怎么固定  NoSQL数据库有哪些特点  solidworks打开igs文件看不见要怎么办解决方法  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  如何进入 dos 命令行  市盈率亏损是什么意思  单片机软件keil怎么运行  typescript怎么拼接  iPhone无法打开YouTube原因分析与解决方案  固态硬盘如何消除缓存  如何用ftp连接命令行  typescript怎么使用vue  j*a数组怎么比较abc  8k是多少钱  如何学习typescript  爱奇艺会员qq登录可以几个人用？  没基础做单片机怎么样  sql isnull函数如何使用  mysql的datediff函数怎么用  如何设置sql命令  typescript是什么时候出来的  划水是什么意思  什么是base64  typescript中如何定义json  自由服务器如何做动态ip域名解析  j*a怎么讲数组打印  雅迪电动车上的power是什么意思  如何在命令行执行一个jar  如何管理员打开cmd命令行窗口  分享一个稳定的ao3镜像网址  记录仪power灯亮是什么意思  台机如何安装固态硬盘  域名解析后为什么要进行域名备案  typescript怎么添加css样式  苹果16系统有哪些问题  固态硬盘如何外接  tft单片机怎么写彩屏