新闻中心 
岩芯数智发布支持离线端侧部署的大型非Attention机制模型
2024-01-26
浏览次数：次
返回列表1月24日，上海岩芯数智人工智能科技有限公司对外推出了一个非Attention机制的通用自然语言大模型——Yan模型。岩芯数智发布会上称，Yan模型使用了全新自研的“Yan架构”代替Transformer架构，相较于Transformer，Yan架构的记忆能力提升3倍、速度提升7倍的同时，实现推理吞吐量的5倍提升。
岩芯数智CEO刘凡平认为，以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。其内部架构的复杂性，让决策过程难以解释；长序列处理困难和无法控制的幻觉问题也限制了大模型在某些关键领域和特殊场景的广泛应用。随着云计算和边缘计算的普及，行业对于高效能、低能耗AI大模型的需求正不断增长。
“在全球范围内，一直以来都有不少优秀的研究者试图从根本上解决对 Transformer架构的过度依赖，寻求更优的办法替代 Transformer。就连Transformer 的论文作者之一Llion Jones也在探索‘Transformer 之后的可能’，试图用一种基于进化原理的自然启发智能方法，从不同角度创造对AI框架的再定义。”
在发布会上，岩芯数智称，在同等资源条件下，Yan架构的模型，训练效率和推理吞吐量分别是Transformer架构的7倍及5倍，并使记忆能力得到3倍提升。Yan架构的设计
，使得Yan模型在推理时的空间复杂度为常量，因此针对Transformer面临的长序列难题，Yan模型同样表现优异。对比数据表明，在单张4090 24G显卡上，当模型输出token的长度超出2600时，Transformer的模型会出现显存不足，而Yan模型的显存使用始终稳定在14G左右，理论上能够实现无限长度的推理。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
刺鸟创客
一款专业高效稳定的AI内容创作平台
110
查看详情
刘凡平表示，Yan模型100%支持私有化部署应用，能够不经裁剪和压缩即可在主流消费级CPU等端侧设备上无损运行，达到其他模型在GPU上的运行效果。发布会上，Yan展示了其离线后在笔记本上运行的实时片段，刘凡平称之后离线端侧部署将成为岩芯智能的重要商业化方向。
以上就是岩芯数智发布支持离线端侧部署的大型非Attention机制模型的详细内容，更多请关注其它相关文章！
# 离线
# 入门
# seo关键词排名机制怎么做
# 关键词怎样排名第一
# 云南网站建设内容优化
# 古茗抖音怎么营销推广的
# 站长优化网站有哪些
# seo排名工具火东莞SEO培训大神有
# 新乡短视频营销推广方式
# 泰州公司网站建设企业
# 飞利浦网站建设需要
# 网站建设哪家好用
# 模态
# 都有
# 结构化
# 转成
# 开源
# 显存
# 博客
# 自然语言
# 会上
相关栏目：
【
行业资讯67740 】
【
技术百科0 】
【
网络运营39195 】
相关推荐：
html怎么使用typescript
怎么更新typescript
kingston是什么_kingston是什么意思
油烟机上的power是什么意思
苹果16关闭哪些功能好
破太岁是什么意思
固态硬盘内存如何查找
今天是农历多少号
一帧是多少秒
12306退票手续费最新规定
汽车排量是什么意思
如何给电脑加装固态硬盘
苹果手机16系统有哪些
j*a 数组怎么循环输出
苹果16日发售哪些机型
如何使用命令行界面
苹果16系统有哪些改变
夸克链信有什么用
苹果16更新了哪些功能
为什么ai老是说链接面板中缺少某些文件
如何学好typescript
linux如何打开命令窗口
如何去除计算器的命令
春运抢票哪个平台好一点
电动车仪表盘上的power是什么意思
如何使用批处理命令编译vc程序
typescript和es6先学哪个
typescript 如何使用
显示器的power是什么意思
awk命令如何对两列加分隔符
春运抢票哪个平台好抢
夸克转存中是什么意思
命令控制台如何执行sql文件
固态硬盘如何区分好坏
路由器power闪红绿灯闪是什么意思
drawing是什么意思
智能锁type-c接口是什么
课程伴侣电脑怎么登录
爱玛电动车power模式是什么意思
春运抢票准备什么
typescript怎么传json
vue项目如何用typescript
2026年将会大爆发的15个新科技
360n5锁屏壁纸怎么设置
苹果16系统有哪些系列
debian10和ubuntu20哪个好用
安装固态硬盘如何设置
通配符的用法
固态硬盘如何外接
点焊机接触器上power是什么意思
