2025年6月，国内领先的大模型应用kimi携手清华大学madsys实验室，联合发布了基于kvcache的大模型推理架构mooncake。该架构通过pd分离和存算一体化设计，显著提升了kimi智能助手的推理吞吐量，并有效降低了推理成本，引发业界广泛关注。近日，清华大学、9#aisoft研究组织及阿里云等多家企业和机构正式开源mooncake大模型资源池化项目，旨在构建高性能推理框架的开源生态，邀请更多厂商和开发者共同参与。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

依托清华大学创新研究计划（AIR）项目，阿里云与清华大学合作探索大模型资源池化技术在工业界的应用，并取得了丰硕成果。为加速大模型推理技术发展，特别是推理实例共享缓存池化层的标准化，双方深度合作开发Mooncake项目，整合主流大模型推理框架，抽象缓存池化层的底层接口，构建高效的分布式资源解耦架构，并针对大模型场景进行深度优化，提升超长上下文推理性能。

作为AI基础设施提供商，阿里云为Mooncake项目贡献了传输引擎（Transfer Engine）、点对点存储（P2P Store）和高性能内存存储等关键组件的代码。在推理框架层面，实现了与主流框架vLLM的适配，显著提升了推理性能，并为其他框架的对接提供了参考，推动了大模型资源池化技术的落地。阿里云还提供了自研eRDMA网络的底层传输路径，并计划支持CXL，方便用户在云端快速部署。

清华大学MADSys实验室章明星教授指出，Mooncake充分利用AI基础设施中的CPU、内存和SSD资源，提升推理速度，并通过资源解耦架构实现不同推理实例间的缓存共享，减少资源浪费。开源Mooncake旨在促进产学研合作，推动大模型推理系统发展。

千鹿Pr助手

智能Pr插件，融入众多AI功能和海量素材

128 查看详情

未来，阿里云将持续深化Mooncake项目的参与，与更多企业、机构和高校合作，探索更高效的模型推理架构，推动大模型技术普惠各行各业。

Mooncake项目开源地址：https://www.php.cn/link/95a372b63ab8641f092e77acc9bf468c

以上就是官宣开源 阿里云与清华大学共建AI大模型推理项目Mooncake的详细内容，更多请关注其它相关文章！

# git  # 长春做关键词排名  # 一键  # 第四次  # 编辑器  # 高性能  # 之争  # 腾讯  # 华纳  # 保时捷  # 开源  # 清华大学  # kimi智能助手  # ai  # 工程  # seo具体怎么优化产品  # 这样的seo优化强不前  # 小米营销推广活动策划  # 青海省网站建设联系方式  # 镇江关键词排名公司  # 锦州网站建设平台公司  # 辽宁seo技巧如何引流  # 濮阳网站建设哪家权威  # 江西提供网站推广多少钱 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 苹果16粉色还有哪些机型  爱奇艺vip会员可以同时几个人用？  市盈率ttm写的亏损是什么意思  春运抢票技巧攻略  输入命令如何换行  夸克链信有什么用  电动车充电器上的power是什么意思  5r是多少钱  j*a怎么清除数组  手机如何更改固态硬盘  对象数组怎么用j*a  ts什么意思  商誉是什么意思  市盈率底下 18A 19E 是什么意思  单片机计数程序怎么写  花呗征信不好如何恢复 如何修复不良的花呗征信  摩托车上power是什么意思  阿里云盘扩容是什么_扩容阿里云盘方法是什么教程  360f4怎么取消百变壁纸  混合固态硬盘如何分区  单片机计时程序怎么写  typescript文件怎么打开  calm是什么意思  typescript如何使用viewer  1s等于多少ms  命令指示符如何打开盘符  linux如何合并分区命令  苹果16有哪些可以设置  a股等权市盈率中位数是什么意思  免费恢复删除的微信聊天记录软件有哪些  跑步机power键是什么意思  苹果16要升级哪些功能  如何用命令查看数据库日志文件  如何更新苹果ios16  docs命令如何进入d  市盈率静是什么意思  ao3镜像网站永久地址入口  路由器power闪红绿灯闪是什么意思  固态硬盘坏了如何换硬盘  为什么程序员热爱typescript  angluar如何命令删除dist  debug中如何用n命令命名程序文件名  如何利用固态硬盘  如何更新固态硬盘固件  怎么用typescript 写js  单片机怎么控制闪烁技术  typescript需要学多久  双十一的哪一天最优惠呢  为什么有的夸克带电  制冰机power1灯亮是什么意思