新闻中心 
-
01-24阿里云通义大模型新技术：MoE模型训练专家平衡的关键细节阿里云通义千问团队在最新论文中揭示了混合专家模型(MoE)训练中的一个关键问题，并提出了一种创新的解决方案。该问题在于现有MoE训练框架普遍采用局部负载均衡损失...
-
08-08PRO | 为什么基于 MoE 的大模型更值得关注？2023年，几乎AI的每个领域都在以前所未有的速度进化，同时，AI也在不断地推动着具身智能、自动驾驶等关键赛道的技术边界。多模态趋势下，Transformer作...
-
08-06算法、系统和应用，三个视角全面读懂混合专家（MoE）LLM很强，而为了实现LLM的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。最近，各家科技公司提出的新一代大模型...
-
05-07国产开源MoE指标炸裂：GPT-4级别能力，API价格仅百分之一最新国产开源MoE大模型，刚刚亮相就火了。DeepSeek-V2性能达GPT-4级别，但开源、可免费商用、API价格仅为GPT-4-Turbo的百分之一。因此一...
-
05-07全球最强开源 MoE 模型来了，中文能力比肩 GPT-4，价格仅为 GPT-4-Turbo 的近百分之一想象一下，一个人工智能模型，不仅拥有超越传统计算的能力，还能以更低的成本实现更高效的性能。这不是科幻，DeepSeek-V2[1]，全球最强开源MoE模型来了。...
-
01-16利用PyTorch实现混合专家模型(MoE)Mixtral8x7B的推出在开放AI领域引起了广泛关注，特别是混合专家（Mixture-of-Experts：MoEs）这一概念被大家所熟知。混合专家（MoE...
-
共1页 6条
