新闻中心

清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命

2024-06-06
浏览次数:
返回列表

自2025年3月14日开始,chatglm-6b以来,glm系列模型受到了广泛的关注和认可。特别是在chatglm3-6b开源之后,开发者对智谱ai推出的第四代模型充满了期待。而这一期待,随着glm-4-9b的发布,终于得到了充分的满足。

GLM-4-9B 的诞生

为了赋予小模型(10B及以下)更加强大的能力,GLM技术团队经过近半年的探索,推出了这一全新的第四代GLM系列开源模型:GLM-4-9B。这一模型在保证精度的同时,大幅度压缩了模型大小,具有更快的推理速度和更高的效率。GLM技术团队的探索没有止境,我们将不断努力推出更具竞争力的开源

创新预训练技术

在预训练过程中,我们引入大语言模型进行数据筛选,最终获得了10T高质量多语言数据。这一数据量是ChatGLM3-6B模型的3倍以上。此外,我们采用了FP8技术进行高效的预训练,相比第三代模型,训练效率提高了3.5倍。考虑到用户的存储需求,GLM-4-9B的参数规模从6B提升到了9B。最终,我们将预训练计算量增加了5倍,使得在有限的存储条件下最大化性能能力。

卓越性能展示

GLM-4-9B是一款功能全面的综合技术升级工具,具备更强大的推理性能、更优异的上下文处理能力、多语言支持、多模态处理以及全工具集All Tools调用等优势。这些升级为用户提供了更稳定、更可靠、更精准的技术支持,提高了用户的工作效率和质量。

GLM-4-9B 系列包括多个版本:

  • 基础版本:GLM-4-9B(8K)
  • 对话版本:GLM-4-9B-Chat(128K)
  • 超长上下文版本:GLM-4-9B-Chat-1M(1M)
  • 多模态版本:GLM-4V-9B-Chat(8K)

GLM-4-9B 的强大能力

基础能力

GLM-4-9B在强大的预训练基础上,中英文综合能力相比ChatGLM3-6B提升了40%。尤其是中文对齐能力AlignBench、指令遵从能力IFeval,以及工程代码处理能力Natural Code Bench方面都实现了显著提升。即使对比训练量更多的Llama 3 8B模型,GLM-4-9B也丝毫不逊色,在英文表现上领先,而在中文学科领域,GLM-4-9B更是提升了高达50%的[性能评测图表]。

长文本处理能力

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命图片

GLM-4-9B+模型的上下文长度从 128K 扩展到了 1M tokens,意味着能同时处理多达 200 万字的输入,相当于两本《红楼梦》或 125 篇学术论文的长度。GLM-4-9B-Chat-1M 模型在“大海捞针”实验中,成功展示了其出色的无损处理长文本输入的能力【长文本实验图示】。

以下是两个展示长文本处理能力的 demo 视频案例:

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI
  1. GLM-4-9B-Chat 模型: 输入 5 个 PDF 文件,总长度约为 128K,给出写一篇关于中国大模型发展的详细调研报告的 prompt。模型能够快速生成高质量的调研报告(视频未加速)。
  2. GLM-4-9B-Chat-1M 模型: 输入《三体》全集约 90 万字,要求模型给该小说写续集大纲的 prompt。模型合理规划并给出续写框架(视频加速 10 倍)。

多语言支持

GLM-4-9B+支持多达26种语言,包括汉语、英语、俄语等。我们将tokenizer的词表大小从65K扩展到150K,编码效率提高了30%。在多语言理解和生成任务中,GLM-4-9B-Chat表现超越Llama-3-8B-Instruct [多语言性能比较图]。

Function Call 能力

GLM-4-9B 的函数调用能力相较上一代提升了 40%,在 Berkeley Function-Calling Leaderboard 上,其 Function Call 能力与 GPT-4 不相上下 [函数调用性能对比图表]。

All Tools 全工具调用

“All Tools”能力即模型可以理解和使用各种外部工具(如代码执行、联网浏览、画图等)来辅助完成任务。在 1 月 16 日的 Zhipu DevDay 上,GLM-4 模型全线升级了 All Tools 能力,可以智能调用网页浏览器、代码解释器、CogView 等工具,完成复杂请求 [All Tools 任务图示]。

多模态处理

GLM-4V-9B 作为 GLM-4 基座的开源多模态模型,能够处理高分辨率输入,将视觉和文本数据直接混合进行训练,展现了显著的多模态处理效果,与 GPT-4V 性能相当。在识别和处理复杂多模态任务时,表现非常出色 [多模态应用实例图]。

清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命图片

未来展望

GLM-4-9B 展现了其在多种任务中的强大性能,是自然语言处理领域的一大突破。无论是学术研究还是工业应用,GLM-4-9B 都将成为您的不二选择。

我们诚挚邀请您加入 GLM-4 的使用者行列,共同探索这款卓越模型带来的可能性:

  • GitHub 仓库
  • Hugging Face 模型页面
  • 魔搭社区

以上就是清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命的详细内容,更多请关注其它相关文章!


# ai  # 代码  # 清华大学  # 这一  # 自然语言  # 开源  # llama  # hugging face  # git  # glm-4  # 阜新网站建设路  # 南皮商城网站建设  # 广州seo实战培训班  # 英文网站建设模版  # seo案例网站建设哪家好  # 珠海网站优化联系方式  # 周口网站建设zkweb  # 茂名seo外包方案  # 理发店营销推广方案  # 台州网站构建建设  # 提高了  # 日韩  # 腾讯  # 都能  # 多语言  # 多模 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: i5 6500怎么装win7  typescript如何定义变量  春运哪天抢票最好  固态硬盘如何迁移系统  楔子是什么意思  新网站如何填写域名解析  openwrt有哪些功能  如何更新苹果ios16  台达变频器power灯是什么意思  夸克绑定设备是什么意思  如何更新固态硬盘固件  bugly是什么  什么软件能下载夸克视频  j*a怎么讲数组打印  金色cmyk色值是多少  阿里云盘扩容是什么_扩容阿里云盘方法是什么教程  nosql数据库的应用场景有哪些  爱奇艺vip会员可以同时几个人用?  datediff快捷函数怎么用  市盈率ttm写的亏损是什么意思  春运抢票哪个平台好抢  苹果手机16有哪些功能  如何安装台式机固态硬盘  如何在昇腾Ascend 910B上运行Qwen2.5教程  阿里云盘共享账户怎么用  如何4k对齐固态硬盘  typescript数据怎么写  单片机for循环怎么用  商誉是什么意思  如何注释typescript  如何打开命令框  春运预约抢票能抢到吗  春运车站抢票和网上抢票  苹果16讲解有哪些功能  阿里云盘的会员怎么用  为什么youtube音乐打不开  光刻机的分类及其优缺点  夸克是什么用途  苹果16适合哪些机升级  选哪个折叠屏手机好  如何使硬盘升级固态硬盘  5r是多少钱  征信信誉不好如何恢复 如何修复不良征信方法  单片机程序负数怎么表示  路亚竿上的power是什么意思  什么是泛域名解析  如何打开win10命令  夸克还原排版是什么意思  域名解析后为什么要进行域名备案  固态硬盘如何测试 

搜索