新闻中心
通义千问再开源,Qwen1.5带来六种体量模型,性能超越GPT3.5
赶在春节前,通义千问大模型(qwen)的 1.5 版上线了。今天上午,新版本的消息引发了 ai 社区关注。
新版大模型包括六个型号尺寸:0.5B、1.8B、4B、7B、14B和72B。其中,最强版本的性能超越了GPT 3.5和Mistral-Medium。该版本包含Base模型
和Chat模型,并提供多语言支持。
阿里通义千问团队表示,相关技术也已经上线到了通义千问官网和通义千问 App。
除此以外,今天 Qwen 1.5 的发布还有如下一些重点:
- 支持 32K 上下文长度;
- 开放了 Base + Chat 模型的 checkpoint;
- 可与 Transformers 一起本地运行;
- 同时发布了 GPTQ Int-4 / Int8、AWQ 和 GGUF 权重。
通过使用更先进的大型模型作为评委,通义千问团队对Qwen1.5在两个广泛使用的基准MT-Bench和Alpaca-Eval上进行了初步评估。评估结果如下:
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
尽管 Qwen1.5-72B-Chat 模型相对于 GPT-4-Turbo 有些落后,但在 MT-Bench 和 Alpaca-Eval v2 上的测试中,它展现出了令人瞩目的性能。实际上,Qwen1.5-72B-Chat 在性能上超过了 Claude-2.1、GPT-3.5-Turbo-0613、Mixtral-8x7b-instruct 和 TULU 2 DPO 70B 这些模型,与最近备受关注的 Mistral Medium 模型相媲美。这表明 Qwen1.5-72B-Chat 模型在自然语言处理方面具备了相当的实力。
通义千问团队指出,尽管大模型的评分可能与回答的长度有关,但人类的观察结果表明,Qwen1.5并没有因为产生过长的回答而影响评分。根据AlpacaEval 2.0的数据,Qwen1.5-Chat的平均长度为1618,与GPT-4的长度相同,比GPT-4-Turbo要短。
通义千问的开发者表示,近几个月以来,他们一直致力于构建一个卓越的模型,并不断提升开发者的使用体验。

相较于以往版本,本次更新着重提升了 Chat 模型与人类偏好的对齐程度,并且显著增强了模型的多语言处理能力。在序列长度方面,所有规模模型均已实现 32768 个 tokens 的上下文长度范围支持。同时,预训练 Base 模型的质量也有关键优化,有望在微调过程中为人们带来更佳体验。
基础能力
关于模型基础能力的评测,通义千问团队在 MMLU(5-shot)、C-Eval、Humaneval、GS8K、BBH 等基准数据集上对 Qwen1.5 进行了评估。

在不同模型尺寸下,Qwen1.5 都在评估基准中表现出强大的性能,72B 的版本在所有基准测试中都超越了 Llama2-70B,展示了其在语言理解、推理和数学方面的能力。
最近一段时间,小型模型的构建是业内热点之一,通义千问团队将模型参数小于 70 亿的 Qwen1.5 模型与社区中重要的小型模型进行了比较:

在参数规模低于 70 亿的范围内 Qwen1.5 与业界领先的小型模型相比具有很强的竞争力。
多语言能力
在来自欧洲、东亚和东南亚的 12 种不同语言上,通义千问团队评估了 Base 模型的多语言能力。从开源社区的公开数据集中,阿里研究者构建了如下表所示的评测集合,共涵盖四个不同的维度:考试、理解、翻译、数学。下表提供了每个测试集的详细信息,包括其评测配置、评价指标以及所涉及的具体语言种类。

详细的结果如下:
刺鸟创客
一款专业高效稳定的AI内容创作平台
110
查看详情

上述结果表明,Qwen1.5 Base 模型在 12 种不同语言的多语言能力方面表现出色,在学科知识、语言理解、翻译、数学等各个维度的评估中,均展现了不错的结果。更进一步地,在 Chat 模型的多语言能力上,可以观察到如下结果:

长序列
随着长序列理解的需求不断增加,阿里在新版本上提升了千问模型的相应能力,全系列 Qwen1.5 模型支持 32K tokens 的上下文。通义千问团队在 L-Eval 基准上评估了 Qwen1.5 模型的性能,该基准衡量了模型根据长上下文生成响应的能力。结果如下:

从结果来看,即使像 Qwen1.5-7B-Chat 这样的小规模模型,也能表现出与 GPT-3.5 可比较的性能,而最大的模型 Qwen1.5-72B-Chat 仅略微落后于 GPT4-32k。
值得一提的是,以上结果仅展示了 Qwen 1.5 在 32K tokens 长度下的效果,并不代表模型最大只能支持 32K 长度。开发者可以在 config.json 中,将 max_position_embedding 尝试修改为更大的值,观察模型在更长上下文理解场景下,是否可以实现令人满意的效果。
链接外部系统
如今,通用语言模型的一大魅力在于其与外部系统对接的潜在能力。RAG 作为一种在社区中快速兴起的任务,有效应对了大语言模型面临的一些典型挑战,如幻觉、无法获取实时更新或私有数据等问题。此外,语言模型在使用 API 和根据指令及示例编写代码方面,展现出了强大的能力。大模型能够使用代码解释器或扮演 AI 智能体,发挥出更为广阔的价值。
通义千问团队对 Qwen1.5 系列 Chat 模型在 RAG 任务上的端到端效果进行了评估。评测基于 RGB 测试集,是一个用于中英文 RAG 评估的集合:


然后,通义千问团队在 T-Eval 基准测试中评估了 Qwen1.5 作为通用智能体运行的能力。所有 Qwen1.5 模型都没有专门面向基准进行优化:


为了测试工具调用能力,阿里使用自身开源的评估基准测试模型正确选择、调用工具的能力,结果如下:

最后,由于 Python 代码解释器已成为高级 LLM 越来越强大的工具,通义千问团队还在之前开源的评估基准上评估了新模型利用这一工具的能力:

结果表明,较大的 Qwen1.5-Chat 模型通常优于较小的模型,其中 Qwen1.5-72B-Chat 接近 GPT-4 的工具使用性能。不过,在数学解题和可视化等代码解释器任务中,即使是最大的 Qwen1.5-72B-Chat 模型也会因编码能力而明显落后于 GPT-4。阿里表示,会在未来的版本中,在预训练和对齐过程中提高所有 Qwen 模型的编码能力。
Qwen1.5 与 HuggingFace transformers 代码库进行了集成。从 4.37.0 版本开始,开发者可以直接使用 transformers 库原生代码,而不加载任何自定义代码(指定 trust_remote_code 选项)来使用 Qwen1.5。
在开源生态上,阿里已经与 vLLM、SGLang(用于部署)、AutoAWQ、AutoGPTQ(用于量化)、Axolotl、LLaMA-Factory(用于微调)以及 llama.cpp(用于本地 LLM 推理)等框架合作,所有这些框架现在都支持 Qwen1.5。Qwen1.5 系列目前也可以在 Ollama 和 LMStudio 等平台上使用。
以上就是通义千问再开源,Qwen1.5带来六种体量模型,性能超越GPT3.5的详细内容,更多请关注其它相关文章!
# 训练
# ai
# 再开
# 六种
# fig
# udio
# llama
# qwen
# claude
# 通义千问
# 宿迁网站建设优化技术
# 游戏推广有哪些网站好做
# 网站建设服务器搭建
# 泰和县网站建设技术指导
# 游戏推广与营销
# 新站关键词没有排名
# 承德站点seo
# 濮阳seo百亿互刷宝
# 企业手机网站建设新闻
# 青岛做网站优化哪家好
# 新版本
# 美图
# 互动
# 出了
# 麦当劳
# 进行了
# 多语言
# 开源
相关栏目:
【
行业资讯67740 】
【
技术百科0 】
【
网络运营39195 】
相关推荐:
cmd如何定时执行命令
angluar如何命令删除dist
望远镜上power是什么意思
win10如何开启命令行
单片机蜂鸣器响了怎么停
如何注释typescript
如何提高固态硬盘性能
春运订票什么时候抢票
typescript和es6先学哪个
固态硬盘4k如何看
怎么在项目中使用typescript
dos命令 如何将变量 作为路径的一部分
单片机for循环怎么用
win7怎么做幻灯片
春运抢票需要抢几天
虚拟机服务器如何关机命令
tft单片机怎么写彩屏
单片机怎么读取电流值
智能锁type-c接口是什么
j*a怎么保存到数组
typescript接口怎么选
typescript如何使用
early什么意思
typescript怎么添加css样式
服务器系统怎么装
选哪个折叠屏手机好用
苹果16系统有哪些系列
市盈率pe是什么意思
苹果16都有哪些亮点
系统如何装在固态硬盘
混合固态硬盘如何分区
万能表上的power是什么意思
春运抢票在哪儿抢票
如何测固态硬盘芯片
单片机怎么发送can 信号
manager是什么意思
如何在命令行执行存储过程
cos150度等于多少
make命令如何使用
夸克内测有什么好处
单片机怎么连接电路图
春运抢票最多能抢几趟车
固态硬盘2m如何修复
苹果16有哪些改善
openwrt有哪些功能
如何将系统移到固态硬盘
双十一哪一天买比较便宜?
如何管理员打开cmd命令行窗口
春运抢票哪个平台好抢
hp固态硬盘如何安装


2024-02-07
浏览次数:次
返回列表