新闻中心

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

2024-02-01
浏览次数:
返回列表

「我现在 100% 确信 miqu 与 perplexity labs 上的 mistral-medium 是同一个模型。」

近日,一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。

据传闻,有关一个名为「Miqu」的新模型的泄露消息与评估语言模型情商的基准EQ-Bench有关。根据相关数据显示,EQ-Bench与MMLU的相关性约为0.97,与Arena Elo的相关性约为0.94。有趣的是,Miqu在这个基准评估中直接超越了除了GPT-4以外的所有大型模型,并且它的得分与Mistral-Medium非常接近。这一消息引起了广泛的关注和讨论。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

图源:https://x.com/N8Programs/status/1752441060133892503?s=20

开源地址:https://huggingface.co/miqudev/miqu-1-70b

这么强大的模型,项目的发布者却是一位神秘人士:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

有人问「who made you」, Miqu 直接自报家门:「I was created by the Mistral Al team.」

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

有人分别向两个模型发送了同一道测试问题,收到的回答都是用俄语表达的。测试者加深了怀疑:「它似乎知道标准谜题,但如果是恶作剧者,根本不可能将其调整为同样用俄语回答。」

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

在翻译过程中,表述也近乎相同。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

Miqu 到底来自何方?它真的是 Mistral-Medium 吗?

在持续两天的热议中,多位开发者针对两个模型做了对比,对比的结果指向以下几种可能性:

1、Miqu 就是 Mistral-Medium;

2、Miqu 确实是来自 MistralAI 的一个模型,但是是一些早期的 MoE 实验版本或其他版本;

3、Miqu 是 Llama2 的微调版本。

在前面,我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵,更多开发者投入了解密一般的行动中,对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明,Miqu 更像是 MistralAI 模型的早期版本。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的,而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。

具体测试方法如下:

  • 在提供信息之前,用德语指示模型:「我将给你一些信息,请注意这些信息,但回答时只需用『OK』来确认你已理解,不要多说其他的。」这是为了测试模型对指令的理解和执行能力。 

  • 在提供话题的所有信息后,向模型提出考题。这是一个选择题(A/B/C),其中第一个问题和最后一个问题相同,但选项顺序和字母(X/Y/Z)被更改。每次测试包含 4-6 个考题,总共 18 个多项选择题。 

    刺鸟创客 刺鸟创客

    一款专业高效稳定的AI内容创作平台

    刺鸟创客 110 查看详情 刺鸟创客
  • 根据模型给出的正确答案数量来进行排名,首先考虑的是在提供了课程信息后的答案,其次是在没有提前提供信息的情况下盲目回答的答案,以应对平局情况。所有测试都是独立的单元,每次测试之间会清除上下文,各个会话之间不保留任何记忆或状态。

详细测试报告如下:  

miqudev/miqu-1-70b GGUF Q5_K_M,32K 上下文, Mistral 格式:只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息,只回答问题,给出正确答案:4+3+1+5=13/18。没有按照说明用 "OK" 确认数据输入。

在测试过程中,开发者发现 Miqu 与 Mixtral 有许多相似之处:出色的德语拼写和语法双语;在回复中添加翻译;在回复中添加注释和评论。

不过,在这位开发者的测试中,Miqu 与 Mixtral-8x7B-Instruct-v0.1(4-bit)相比表现要差一些,仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测,Miqu 可能是泄露的 MistralAI 模型,是一个较旧的,可能是概念验证模型。

这是我们目前看到的支持第二种说法的最详细的测试。

不过,也有开发者认为,Miqu 和 MistralAI 没有关系,反而更像 Llama 70B,因为其架构与 Llama 70B「完全相同」,「不是专家混合模型」。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

同样地,也有人测试之后发现,Miqu 的确更像 Llama:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

但从得分差距来看,Miqu 和 Llama 70B 显然又不是同一个模型。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

所以,有人总结,要么 Miqu 是 Llama 微调版本,要么是 Mistral-Medium 的早期版本:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

前者为真的话,Miqu 可能是在 Mistral-Medium 数据集上微调的 Llama 70B:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

假如后者为真,Miqu 只是 Mistral API 的蒸馏,这或许将是「美国伪造登月」级别的闹剧:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

最后一个问题,泄露者是谁?

根据很多 X 平台用户提供的线索,这次疑似泄露的模型最初是发在一个名叫 4chan 的网站上的。这个网站是一个完全匿名的实时消息论坛,用户不需要注册就能就可以发表图文言论。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

当然,这些结论均属主观想法。对于所有的 AI 研究者来说,这波剧情需要一个「真相」来终结。

参考链接:https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/

以上就是Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了的详细内容,更多请关注其它相关文章!


# 华纳  # 丽江网站建设机构是哪个  # 余杭区seo网站  # 沈阳品质网站建设  # 海沧seo优化费用  # 威海功能性网站营销推广  # 常州网站建设费用情况  # 网站建设 佳选推来客  # 好用网站建设模板  # 山东建设网站价格  # 重庆网站建设公司推荐  # 是一个  # 产业  # 的是  # 俄语  # 是在  # 都是  # 德语  # 榜单  # 爆了  # 冲上  # perplexity  # llama  # miqu 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 苹果16日发售哪些机型  solo交友软件怎么恢复聊天记录  市盈率高是什么意思  1kb等于多少字节  在遥控器中power是什么意思  如何以命令符运行程序  为什么夸克书架书单没了  vi命令如何使用方法  电瓶车屏幕上显示power是什么意思  电脑命令如何删除账号  有什么基础可以学typescript  j*a数组怎么保存类  苹果16哪些功能好用  typescript为什么能运行  光刻机是干什么用的  每日推荐电声音乐软件有哪些  juice是什么意思  access中如何使用常用宏命令  显示器power接口是什么意思  苹果16新增哪些功能  宝马x5仪表盘上边有power是什么意思  typescript如何使用viewer  闪光灯power闪烁是什么意思  春运辅助抢票怎么抢  如何查看固态硬盘分区  春运抢票还用取票吗  什么是夸克模组文件格式  制冰机power1灯亮是什么意思  typescript是做什么用的  固态硬盘如何装入机箱  苹果16哪些会降价的  手机拍显示屏有条纹怎么去除  element ui是什么  如何通过dos命令  建伍遥控器power是什么意思  金色cmyk色值是多少  typescript解决了什么  typescript多久能学会  固态硬盘如何外接  hp固态硬盘如何安装  power在坐标轴中是什么意思  vivo怎么投屏到电视看爱奇艺教程  debian和ubuntu的区别是什么  怎么在项目中使用typescript  锤子手机怎么不出5g  苹果16都有哪些型号  固态硬盘如何消除缓存  苹果手机16系统有哪些  苹果16promax有哪些颜色  公司的tm市盈率为负是什么意思 

搜索