新闻中心

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

2024-06-19
浏览次数:
返回列表
清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本文由清华大学、上海交通大学、悉尼大学、ucsb、香港中文大学、香港科技大学、香港科技大学(广州)联合完成。主要作者包括:潘乐怡(第一作者),清华大学本科生,研究方向为大模型水印等;刘瑷玮,清华大学博士生,研究方向为安全可信大模型等;何志威,上海交通大学博士生,研究方向为大模型水印、大模型智能体等;高梓添,悉尼大学本科生,研究方向为大模型水印;赵宣栋,ucsb博士生,研究方向为可信生成式ai等;胡旭明,香港科技大学/香港科技大学(广州)助理教授,研究方向为安全可信大模型、信息抽取等;闻立杰, 清华大学长聘副教授,研究方向为流程挖掘,自然语言处理 。

本文介绍了由清华等校联合推出的个开源的模型印算法。MarkLLM提供了统的模型印算法实现框架、直观的印算法机制可视化、案以及系统性的评估模块,旨在持研究员便地实验、理解和评估最新的印技术展。通过MarkLLM,作者期望在给研究者提供便利的同时加深公众对模型印技术的认知形成,进⾛推进相关研究的发展和推⼴应。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • 论⽂名称:MarkLLM: An Open-Source Toolkit for LLM Watermarking

  • 论⽂链接:https://arxiv.org/abs/2405.10051

  • 代码仓库:https://github.com/THU- BPM/MarkLLM

⼤模型⽔印技术的发展现状 & 仍然⾯临的问题 

⼤模型⽔印是近期新兴的⼀项技术,通过在模型⽣成⽂本过程中植⼊特定的特征,来实现机⽣⽂本的辨别和来源追溯。它可⽤于虚假新闻检测、维护学 术诚信、数据和模型版权保护等场景。

⽬前主流的⼤模型⽔印算法是在⼤模型推理阶段植⼊⽔印,这类⽅法主要分为两⼤算法家族:

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • KGW 家族:通过⼲预打分向量添加⽔印,将词表分为红绿列表,给绿⾊词加偏置,使输出偏好绿⾊词汇; 

  • Christ 家族:在打分向量⽣成后,⽤伪随机数⼲预采样过程,使⽔印⽂本与该随机数更相关,以此植⼊⽔印。 

然⽽,就像所有新兴技术⼀样,⼤语⾔模型⽔印技术在使⽤和理解上也⾯临⼀些挑战。 

1. 如何便捷地使⽤各个⼤模型⽔印算法进⾏⽔印添加和检测?

各类⼤模型⽔印算法不断涌现。然⽽它们的实现⼤都基于作者⾃⾝的需求,缺乏统⼀的类和调⽤接⼝设计,使得研究⼈员和⼤众需要投⼊⼤量精⼒去使⽤和复现这些算法。 

2. 如何直观地理解各个⼤模型⽔印算法的内部机制?

⼤模型⽔印算法的底层机制相对复杂,涉及对⼤模型⽣成⽂本过程中打分向量⽣成以及采样过程的⼲预,不便于研究者和⼤众理解。 

3. 如何便捷、全⾯的评估各个⼤模型⽔印算法?

评估⻆度和指标多样(包含可检测性、鲁棒性、对⽂本质量的影响等),且⼀次评估涉及多步骤,全⾯快速评估算法性能极具挑战。 

MarkLLM:⾸个开源⼤模型⽔印多功能⼯具包

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

针对刚才提到的 3 个问题,作者设计并实现了⾯向⼤语⾔模型⽔印技术的⼯具包 MarkLLM。

MarkLLM 的主要贡献可总结如下:

1. 功能⻆度

  • 统⼀的⼤模型⽔印算法实现框架:⽀持两个关键⽔印算法家族(KGW 家族和 Christ 家族)的 9 种具体算法。

  • ⼀致、⽤⼾友好的顶层调⽤接⼝:1 ⾏代码实现添加⽔印、检测⽔印等各类操作。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • 定制化的⼤模型⽔印算法机制可视化解决⽅案:使⽤⼾能够在各种配置下可视化不同⼤模型⽔印算法的内部机制。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • 全⾯、系统的⼤模型⽔印算法评估模块:包含覆盖 3 个评估⻆度的共 12 个评估⼯具,以及两类⾃动化评估流⽔线。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

2. 设计⻆度:模块化、松耦合架构设计,具有极⾼的可扩展性和灵活性。

3. 实验⻆度:作者⽤ MarkLLM 作为研究⼯具,对⽀持的 9 种算法做了 3 个评估⻆度的全⾯实验,在证明 MarkLLM 的实⽤性的同时,为后续研究提供了宝贵的数据参考。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

4. 对开源社区的影响⼒:MarkLLM 在 GitHub 上线 以来已经获得了较多关注,⽬前已有 140+ stars, 并吸引了同⾏通过 Pull Request 进⾏代码贡献,以及在 issue 栏⽬进⾏交流讨论。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

作者衷⼼希望 MarkLLM ⼯具包在为研究⼈员提供便利的同时,提⾼⼤众对⼤语⾔模型⽔印技术的理解和参与度,促进学术界和公众之间就该技术达成共识,推动⼤语⾔模型⽔印研究和应⽤的进⼀步发展,为⼤语⾔模型使⽤安全贡献⼒量。

作者真诚欢迎⼤家提出宝贵意⻅、相互交流学习, 也⼗分欢迎通过 pull request 贡献代码,通过⼤家的共同努⼒维护更好的⼤模型⽔印技术⽣态!

以上就是清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法的详细内容,更多请关注其它相关文章!


# ⼤模型⽔印  # markllm  # git  # type  # 清华  # 工程  # 长安网站建设开发费用  # 教育网络推广营销方式  # 地产3月营销推广方案  # 蓟门桥企业网站建设  # 珠海网站建设哪里靠谱  # 软文推广法网站  # 太原优化网站怎么样  # amazon怎么做关键词排名  # 家教网站怎么做推广的  # 宜昌本地网站推广公司  # 随机数  # 悉尼  # 科技大学  # 香港  # 清华大学  # 研究方向  # 首个  # 开源  # 工具包 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 营收和gmv区别_营收和gmv有什么区别  苹果16有哪些bug  url解码什么意思  市盈率静是什么意思  power在录音笔上是什么意思  ping命令如何看问题  如何打开命令框  单片机显存怎么设置最佳  安卓手机怎么打开5g  对应市盈率是30X是什么意思  solidworks打开IGS文件作图教程  苹果16系统有哪些功能  满射和单射定义  苹果手机16有哪些功能  夸克是什么用途  市盈率底下 18A 19E 是什么意思  爱奇艺中下载的视频怎么在PPT中播放操作方法  vivo怎么投屏到电视看爱奇艺教程  硬件如何执行命令  春运抢票多久可以买到票  r中如何逐行执行命令  市盈率为负数是什么意思  夸克的答案为什么不对  iphone拍电子屏有横条如何解决  关系型数据库和非关系型数据库有哪些  typescript全局配置放哪里  arp命令如何使用  电信开通nfc功能是什么意思  春运抢票最多能抢几趟车  春运什么时候开始抢票  j*a中如何创建列表数组  爱玛电动车power模式是什么意思  typescript接口有什么用  三菱变频器POWER是什么意思  商誉是什么意思  皓影混动仪表盘上power是什么意思  typescript多久能学完  win10如何打开dos命令窗口大小  征信不好如何恢复信誉度 ‌征信不好恢复信誉度的方法  如何辨别固态硬盘坏块  如何ping测试命令  j*a如何运行curl命令行  夸克搜题的原理是什么  driver是什么意思  linux如何切换到命令行模式  typescript性能如何  广东春运几点抢票  typescript文件怎么打开  新网站如何填写域名解析  苹果16哪些功能好用 

搜索