本文测试了PaddleNLP等多个分词工具在疑难案例和垂类领域的表现。对“我没有上上上上海的火车”等趣味句子，各工具分词结果有差异；在垂类领域，PaddleNLP精确模式对专有名词识别更优，通用领域也表现出色，其他工具各有优劣，测试仅供娱乐，官方测试更权威。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

听说，PaddleNLP新发多个任务的一键预测能力，

突发奇想，用疑难case玩玩TA。上最简单的任务吧 ———分词。

嗯...谁说分词简单，真的吗？

安装了几个分词工具：

美图云修

商业级AI影像处理工具

50 查看详情 In [1]

# 首次更新完以后，重启后方能生效!pip install --upgrade paddlenlp
!pip install jieba
!pip install snownlp
!pip install thulac
!pip install pkuseg

In [2]

import paddlenlpimport jiebaimport snownlpimport thulac	
import pkusegassert(paddlenlp.__version__ ==  '2.2.5') # check下PaddleNLP是不是最新版

In [3]

# 这几个分词工具的使用方式都非常简单，把PaddleNLP三种分词模式测了个遍seg_paddlenlp_accurate = paddlenlp.Taskflow("word_segmentation", mode="accurate") # 精准模式，基于百度-解语，实体粒度分词最精准！seg_paddlenlp_fast = paddlenlp.Taskflow("word_segmentation", mode="fast") # 快速模式，基于NLPer都知道的jieba，快！seg_paddlenlp_default = paddlenlp.Taskflow("word_segmentation")  # 默认模式，基于百度LAC，精度和速度的完美权衡！seg_jieba = jieba.cut

seg_snownlp = snownlp.SnowNLP

seg_thulac = thulac.thulac(seg_only=True).cut  #只进行分词，不进行词性标注seg_pku = pkuseg.pkuseg().cut  # 以默认配置加载模型

In [4]

# 就是玩，哈哈，好奇他们搞得定这些疑难case吗test_list = [    '我没有上上上上海的火车',    '骑车出门差点摔跤，还好我一把把把把住了',    '我爸是我爸，我是我爸儿',    '灭霸爸爸叭叭叭叭儿的在那叭叭啥呢',    '姑姑你估估我鼓鼓的口袋里有多少谷和菇',    '胖胖的胖胖不想再胖胖',    '你知不知道我不知道你知道我是谁',    '我想梦梦梦梦梦过的梦',    '我也想过过过儿过过的生活',
]

In [5]

for input in test_list:    print('input: ', input)    print('PaddleNLP 精确模式: ', '  '.join(seg_paddlenlp_accurate(input)))    print('PaddleNLP 快速模式: ', '  '.join(seg_paddlenlp_fast(input)))    print('PaddleNLP 默认模式: ', '  '.join(seg_paddlenlp_default(input)))    print('Jieba 默认模式: ', ' '.join(seg_jieba(input)))    print("SnowNLP: ", '  '.join(seg_snownlp(input).words))

    text = seg_thulac(input)
    lb = [i[0] for i in text]    print("THULAC: ",'  '.join(lb))

    text = seg_pku(input)    print("PkuSeg: ", '  '.join(text))    
    print('\r\n')

input:  我没有上上上上海的火车
PaddleNLP 精确模式:  我  没有  上上  上  上海  的  火车

Building prefix dict from the default dictionary ...
Dumping model to file cache /tmp/jieba.cache
Loading model cost 0.776 seconds.
Prefix dict has been built successfully.

PaddleNLP 快速模式:  我  没有  上  上  上  上海  的  火车
PaddleNLP 默认模式:  我  没有  上上  上  上海  的  火车
Jieba 默认模式:  我 没有 上 上 上 上海 的 火车
SnowNLP:  我  没有  上上  上  上海  的  火车
THULAC:  我  没有  上  上  上  上海  的  火车
PkuSeg:  我  没有  上上  上  上海  的  火车


input:  骑车出门差点摔跤，还好我一把把把把住了
PaddleNLP 精确模式:  骑车  出门  差点  摔跤  ，  还好  我  一把  把把  把住  了
PaddleNLP 快速模式:  骑车  出门  差点  摔跤  ，  还好  我  一把  把  把  把住  了
PaddleNLP 默认模式:  骑车  出门  差点  摔跤  ，  还好  我  一把  把  把  把  住  了
Jieba 默认模式:  骑车 出门 差点 摔跤 ， 还好 我 一把 把 把 把住 了
SnowNLP:  骑车  出门  差点  摔跤  ，  还  好  我  一把把  把  把  住  了
THULAC:  骑车  出门  差点  摔跤  ，  还  好  我  一把把  把  把  住  了
PkuSeg:  骑车  出门  差点  摔跤  ，  还好  我  一把把  把  把  住  了


input:  我爸是我爸，我是我爸儿
PaddleNLP 精确模式:  我爸  是  我爸  ，  我  是  我爸  儿
PaddleNLP 快速模式:  我爸  是  我  爸  ，  我  是  我  爸儿
PaddleNLP 默认模式:  我  爸  是  我  爸  ，  我  是  我  爸儿
Jieba 默认模式:  我爸 是 我 爸 ， 我 是 我 爸儿
SnowNLP:  我  爸  是  我  爸  ，  我  是  我  爸儿
THULAC:  我  爸  是  我  爸  ，  我  是  我  爸儿
PkuSeg:  我  爸  是  我  爸  ，  我  是  我  爸儿


input:  灭霸爸爸叭叭叭叭儿的在那叭叭啥呢
PaddleNLP 精确模式:  灭霸  爸爸  叭叭叭叭  儿  的  在  那  叭叭  啥  呢
PaddleNLP 快速模式:  灭霸  爸爸  叭叭  叭叭  儿  的  在  那  叭叭  啥  呢
PaddleNLP 默认模式:  灭霸  爸爸  叭  叭叭叭儿  的  在  那  叭  叭  啥  呢
Jieba 默认模式:  灭霸 爸爸 叭叭 叭叭 儿 的 在 那 叭叭 啥 呢
SnowNLP:  灭  霸  爸爸  叭叭  叭叭  儿  的  在  那叭叭  啥  呢
THULAC:  灭霸  爸爸  叭叭  叭叭儿  的  在  那  叭叭  啥  呢
PkuSeg:  灭霸  爸爸  叭叭  叭叭儿  的  在  那  叭叭  啥  呢


input:  姑姑你估估我鼓鼓的口袋里有多少谷和菇
PaddleNLP 精确模式:  姑姑  你  估估  我  鼓鼓  的  口袋  里  有多少  谷  和  菇
PaddleNLP 快速模式:  姑姑  你  估估  我  鼓鼓的  口袋  里  有  多少  谷和菇
PaddleNLP 默认模式:  姑姑你  估估  我  鼓鼓  的  口袋  里  有  多少  谷  和  菇
Jieba 默认模式:  姑姑 你 估估 我 鼓鼓的 口袋 里 有 多少 谷和菇
SnowNLP:  姑姑  你  估  估  我  鼓鼓  的  口袋  里  有  多少  谷  和菇
THULAC:  姑姑  你  估估  我  鼓鼓  的  口袋  里  有  多少  谷  和  菇
PkuSeg:  姑姑  你  估估  我  鼓鼓的  口袋  里  有  多少  谷  和  菇


input:  胖胖的胖胖不想再胖胖
PaddleNLP 精确模式:  胖胖  的  胖胖  不想  再  胖胖
PaddleNLP 快速模式:  胖胖的  胖胖  不想  再  胖胖
PaddleNLP 默认模式:  胖胖  的  胖胖  不  想  再  胖胖
Jieba 默认模式:  胖胖的 胖胖 不想 再 胖胖
SnowNLP:  胖胖  的  胖胖  不  想  再  胖胖
THULAC:  胖  胖  的  胖  胖  不  想  再  胖  胖
PkuSeg:  胖胖  的  胖胖  不  想  再  胖胖


input:  你知不知道我不知道你知道我是谁
PaddleNLP 精确模式:  你  知不知道  我  不知道  你  知道  我  是谁
PaddleNLP 快速模式:  你  知不知道  我  不  知道  你  知道  我  是  谁
PaddleNLP 默认模式:  你  知不知道  我  不知道  你  知道  我  是  谁
Jieba 默认模式:  你 知不知道 我 不 知道 你 知道 我 是 谁
SnowNLP:  你  知  不  知道  我  不  知道  你  知道  我  是  谁
THULAC:  你  知  不  知道  我  不  知道  你  知道  我  是  谁
PkuSeg:  你  知  不  知道  我  不  知道  你  知道  我  是  谁


input:  我想梦梦梦梦梦过的梦
PaddleNLP 精确模式:  我  想  梦梦梦梦梦  过  的  梦
PaddleNLP 快速模式:  我  想  梦梦  梦  梦梦  过  的  梦
PaddleNLP 默认模式:  我  想  梦梦梦梦  梦过  的  梦
Jieba 默认模式:  我 想 梦梦 梦 梦梦 过 的 梦
SnowNLP:  我  想  梦  梦  梦  梦  梦  过  的  梦
THULAC:  我  想  梦  梦  梦  梦  梦  过  的  梦
PkuSeg:  我  想  梦  梦  梦  梦  梦  过  的  梦


input:  我也想过过过儿过过的生活
PaddleNLP 精确模式:  我  也  想过  过  过  儿  过  过  的  生活
PaddleNLP 快速模式:  我  也  想  过  过  过儿  过过  的  生活
PaddleNLP 默认模式:  我  也  想过  过  过儿  过  过  的  生活
Jieba 默认模式:  我 也 想 过 过 过儿 过过 的 生活
SnowNLP:  我  也  想  过过  过  儿  过  过  的  生活
THULAC:  我  也  想  过  过  过儿  过  过  的  生活
PkuSeg:  我  也  想  过过  过儿  过过  的  生活

以上测试，仅供娱乐。正经测试，可以看下官方给的测试结果。

MSR和Weibo数据集偏通用领域，在通用领域上PaddleNLP的切词效果最优。根据官方文档，PaddleNLP的精确模式对垂类领域的实体粒度切词优势更加明显。

In [6]

# 测试下PaddleNLP能否识别出垂类领域的专有名词test_list = [    '近日国家卫健委发布第九版新型冠状病毒肺炎诊疗方案', 
    '谷爱凌拿下北京冬奥会自由式滑雪决赛冠军',    '美国金融危机另一重要原因是CDS（信用违约掉期）市场过于分散',    '以对冲基金为代表的机构投资者可能出现流动性风险，复杂环节下定价模型失灵造成的操作风险也需要给予一定的重视',    '房利美和房地美两家公司发行了15亿美元的债券融资。']for input in test_list:    print('input: ', input)    print('PaddleNLP 精确模式: ', '  '.join(seg_paddlenlp_accurate(input)))    print('PaddleNLP 快速模式: ', '  '.join(seg_paddlenlp_fast(input)))    print('PaddleNLP 默认模式: ', '  '.join(seg_paddlenlp_default(input)))    print('Jieba 默认模式: ', ' '.join(seg_jieba(input)))    print("SnowNLP: ", '  '.join(seg_snownlp(input).words))

    text = seg_thulac(input)
    lb = [i[0] for i in text]    print("THULAC: ",'  '.join(lb))

    text = seg_pku(input)    print("PkuSeg: ", '  '.join(text))    
    print('\r\n')

input:  近日国家卫健委发布第九版新型冠状病毒肺炎诊疗方案
PaddleNLP 精确模式:  近日  国家卫健委  发布  第九版  新型冠状病毒肺炎  诊疗  方案
PaddleNLP 快速模式:  近日  国家  卫健委  发布  第九版  新型  冠状病毒  肺炎  诊疗  方案
PaddleNLP 默认模式:  近日  国家卫健委  发布  第九版  新型  冠状病毒肺炎  诊疗  方案
Jieba 默认模式:  近日 国家 卫健委 发布 第九版 新型 冠状病毒 肺炎 诊疗 方案
SnowNLP:  近日  国家  卫  健委  发布  第九  版  新型  冠  状  病毒  肺炎  诊疗  方案
THULAC:  近日  国  家  卫健委  发布  第九  版  新型  冠状  病毒  肺炎  诊疗  方案
PkuSeg:  近日  国家  卫健委  发布  第九  版  新型  冠状  病毒  肺炎  诊疗  方案


input:  谷爱凌拿下北京冬奥会自由式滑雪决赛冠军
PaddleNLP 精确模式:  谷爱凌  拿下  北京冬奥会  自由式滑雪  决赛  冠军
PaddleNLP 快速模式:  谷爱凌  拿下  北京  冬奥会  自由式  滑雪  决赛  冠军
PaddleNLP 默认模式:  谷爱凌  拿下  北京冬奥会  自由式  滑雪  决赛  冠军
Jieba 默认模式:  谷爱凌 拿下 北京 冬奥会 自由式 滑雪 决赛 冠军
SnowNLP:  谷  爱  凌  拿下  北京  冬奥会  自由式  滑雪  决赛  冠军
THULAC:  谷爱凌  拿下  北京  冬奥会  自由式  滑雪  决赛  冠军
PkuSeg:  谷爱  凌  拿下  北京  冬奥会  自由式  滑雪  决赛  冠军


input:  美国金融危机另一重要原因是CDS（信用违约掉期）市场过于分散
PaddleNLP 精确模式:  美国  金融危机  另  一  重要  原因  是  CDS  （  信用违约掉期  ）  市场  过于  分散
PaddleNLP 快速模式:  美国  金融危机  另  一  重要  原因  是  CDS  （  信用  违约  掉期  ）  市场  过于  分散
PaddleNLP 默认模式:  美国  金融危机  另  一  重要  原因  是  CDS  （  信用违约掉期  ）  市场  过于  分散
Jieba 默认模式:  美国 金融危机 另 一 重要 原因 是 CDS （ 信用 违约 掉期 ） 市场 过于 分散
SnowNLP:  美国  金融  危机  另  一  重要  原因  是  CDS（  信用  违约  掉期  ）  市场  过于  分散
THULAC:  美国  金融  危机  另  一  重要  原因  是  CDS  （  信用  违约  掉期  ）  市场  过于  分散
PkuSeg:  美国  金融  危机  另  一  重要  原因  是  CDS  （  信用  违约  掉期  ）  市场  过于  分散


input:  以对冲基金为代表的机构投资者可能出现流动性风险，复杂环节下定价模型失灵造成的操作风险也需要给予一定的重视
PaddleNLP 精确模式:  以  对冲基金  为  代表  的  机构投资者  可能  出现  流动性  风险  ，  复杂  环节  下  定价模型  失灵  造成  的  操作  风险  也需要  给予  一定  的  重视
PaddleNLP 快速模式:  以  对冲  基金  为  代表  的  机构  投资者  可能  出现  流动性  风险  ，  复杂  环节  下  定价  模型  失灵  造成  的  操作  风险  也  需要  给予  一定  的  重视
PaddleNLP 默认模式:  以  对冲  基金  为  代表  的  机构投资者  可能  出现  流动性  风险  ，  复杂  环节  下  定价  模型  失灵  造成  的  操作  风险  也  需要  给予  一定  的  重视
Jieba 默认模式:  以 对冲 基金 为 代表 的 机构 投资者 可能 出现 流动性 风险 ， 复杂 环节 下 定价 模型 失灵 造成 的 操作 风险 也 需要 给予 一定 的 重视
SnowNLP:  以  对冲  基金  为  代表  的  机构  投资者  可能  出现  流动性  风险  ，  复杂  环节  下  定价  模型  失灵  造成  的  操作  风险  也  需要  给予  一定  的  重视
THULAC:  以  对冲  基金  为  代表  的  机构  投资者  可能  出现  流动性  风险  ，  复杂  环节  下  定  价  模型  失灵  造成  的  操作  风险  也  需要  给  予  一定  的  重视
PkuSeg:  以  对冲基金  为  代表  的  机构  投资者  可能  出现  流动性  风险  ，  复杂  环节  下  定价  模型  失灵  造成  的  操作  风险  也  需要  给予  一定  的  重视


input:  房利美和房地美两家公司发行了15亿美元的债券融资。
PaddleNLP 精确模式:  房利美  和  房地美  两家  公司  发行  了  15亿美元  的  债券  融资  。
PaddleNLP 快速模式:  房利美  和  房地  美  两家  公司  发行  了  15  亿美元  的  债券  融资  。
PaddleNLP 默认模式:  房利美  和  房地美  两家  公司  发行  了  15亿美元  的  债券  融资  。
Jieba 默认模式:  房利美 和 房地 美 两家 公司 发行 了 15 亿美元 的 债券 融资 。
SnowNLP:  房  利  美  和  房地  美  两  家  公司  发行  了  15  亿  美元  的  债券  融资  。
THULAC:  房利美  和  房地美  两  家  公司  发行  了  15亿  美元  的  债券  融资  。
PkuSeg:  房利美  和  房地美  两  家  公司  发行  了  15亿  美元  的  债券  融资  。

以上就是我也想过过过儿过过的生活，分词工具表示“人类的语言太难了”的详细内容，更多请关注其它相关文章！

# 两家  # 方糖电影网站建设  # rpa小红书seo  # 浙江资讯网站建设是什么  # 重庆找关键词排名  # pythonseo关键词排名  # seo优化域名源码  # 七台河网站网站建设  # 果蔬网站规划建设方案  # 汕尾网站竞价推广收费  # 如何优化网站挣钱的方法  # 掉期  # 工具  # 近日  # 北京  # 上海  # 美国  # 想过  # 我爸  # 我也  # 过过  # cos  # 百度  # ai 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 品道音响上的power键是什么意思  如何为服务器配置静态路由？服务器配置静态路由详细教程  单片机.lib文件怎么打开  夸克高考为什么不靠谱  苹果16有哪些变化尺寸  夸克绑定设备是什么意思  折叠屏手机为什么凉凉  如何管理员打开cmd命令行窗口  ip dhcp是什么意思  j*a中数组怎么传递  夸克网盘下载为什么要钱  系统如何装在固态硬盘  如何区别固态硬盘  燃气热水器上的power是什么意思  广东春运几点抢票  什么叫typescript  360f4怎么取消百变壁纸  手机拍电脑屏幕有条纹怎么解决  台达plc只有power灯亮是什么意思  苹果16有哪些改装模式  typescript书籍哪个好  苹果16系统有哪些功能  基金市盈率是什么意思  光刻机的分类及特点  如何4k对齐固态硬盘  春运哪天抢票最好预约  苹果16改进了哪些  市盈率回落是什么意思  openwrt有哪些功能  单片机怎么进行排序操作  春运抢票哪里最火热  nosql数据库的应用场景有哪些  win10系统如何打开cmd命令  360n7lite怎么设置动态壁纸  单片机怎么连接电路图  夸克用的什么服务器  怎么在typescript定义集合  如何增加固态硬盘  为什么夸克流畅播失败  j*a怎么讲数组打印  单片机加热片怎么制作  j*a怎么复制数组中  如何在命令行执行存储过程  如何安装m.2固态硬盘  typescript怎么加号  跨境电商gmv是什么意思?跨境电商GMV：理解其含义、计算方法和影响因素  manager是什么意思  固态硬盘如何外接  如何查看固态硬盘速度  命令行如何打开文件