jieba与pkuseg在中文分词性能与准确度上，哪者更胜一筹？

本文共计2584个文字，预计阅读时间需要11分钟。

中文分词（Chinese Word Segmentation）是一种将中文语句切分成单个词语的组合的技术。与英文分词不同，中文分词需考虑汉字之间可能存在的意义关联，因为汉字有时并非独立表达意义，而是与相邻字共同构成词语。因此，中文分词相较于英文分词更具挑战性。

中文分词(Chinese Word Segmentation)，将中文语句切割成单独的词组。英文使用空格来分开每个单词的，而中文单独一个汉字跟词有时候完全不是同个含义，因此，中文分词相比英文分词难度高很多。

分词主要用于NLP 自然语言处理（Natural Language Processing），使用场景有：

• 搜索优化，关键词提取（百度指数）
• 语义分析，智能问答系统（客服系统）
• 非结构化文本媒体内容，如社交信息（微博热榜）
• 文本聚类，根据内容生成分类（行业分类）

Python的中文分词

Python的中文分词库有很多，常见的有：

• jieba（结巴分词）
• THULAC（清华大学自然语言处理与社会人文计算实验室）
• pkuseg（北京大学语言计算与机器学习研究组）
• SnowNLP
• pynlpir
• CoreNLP
• pyltp

通常前三个是比较经常见到的，主要在易用性/准确率/性能都还不错。我个人常用的一直都是结巴分词（比较早接触），最近使用pkuseg，两者的使用后面详细讲。