中文分词之类的东西
受朋友之托,写一个小脚本,断断续续做了两天。朋友给的是一堆专业资料,内容枯燥难懂,想要一个"把全文关键词找出来并按重要程度排序"的工具,找不到现成的,就问能不能自己做一个。我也正好借机认识一下中文分词。
一、为什么需要分词
把全文关键词提取出来排序,前提是先把"词"识别出来。中文不像英文有空格天然划分词边界——中国人民银行 是"中国 / 人民 / 银行"还是"中国人民银行",需要分词工具来判断。分词算法本身不是重点,直接用现成的:选型时对比了几个库,最后确定用 jieba(结巴分词),Python/JS 都有实现,社区词表也活跃。
jieba 有三种基础切分模式,值得知道:
| 模式 | 方法 | 特点 |
|---|---|---|
| 精确模式 | jieba.cut(text) | 最常用,试图切出最合理的词,无冗余 |
| 全模式 | jieba.cut(text, cut_all=True) | 把所有成词可能都扫出来,有冗余 |
| 搜索引擎模式 | jieba.cut_for_search(text) | 精确模式基础上,对长词再切分,适合检索 |
二、分词统计并排序(Python 3)
先装依赖(别再写 sudo easy_install 了,那是上古命令):
1 | |
核心脚本 keywords.py:
1 | |
几个关键点:
- 用
jieba.posseg.cut拿"词 + 词性",比单纯cut更适合过滤功能词; - 早期版本用
str(Counter).replace(...)拼字符串模拟 JSON,属于自欺欺人——Python 3 直接用json.dumps即可; len(word) >= 2会过滤掉单字,flag过滤掉虚词,避免统计结果被"的、了、是"淹没;- 统计前建议先看
dict/user.dict是否加载成功(jieba.load_userdict返回True/False),领域词不被切错全靠它。
2.1 如果只要关键词排序
如果目的就是"给出最重要的 N 个词",不必自己统计——jieba 自带 TF-IDF / TextRank:
1 | |
词频统计回答"哪些词出现得多",TF-IDF / TextRank 回答"哪些词最有代表性"——后者通常更贴近"关键词"的直觉。
三、查询指定关键词的频数
分完词之后朋友又提了个需求:能不能查指定的词出现了多少次。这部分用 Node 写个独立小程序更顺手——它只读 JSON,不参与分词:
1 | |
四、自动化脚本
两种语言混用,手动一步步跑太麻烦,用 main.sh 串起来:
1 | |
早期版本的脚本里
echo "-----...少了一个配对的引号,一执行到这行就报unexpected EOF——写 shell 时先bash -n main.sh做语法检查能省不少事。
使用方法
- 把要处理的文本放到当前目录并重命名为
源文件.txt,按第二节初始化虚拟环境、pip install jieba; - 执行
python keywords.py生成keywords.json,中途可以在search.js的KEYWORDS数组里填好要查的词; - 执行
node search.js,结果写入keywords_count.txt; - 或者直接
./main.sh(先chmod +x main.sh)一键跑完。
五、编码与繁体这两件麻烦事
5.1 GBK → UTF-8
网上下载的老文本,尤其是 Windows 上生成的,多半是 GBK/GB18030,直接读就是乱码。转换脚本:
1 | |
5.2 繁体资料
朋友给的是繁体语料。jieba 的默认词典以简体为主,兼容繁体有两条路:
- 先转简:用 OpenCC 做
t2s(繁→简)转换后再分词,语义损失最小;1
2
3# pip install opencc-python-reimplemented
from opencc import OpenCC
text = OpenCC("t2s").convert(text) - 加载繁体词表:把
dict.txt.big当用户词典加载(jieba.load_userdict("dict.txt.big")),让繁体词直接进词库——早期就是走的这条路。
六、专业词库从哪来:搜狗 scel 词库
新闻、医学、法律这类领域词,默认词库覆盖不足。搜狗输入法的「细胞词库」是公开的词库资源,格式为二进制 .scel,需要转成文本再喂给 jieba:
- scel2txt——通用 scel 转 txt;
- scel2mmseg——转成 mmseg 格式,可作为分词词典;
- emoji-scel2txt——颜文字词库导出;
- scel2pyim——转成 Emacs chinese-pyim 词库;
- 更早的 sogou_hotwords_yong/scel2txt——当年就是从这里找到 scel 二进制解析思路的,代码是 Python 2 时代的写法,用/Python 3 跑需要小幅改造。
.scel 的结构大致是「全局拼音表 + 词组表」,词组表项为 (同音词数、拼音索引表、词长度、词字节、扩展信息(含词频)),网上有详细注释。不过解析器属于一次性工具,维护成本高,优先用现成项目即可。
七、Node 版分词:nodejieba
如果想全链路留在 Node(或者前端直接跑),可以用 nodejieba:
1 | |
要注意:nodejieba 是原生模块(C++ 编译),升级 Node 后可能没有对应的 prebuild,需要本地编译。如果只是要"关键词排序"这种简单需求,Python 侧 jieba.analyse 更稳;Node 版留给确实需要前端/Node 全链路的场景。
八、参考资料
- jieba(GitHub) ——
cut/posseg/jieba.analyse; - Python
collections.Counter文档 —— 词频统计; - Python
json文档 ——ensure_ascii与 JSON 写出; - TF-IDF、TextRank 原始论文(ACL Anthology);
- OpenCC / opencc-python-reimplemented(PyPI) —— 繁简转换;
- GB18030(Wikipedia) —— 老文本兼容编码;
- nodejieba —— Node 侧分词;
- scel2txt / scel2mmseg —— 搜狗 scel 词库转换。
九、小结
整个小工具链其实就三步:
1 | |
用到的库按职责记:jieba(分词与关键词)、collections.Counter(词频统计)、opencc(繁简转换)、gb18030(兼容 GBK 的读入编码)、nodejieba(Node 侧取词)。工具选型的核心无非两条:分词交给 jieba,其余都是 Python/Node 标准库能解决的小事。
