中文分词之类的东西

受朋友之托,写一个小脚本,断断续续做了两天。朋友给的是一堆专业资料,内容枯燥难懂,想要一个"把全文关键词找出来并按重要程度排序"的工具,找不到现成的,就问能不能自己做一个。我也正好借机认识一下中文分词。

一、为什么需要分词

把全文关键词提取出来排序,前提是先把"词"识别出来。中文不像英文有空格天然划分词边界——中国人民银行 是"中国 / 人民 / 银行"还是"中国人民银行",需要分词工具来判断。分词算法本身不是重点,直接用现成的:选型时对比了几个库,最后确定用 jieba(结巴分词),Python/JS 都有实现,社区词表也活跃。

jieba 有三种基础切分模式,值得知道:

模式方法特点
精确模式jieba.cut(text)最常用,试图切出最合理的词,无冗余
全模式jieba.cut(text, cut_all=True)把所有成词可能都扫出来,有冗余
搜索引擎模式jieba.cut_for_search(text)精确模式基础上,对长词再切分,适合检索

二、分词统计并排序(Python 3)

先装依赖(别再写 sudo easy_install 了,那是上古命令):

1
2
3
python3 -m venv .venv
source .venv/bin/activate
pip install jieba

核心脚本 keywords.py:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""读取全文,用 jieba 分词后统计词频,输出 JSON。"""

import json
from collections import Counter
from pathlib import Path

import jieba
import jieba.posseg as pseg

INPUT = Path("源文件.txt")
OUTPUT = Path("keywords.json")
USER_DICT = Path("dict/user.dict")

# 领域词表:每行格式为「词 [词频] [词性]」,例如:
# 结巴分词 5 n
if USER_DICT.exists():
jieba.load_userdict(str(USER_DICT))

text = INPUT.read_text(encoding="utf-8")

# 跳过标点、助词、介词、代词等无实义内容,只保留长度 >= 2 的词
STOP_FLAGS = {"x", "p", "uj", "ul", "c", "u", "r", "d", "m", "q", "t"}
words = [
word
for word, flag in pseg.cut(text)
if flag not in STOP_FLAGS
and len(word) >= 2
and not word.strip().isdigit()
]

counter = Counter(words)

# dict(most_common()) 会保留排序;ensure_ascii=False 保证中文原样写入
OUTPUT.write_text(
json.dumps(dict(counter.most_common()), ensure_ascii=False, indent=2),
encoding="utf-8",
)
print(f"共 {len(counter)} 个候选词,已写入 {OUTPUT}")

几个关键点:

  • 用 jieba.posseg.cut 拿"词 + 词性",比单纯 cut 更适合过滤功能词;
  • 早期版本用 str(Counter).replace(...) 拼字符串模拟 JSON,属于自欺欺人——Python 3 直接用 json.dumps 即可;
  • len(word) >= 2 会过滤掉单字,flag 过滤掉虚词,避免统计结果被"的、了、是"淹没;
  • 统计前建议先看 dict/user.dict 是否加载成功(jieba.load_userdict 返回 True/False),领域词不被切错全靠它。

2.1 如果只要关键词排序

如果目的就是"给出最重要的 N 个词",不必自己统计——jieba 自带 TF-IDF / TextRank:

1
2
3
4
5
6
7
8
9
10
import jieba.analyse

# 可选:指定停用词表
# jieba.analyse.set_stop_words("stopwords.txt")

for word, weight in jieba.analyse.extract_tags(text, topK=50, withWeight=True):
print(word, weight)

# 换成 TextRank:
# jieba.analyse.textrank(text, topK=50, withWeight=True)

词频统计回答"哪些词出现得多",TF-IDF / TextRank 回答"哪些词最有代表性"——后者通常更贴近"关键词"的直觉。

三、查询指定关键词的频数

分完词之后朋友又提了个需求:能不能查指定的词出现了多少次。这部分用 Node 写个独立小程序更顺手——它只读 JSON,不参与分词:

1
2
3
4
5
6
7
8
9
10
11
// search.js:从 keywords.json 查指定关键词
const fs = require('fs');

// 想查的关键词写在这里
const KEYWORDS = ['本行', '人民币'];

const counts = JSON.parse(fs.readFileSync('./keywords.json', 'utf8'));

const lines = KEYWORDS.map((word) => `${word}: ${counts[word] ?? 0}`);
console.log(lines.join('\n'));
fs.writeFileSync('./keywords_count.txt', lines.join('\n'), 'utf8');

四、自动化脚本

两种语言混用,手动一步步跑太麻烦,用 main.sh 串起来:

1
2
3
4
5
6
7
8
9
#!/usr/bin/env bash
set -euo pipefail

python keywords.py
echo "---------------- 关键词统计 ----------------"
node search.js
echo "--------------------------------------------"
echo "全量词频: keywords.json"
echo "关键词统计: keywords_count.txt"

早期版本的脚本里 echo "-----... 少了一个配对的引号,一执行到这行就报 unexpected EOF——写 shell 时先 bash -n main.sh 做语法检查能省不少事。

使用方法

  1. 把要处理的文本放到当前目录并重命名为 源文件.txt,按第二节初始化虚拟环境、pip install jieba;
  2. 执行 python keywords.py 生成 keywords.json,中途可以在 search.js 的 KEYWORDS 数组里填好要查的词;
  3. 执行 node search.js,结果写入 keywords_count.txt;
  4. 或者直接 ./main.sh(先 chmod +x main.sh)一键跑完。

五、编码与繁体这两件麻烦事

5.1 GBK → UTF-8

网上下载的老文本,尤其是 Windows 上生成的,多半是 GBK/GB18030,直接读就是乱码。转换脚本:

1
2
3
4
5
6
7
8
9
# gbk2utf8.py
from pathlib import Path

def convert(src: str, dst: str, src_encoding: str = "gb18030") -> None:
"""gb18030 是 GBK 的超集,兼容性最好。"""
text = Path(src).read_text(encoding=src_encoding)
Path(dst).write_text(text, encoding="utf-8")

convert("./in.txt", "./out.txt")

5.2 繁体资料

朋友给的是繁体语料。jieba 的默认词典以简体为主,兼容繁体有两条路:

  1. 先转简:用 OpenCC 做 t2s(繁→简)转换后再分词,语义损失最小;
    1
    2
    3
    # pip install opencc-python-reimplemented
    from opencc import OpenCC
    text = OpenCC("t2s").convert(text)
  2. 加载繁体词表:把 dict.txt.big 当用户词典加载(jieba.load_userdict("dict.txt.big")),让繁体词直接进词库——早期就是走的这条路。

六、专业词库从哪来:搜狗 scel 词库

新闻、医学、法律这类领域词,默认词库覆盖不足。搜狗输入法的「细胞词库」是公开的词库资源,格式为二进制 .scel,需要转成文本再喂给 jieba:

  • scel2txt——通用 scel 转 txt;
  • scel2mmseg——转成 mmseg 格式,可作为分词词典;
  • emoji-scel2txt——颜文字词库导出;
  • scel2pyim——转成 Emacs chinese-pyim 词库;
  • 更早的 sogou_hotwords_yong/scel2txt——当年就是从这里找到 scel 二进制解析思路的,代码是 Python 2 时代的写法,用/Python 3 跑需要小幅改造。

.scel 的结构大致是「全局拼音表 + 词组表」,词组表项为 (同音词数、拼音索引表、词长度、词字节、扩展信息(含词频)),网上有详细注释。不过解析器属于一次性工具,维护成本高,优先用现成项目即可。

七、Node 版分词:nodejieba

如果想全链路留在 Node(或者前端直接跑),可以用 nodejieba:

1
2
3
4
5
6
7
8
9
10
11
12
const fs = require('fs');
const nodejieba = require('nodejieba');

nodejieba.load({ userDict: './dict.utf8' });

const text = fs.readFileSync('./源文件.txt', 'utf8');

// extract(text, topK):TF-IDF / TextRank 关键词提取,返回 [{ word, weight, tag }]
const result = nodejieba.extract(text, 100);
for (const item of result) {
console.log(item.word, item.weight, item.tag);
}

要注意:nodejieba 是原生模块(C++ 编译),升级 Node 后可能没有对应的 prebuild,需要本地编译。如果只是要"关键词排序"这种简单需求,Python 侧 jieba.analyse 更稳;Node 版留给确实需要前端/Node 全链路的场景。

八、参考资料

  1. jieba(GitHub) —— cut / posseg / jieba.analyse;
  2. Python collections.Counter 文档 —— 词频统计;
  3. Python json 文档 —— ensure_ascii 与 JSON 写出;
  4. TF-IDF、TextRank 原始论文(ACL Anthology);
  5. OpenCC / opencc-python-reimplemented(PyPI) —— 繁简转换;
  6. GB18030(Wikipedia) —— 老文本兼容编码;
  7. nodejieba —— Node 侧分词;
  8. scel2txt / scel2mmseg —— 搜狗 scel 词库转换。

九、小结

整个小工具链其实就三步:

1
2
3
源文件.txt ──> jieba 分词 + 词性过滤 ──> Counter/TF-IDF 排序 ──> keywords.json
│
search.js 查指定词 ────────┘

用到的库按职责记:jieba(分词与关键词)、collections.Counter(词频统计)、opencc(繁简转换)、gb18030(兼容 GBK 的读入编码)、nodejieba(Node 侧取词)。工具选型的核心无非两条:分词交给 jieba,其余都是 Python/Node 标准库能解决的小事。


中文分词之类的东西
https://bubao.github.io/posts/5058e8e9.html
作者
一念
发布于
2017年7月13日
许可协议