首页 > 代码库 > trie树信息抽取之中文数字抽取
trie树信息抽取之中文数字抽取
这一章讲一下利用trie树对中文数字抽取的算法。trie树是一个非常有用的数据结构，可以应用于大部分文本信息抽取/转换之中，后续会开一个系列，对我在实践中摸索出来的各种抽取算法讲开来。比如中文时间抽取，地址抽取等。
Trie树
trie树又称为前缀树，索引树，字典树。用来对字符串进行索引，每个节点存储一个字符，每个叶子节点代表一个字符串，即从根到它的路径上所有字符的序列。
这个结构有什么优点呢？可以快速的匹配一个目标字符串中存在的单词。换句话说，我有一个字典，是单词的集合，我把字典中所有的单词存储在trie树中，然后来一句话，我们可以利用trie树（字典树）快速的匹配出这句话中出现的字典中的所有单词，以及每个单词的位置。快速的意思是，复杂度近似于$O(L)$，其中$L$为这句话的长度，其速度不因字典的增大而降低。具体的匹配算法可以问百爷和姑爷，哦不，谷爷。
很多采用字典进行分词的分词器，都是用trie树进行分词的，比如IK分词。
利用trie树进行信息抽取，还有一个优点就是。逻辑非常清晰，非常方便扩展，大大降低了代码的复杂度和代码量，甚至后续扩展功能可以完全不用改动代码只需修改配置文件（字典）即可。
本章和后续章节中，我们用到的是扩展了的trie树，其叶子节点存储了相应数据，而且实现了无交叉的最大长度抽取器（分词器）以应对具体的业务。
中文数字抽取/转换
所谓中文数字的抽取/转换，就是下表：
| 原字符串 | 抽取/转换后 |
| 一千二百零8吨大米和三十袋盐 | 1208吨大米和30袋盐 |
| 第一二五分队 | 第125分队 |
| 二百1十五个苹果 | 215个苹果 |
| 。。。 | 。。。 |
名虽为中文数字抽取，其实对所有其它语言也完全适用，所做的只是修改配置文件即可。
下面介绍算法主要步骤：
1、trie树内容。
首先，我们要对汉字数字【零～十】这十一个字进行匹配，所以把这11个字插入trie树中，节点存储对应的数字；
然后，我们要对阿拉伯数字【0～9】这十个字进行匹配，所以把这10个字插入trie树，节点存储对应的数字；
以上是数字插入，共插入21个字。下面是带单位插入。
我们要对汉字的单位【十，百，千，万，亿，...】进行匹配，所以把这这5个单位的数字插入trie树中，对应节点值分别为【10，100，1000，10000，100000000，...】。
从1到9，组合上述的数字和这5个单位，共$(9+9)\times 5=120$个字：
| 插入词 | 节点存储 |
| 一千～九千 | 1000～9000 |
| 1千～9千 | 1000～9000 |
| 一万～九万 | 10000～90000 |
| 。。。 | 。。。 |
当然，若要对记账的大写字进行匹配，同样方法插入即可。
以上总共插入141个词以及附带数据，插入完毕。插入代码示例如下：
String[] hanzi = new String[] { "零", "一", "二", "三", "四", "五", "六", "七", "八", "九", "十" }; Map<String, Integer> unitMap = new HashMap<String, Integer>() { private static final long serialVersionUID = 1738199399754758349L; { put("十", 10); put("千", 1000); put("百", 100); put("万", 10000); } }; for (Entry<String, Integer> entry : unitMap.entrySet()) { for (int i = 1; i < 10; i++) { Integer num = i * entry.getValue(); numTrie.fillWithData(hanzi[i] + entry.getKey(), num); numTrie.fillWithData(i + entry.getKey(), num); } } for (int i = 0; i < hanzi.length; i++) { numTrie.fillWithData(hanzi[i], i); } 上面代码只是示例，实际中可以把插入内容配置在文件中，启动时读取配置文件即可。以后扩展可以直接修改配置文件。
2、数字抽取/转换
第一步生成好了字典，打好了内功，这一步开始施展，拉出去遛一下，实现数字的抽取与转换。
现在以【一千二百零8吨大米】为例说明，首先利用上述字典匹配出的单词为：
| 单词 | 绑定数据 | 位置 |
| 一千 | 1000 | 0~2 |
| 二百 | 200 | 2~4 |
| 零 | 0 | 4~5 |
| 8 | 8 | 5~6 |
首先要区分数字边界，因为一句话中可能含有多个数字串。现在筛选来的都是兄弟，哦不，数字。这5个单词的位置首尾相连，可以融合成一个数字。
下面要做的就是，把绑定的数字全部加起来即可。$1000+200+0+8=1208$。OK，一个数字被我们抽取出来了，附带在原句子中的位置为0~6。
上面只是抽取出来的简单例子。实际中我们可能还要处理其它的格式，比如例子中的【第一二五分队】，我们所要出来的是【第125分队】，而按上述做法，出来的却是【第8分队】，非我所求。分析这类句子，我们发现这个数字字符串的每个元素都是个位（<10），若出现这种情况，我们不直接相加，而是直接显示其绑定数据的文本，然后拼接起来即可。
到此为止，已经把核心思想将清楚了。同志们会发现这个算法可扩展性非常强，稍微修改一下就可满足非常复杂的需求。下面附上相关的示例代码。
单词匹配：
Segmenter<Integer> segmenter = new Segmenter<Integer>(numTrie); TranslateProcessor processor=new TranslateProcessor(); segmenter.segment(str, processor); return processor.getResult();
str为待抽取的句子，segmenter为分词器，抽取出来无交叉的最大长度单词，每抽取出来一个单词，调取TranslateProcessor进行处理，处理完毕后processor.getResult()可以获取转换后的结果。下面是TranslateProcessor的具体实现，算法的核心在这里：
private static class TranslateProcessor implements LexemeProcessor<Integer> { String strResult = ""; int numEndOffset = -1; int currentNum = 0; List<Integer> intResult=new ArrayList<Integer>(); public String getResult() { return strResult; } @Override public void processLexeme(Lexeme<Integer> lex) { // 没有匹配到数字 if (lex.getNodeData() == null) { // 若前面已经抽取出数字，数字加入结果，清空状态 if (numEndOffset > -1) { strResult += currentNum; intResult.add(currentNum); numEndOffset = -1; currentNum = 0; } strResult += lex.getLexemeText(); return; } // 数字匹配，并且紧邻，则进行合并，若上一个是个位数，不合并 if (lex.getBeginPosition() == numEndOffset) { if (currentNum < 10) { strResult += currentNum; currentNum = 0; } currentNum += lex.getNodeData(); numEndOffset = lex.getEndPosition(); return; } currentNum = lex.getNodeData(); numEndOffset = lex.getEndPosition(); } }整个算法代码加起来不到100行。
trie树信息抽取之中文数字抽取