首页 > 代码库 > 分词研究中的最小描述长度(Minimum description length)方法

分词研究中的最小描述长度(Minimum description length)方法

2024-07-03 18:22:29   224人阅读

         MDL(minimum description length,最小描述长度) 原理是 Rissane 在研究通用编码时提出的。其基本原理是对于一组给定的实例数据 D ， 如果要对其进行保存 ，为了节省存储空间， 一般采用某种模型对其进行编码压缩，然后再保存压缩后的数据。同时， 为了以后正确恢复这些实例数据，将所用的模型也保存起来。所以需要保存的数据长度( 比特数) 等于这些实例数据进行编码压缩后的长度加上保存模型所需的数据长度，将该数据长度称为总描述长度。最小描述长度( MDL) 原理就是要求选择总描述长度最小的模型。

          最小描述长度在分词中的应用也比较直接，就是将分词视为一种编码方式，如一个字符串，”iloveyou“ ，总共8个符号，就是对应的8个字母，经过分词后就是“i love you”，就只有3个符号，就是3个单词，这样总长度变小了，但是需要额外的信息来记录单词的信息，也就是模型。因此需要的总的长度不一定变小。

         最小描述长度具体应用的分词中的计算方式，见paper “Shlomo Argamon, Navot Akiva, Amihood Amir, and Oren Kapah. Efficient unsupervised word segmentation using minimum description length. In Coling 2004, 2004.”
          
        其基本公式为：     
        CODE(Data|L) + CODE(L)
其中L是词典，Data是语料

CODE函数表示描述数据需要的最小位数
两个部分中，
CODE(L)就是描述词典所需的信息，也就是记录模型需要信息：
CODE(L) = b*sum(length(w))
其中b表示描述字母集所需要的位数，如2个字母，需要的位数就是1bit，4个就是2bits，依次类推
w表示词典中词的长度 

CODE(Data|L)为分词后的语料，记录这样的语料需要的信息：
CODE(Data|L) = -sum[ C(w) * ( log(C(w))-  log(N) )  ]
其中C(w)为语料中词w的出现的次数，N为语料的包含总的词数。
如语料为：Data =http://www.mamicode.com/ w3w1 w5 w2w2 w3
则语料共有6个词，其中w3的数量为2，w1为1...
这个里面的log应该是以2为底的

举一个简单的例子，两行已经分好词的语料：
a b
ab a ba

字典部分：
共有两个字符，则b=1，即为用一个bit就可以表示a，b两个字母了
共有4个词，a,b,ab,ba
其长度和为1+1+2+2 = 6
则CODE(L)部分的值为1*6 = 6

分词后的语料部分：
语料长度为5个词，则N=5
其中：
a出现2次，则对应的值为2*( log(2)-log(5) ) = -2.64
b,ab,ba均出现1次，对应的值均为1*( log(1)-log(5) ) =-2.32

则CODE(Data|L) ，也就是语料部分的值为 ：
-1*(-2.64 -2.32-2.32-2.32 ) = 9.61

则该词语料的总的描述长度 mdl=6+9.61 = 15.61

    这个数组其实是描述这个分词方法和对应语料需要的总的信息量。对其取2为底的对数，则值为log2(15.61)=3.9，也就是编码这个分词后的数据，需要的最小2进制位数是4位。
    相应的，我们可以计算一下，不经分词，就是只用字母来表示这个语料，需要的信息量约为8.8966，显然，这样的分词方式是得不偿失的，当然，如果词出现很多，分词后记录语料的信息量会是少的。

对应的python代码如下，其中输入文件为分词好的语料，词直接用空格隔开，一行一个句子

#!/usr/bin/env python
#coding=utf-8
import sys 
import math
reload(sys)
sys.setdefaultencoding(‘utf-8‘)

#MDL，(minimum description length),最小描述长度
#输入，分好词的文件，格式为 词 空格 词 空格...
word_dict = {}

#加载语料，统计词和词频，用于后续的处理
def load_corpus(word_seq_file_name):
    data_file = open(word_seq_file_name, "r")
    for line in data_file:
        line = line.strip()
        word_list = line.split(" ")
        for word in word_list:
            word_dict.setdefault(word,float(0))
            word_dict[word] += 1
    return 0

#获得字母的描述长度值
#目前只处理单字节的字母
def get_letter_info():
    letter_dict = {}
    #统计letter
    for word in word_dict:
        for letter in word:
            letter_dict.setdefault(letter, 0)
            letter_dict[letter] += 1
    
    #计算字母的描述长度
    letter_num = float(len(letter_dict))
    letter_info = math.log(letter_num, 2)

    return letter_info

#获得词典的词的总长度
def get_dict_info():
    word_length_sum = 0
    for word in word_dict:
        word_length_sum += len(word)

    return word_length_sum

#获得单词序列的描述长度
def get_word_seq_info():
    word_info_sum = 0
    freq_sum = sum(word_dict.itervalues()) #所有词的词频
    for word in word_dict:
        word_freq = word_dict[word]
        word_info = word_freq * ( math.log(word_freq, 2) - math.log(freq_sum, 2) )
        word_info_sum += word_info
    
    word_seq_info = -1*word_info_sum
    return word_seq_info

#获得最终的mdl
def get_mdl():
    letter_info = get_letter_info()
    dict_info = get_dict_info()
    word_seq_info = get_word_seq_info()
    mdl = letter_info*dict_info + word_seq_info
    return mdl

if __name__=="__main__":
    if len(sys.argv)!=2:
        print "please input word corpus filename"
        sys.exit()
    load_corpus(sys.argv[1])
    print get_mdl()

数据文件例子：

a b
ab a ba

处理这个文件，获得的值得应该是
15.61


联系
我们