首页 > 代码库 > 集思广益,有个几百万关键字的数组的文本匹配的算法

集思广益,有个几百万关键字的数组的文本匹配的算法

关键字 都是放在一个数组中的,譬如$keyword_arr=["key1","key2","example",......],大约有几百万甚至上千万的关键字,这些关键字已经按照优先级从前到后排列了,越靠前的关键字优先匹配,匹配的最多次数是$max次;目前采用for循环$keyword_arr数组,然后将关键字组装成‘/\\b(?:‘.$value.‘)\\b/i‘;正则来匹配文本内容$text;如果已经匹配了$max次了,就停止匹配。

 

   这个算法肯定是最低效的,大家有好的建议可以提出来,主要问题是关键字优先级有点麻烦

 

 

  php: 目前采用正则匹配:

            foreach ($keyword_arr as $key=>$value) {
                $pattern = ‘/\\b(?:‘.$value.‘)\\b/i‘;
                preg_match($pattern, $text, $match, PREG_OFFSET_CAPTURE);
                if ($match && trim($match[0][0]) != ‘‘ && !in_array(strtolower($match[0][0]), $match_keyword_arr)) {
                    $match_keyword_arr[] = strtolower($match[0][0]);
                    $count ++;
                    if ($count >= $max) {
                        break;
                    }
            }