首页 > 代码库 > Flume+Morphline+Solr+Hue实时索引调试及问题定位

Flume+Morphline+Solr+Hue实时索引调试及问题定位

Technorati Tags: Solr,Hue,Flume,Morphline,大数据
1.Flume和Morphline添加日志打印

log4j.logger.org.apache.flume.sink.solr=DEBUGlog4j.logger.org.kitesdk.morphline=TRACE

2.在线更新solr collection配置

$ solrctl instancedir --update url_analysis_records url_analysis_configs/$ solrctl collection --reload url_analysis_records

3.删除solr已经有的index文件

<delete><query>*:*</query></delete><commit/>

 

Hue3.10 search(solr)最近调试发现的已知问题:

1.对动态索引不太能识别,尤其是对中文。

2.timeline功能会导致gc时间过长。

3.对中国时区支持不够,选择时间的字段慢8个小时,timeline快8个小时。因此需要专门指定一个Solr索引字段存UTC时间才能正常使用Hue功能。

Flume+Morphline+Solr+Hue实时索引调试及问题定位