首页 > 代码库 > 大v用户数据统计分析

大v用户数据统计分析

1,统计数据的基本情况,包括微博总数,用户总数,最活跃和最不活跃的用户id

#!/bin/sh
source_dir=/home/minelab/data/DATA
source_file_name=userinfo_00_au_1_out
source_file=$source_dir/$source_file_name
#source_file=test.src
out_dir=/home/minelab/liweibo/daV

out_file_name=basic_satic.txt
out_file=$out_dir/result/$out_file_name

out_id_file_name=id_count.list
out_id_file=$out_dir/result/$out_id_file_name

rm -rf $out_file
rm -rf $out_id_file
##进行大v用户基础数据统计###
#统计所有微博总数#
echo "#微博总数:">>$out_file
cat $source_file | wc -l >> $out_file
#统计用户总数,发布微博最多的用户和最少的用户#
cat $source_file | awk -F\t {print $16} | sort | uniq -c | sort -r -n | sed s/^ *//g | awk {print $2"\
\t"$1}‘> $out_id_file
echo "#用户总数:">> $out_file
wc -l $out_id_file | awk {print $1}>> $out_file
#统计发布微博最多的用户#
echo "#发布微博最多的用户id:">>$out_file
head -n 1 $out_id_file >> $out_file
#统计发布微博最少的用户#
echo "#发布微博最少的用户id:">>$out_file
tail -n 1 $out_id_file >> $out_file
大v用户基本统计脚本