首页 > 代码库 > 大数据处理的一些思想

大数据处理的一些思想

一:大数组转存到文件里,可以考虑逐行写入,并配合多进程来写入

/* * 参    数:$file 字符串	文件名 *			 $key	字符串	数组键名 *			 $value	字符串	数组键值 *			 $step 字符串	当前程序步骤,只有三个值:初始化init/执行中doing/完成done * 功    能:一维数组大数据量写入php文件时,为了避免过多的占用内存,使用追加的方式写入 * 作    者:yishuguang */function appendArrayToFile($file, $key = ‘‘, $value = http://www.mamicode.com/‘‘, $step = ‘init‘) {"\n", LOCK_EX);		return true;	}		//文件追加	if($step == ‘doing‘) {		if(!isset($rows[$md5String])) $rows[$md5String] = array();		if($key != ‘‘ || $value != ‘‘) {			$rows[$md5String][] = "\t‘".addslashes($key)."‘=>‘".addslashes($value)."‘,\n";		}	}	//符合一定的条件,数据写入文件	if(count($rows[$md5String]) > ARRAY_TO_PHP_APPEND_ROW_LIMIT || $step == ‘done‘) {		file_put_contents($file, implode(‘‘, $rows[$md5String]), FILE_APPEND);		unset($rows[$md5String]);	}	if($step == ‘done‘) {		file_put_contents($file, ");", FILE_APPEND);	}		return true;}

使用方法:
$fileUnionLo = FILE_DIR.‘/unionLo.php‘;
appendArrayToFile($fileUnionLo, ‘‘, ‘‘, ‘init‘);
foreach($tempUsers as $uid => $url) { //$tempUsers是个很大的数组
    if(is_array($url)) {
        foreach($url as $innerUrl) {
            appendArrayToFile($fileUnionLo, $innerUrl, $uid, ‘doing‘);
        }
    } else {
        appendArrayToFile($fileUnionLo, $url, $uid, ‘doing‘);
    }
}
appendArrayToFile($fileUnionLo, ‘‘, ‘‘, ‘done‘);

 

二:抓取数据的时候利用curl开启多个进程抓取

//批量处理所有的分页请求$handles = array();$multiHandle = curl_multi_init();for($i = 1; $i < $totalPage; $i++) {	$url = URL_JIFEN_USER.$i;	$handle = curl_init($url);	curl_setopt($handle, CURLOPT_URL, $url);	curl_setopt($handle, CURLOPT_HEADER, 0);	curl_setopt($handle, CURLOPT_RETURNTRANSFER, 1);	curl_multi_add_handle($multiHandle, $handle);	$handles[$i] = $handle;}$runing = 0;do {	$flag = curl_multi_exec($multiHandle, $runing);} while($flag === CURLM_CALL_MULTI_PERFORM || $runing > 0);//获取数据$jsons = array();$errorUrls = array();foreach($handles as $page => $handle) {	$httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);	//返回状态码为200表示请求正常完成	if($httpCode == 200) {		$jsons[$page] = curl_multi_getcontent($handle);	} else {		$errorUrls[] = str_replace(‘HTTP://‘, ‘http://‘, curl_getinfo($handle, CURLINFO_EFFECTIVE_URL));	}	curl_multi_remove_handle($multiHandle, $handle);}curl_multi_close($multiHandle);

 

大数据处理的一些思想