首页 > 代码库 > 大数据处理的一些思想
大数据处理的一些思想
一:大数组转存到文件里,可以考虑逐行写入,并配合多进程来写入
/* * 参 数:$file 字符串 文件名 * $key 字符串 数组键名 * $value 字符串 数组键值 * $step 字符串 当前程序步骤,只有三个值:初始化init/执行中doing/完成done * 功 能:一维数组大数据量写入php文件时,为了避免过多的占用内存,使用追加的方式写入 * 作 者:yishuguang */function appendArrayToFile($file, $key = ‘‘, $value = http://www.mamicode.com/‘‘, $step = ‘init‘) {"\n", LOCK_EX); return true; } //文件追加 if($step == ‘doing‘) { if(!isset($rows[$md5String])) $rows[$md5String] = array(); if($key != ‘‘ || $value != ‘‘) { $rows[$md5String][] = "\t‘".addslashes($key)."‘=>‘".addslashes($value)."‘,\n"; } } //符合一定的条件,数据写入文件 if(count($rows[$md5String]) > ARRAY_TO_PHP_APPEND_ROW_LIMIT || $step == ‘done‘) { file_put_contents($file, implode(‘‘, $rows[$md5String]), FILE_APPEND); unset($rows[$md5String]); } if($step == ‘done‘) { file_put_contents($file, ");", FILE_APPEND); } return true;}
使用方法:
$fileUnionLo = FILE_DIR.‘/unionLo.php‘;
appendArrayToFile($fileUnionLo, ‘‘, ‘‘, ‘init‘);
foreach($tempUsers as $uid => $url) { //$tempUsers是个很大的数组
if(is_array($url)) {
foreach($url as $innerUrl) {
appendArrayToFile($fileUnionLo, $innerUrl, $uid, ‘doing‘);
}
} else {
appendArrayToFile($fileUnionLo, $url, $uid, ‘doing‘);
}
}
appendArrayToFile($fileUnionLo, ‘‘, ‘‘, ‘done‘);
二:抓取数据的时候利用curl开启多个进程抓取
//批量处理所有的分页请求$handles = array();$multiHandle = curl_multi_init();for($i = 1; $i < $totalPage; $i++) { $url = URL_JIFEN_USER.$i; $handle = curl_init($url); curl_setopt($handle, CURLOPT_URL, $url); curl_setopt($handle, CURLOPT_HEADER, 0); curl_setopt($handle, CURLOPT_RETURNTRANSFER, 1); curl_multi_add_handle($multiHandle, $handle); $handles[$i] = $handle;}$runing = 0;do { $flag = curl_multi_exec($multiHandle, $runing);} while($flag === CURLM_CALL_MULTI_PERFORM || $runing > 0);//获取数据$jsons = array();$errorUrls = array();foreach($handles as $page => $handle) { $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE); //返回状态码为200表示请求正常完成 if($httpCode == 200) { $jsons[$page] = curl_multi_getcontent($handle); } else { $errorUrls[] = str_replace(‘HTTP://‘, ‘http://‘, curl_getinfo($handle, CURLINFO_EFFECTIVE_URL)); } curl_multi_remove_handle($multiHandle, $handle);}curl_multi_close($multiHandle);
大数据处理的一些思想
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。