首页 > 代码库 > php操作大文件

php操作大文件

2024-08-09 23:02:54   219人阅读

看了 http://hi.baidu.com/qiaoyuetian/item/76c51f0ce25030e4f45ba69e（php读取大文件详解），然后测试了里边的代码，发现一些错误，

总结，红色部分标注了修改，觉得还是用fseek中的第二种方法常用。

一个把操作文件函数解释的非常详细的博客：https://www.ibm.com/developerworks/cn/opensource/os-php-readfiles/ （好好看看）

 

需求如下：  现有一个1G左右的日志文件,大约有500多万行， 用php返回最后几行的内容。

1. 直接采用file函数来操作

注：由于 file函数是一次性将所有内容读入内存，而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足，使服务器出现宕机，所以默认情况下 限制只能最大使用内存16M,这是通过php.ini里的memory_limit = 16M来进行设置，这个值如果设置-1，则内存使用量不受限制.

//整个代码执行完成耗时 116.9613 (s).
$fp = fopen($file, "r");$num = 10;$chunk = 4096;$fs = sprintf("%u", filesize($file));$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);for ($len = 0; $len < $max; $len += $chunk) {  $seekSize = ($max - $len &gt; $chunk) ? $chunk : $max - $len;    fseek($fp, ($len + $seekSize) * -1, SEEK_END);    $readData = fread($fp, $seekSize) . $readData;    if (substr_count($readData, "\n") &gt;= $num + 1) {        preg_match("!(.*?\n){".($num)."}$!", $readData, $match);        $data = $match[0];        break;    }}fclose($fp);echo $data;

我机器是2个G的内存，当按下F5运行时，系统直接变灰，差不多20分钟后才恢复过来，可见将这么大的文件全部直接读入内存，后果是多少严重，所以不在万不得以，memory_limit这东西不能调得太高，否则只有打电话给机房，让reset机器了。

 

2.直接调用linux的tail命令来显示最后几行：

//整个代码执行完成耗时 0.0034 (s)file = ‘access.log‘;$file = escapeshellarg($file); // 对命令行参数进行安全转义$line = `tail -n 1 $file`;echo $line;

 

3. 直接使用php的fseek来进行文件操作:

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内存,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.
方法一：
首先通过fseek找到文件的最后一位EOF，然后找最后一行的起始位置，取这一行的数据，再找次一行的起始位置，再取这一行的位置，依次类推，直到找到了$num行。

**这个方法测试时有问题，看注释。

//整个代码执行完成耗时 0.0095 (s)function tail($fp,$n,$base=5){    assert($n>0);    $pos = $n+1;    $lines = array();    while(count($lines)< =$n){  //$n为想获取的行数，每次外围循环一个向$lines插入一条数据        try{            fseek($fp,-$pos,SEEK_END);  //把文件指针指向从后向前的-$pos位置，例如 fseek($fp,-2, SEEL_END)就是把指针指向文件的最后一个字符，不是倒数第二个是因为倒数第一个是\n。        } catch (Exception $e){            fseek(0);            break;        }        $pos *= $base;   //问题出在这里，当下一次循环进来时$pos有可能还是指在最后一行的位置上，不能保证每次都指到了上一行。        while(!feof($fp)){            //这里也有个问题，
            //这个循环会循环两次，第二次插入数组的值为\n，比如当fseek指在最后一行时，fgets读取了最后一行的数据，但不包含\n，第二次读取了\n,所以数组插入了两条。
　　　　　　　　array_unshift($lines,fgets($fp));
　　　　　　　　//break; 
        }    }    return array_slice($lines,0,$n);}var_dump(tail(fopen("access.log","r+"),10));

方法二:
还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(\n)的个数来判断是否已经读完最后$num行数据.

//整个代码执行完成耗时 0.0009(s).$fp = fopen($file, "r");$line = 10;$pos = -2;$t = " ";$data = "";while ($line > 0) {    while ($t != "\n") {        fseek($fp, $pos, SEEK_END);        $t = fgetc($fp);        $pos --;    }    $t = " ";    $data .= fgets($fp);    $line --;}fclose ($fp);echo $data

4.修改php.ini的内存：

//整个代码执行完成耗时 0.0003(s)ini_set(‘memory_limit‘,‘-1‘);  //不限制$file = ‘access.log‘;$data = file($file);$line = $data[count($data)-1];echo $line;

php操作大文件


联系
我们