首页 > 代码库 > Java利用内存映射文件实现按行读取文件

Java利用内存映射文件实现按行读取文件

我们知道内存映射文件读取是各种读取方式中速度最快的,但是内存映射文件读取的API里没有提供按行读取的方法,需要自己实现。下面就是我利用内存映射文件实现按行读取文件的方法,如有错误之处请指出,或者有更好更快的实现方式麻烦也提供一下代码。

代码如下:

public class testMemoryMappedFile {		public static void main(String[] agrs) throws IOException{		RandomAccessFile memoryMappedFile = new RandomAccessFile("D://test.txt","r");		int size =(int)memoryMappedFile.length();		MappedByteBuffer out = memoryMappedFile.getChannel().map(FileChannel.MapMode.READ_ONLY,0,size);		long start = System.currentTimeMillis();		//要根据文件行的平均字节大小来赋值		final int extra = 200;		int count = extra;		byte[] buf = new byte[count];		int j=0;		char ch =‘\0‘;		boolean flag = false;		while(out.remaining()>0){			byte by = out.get();			ch =(char)by;			switch(ch){				case ‘\n‘:					flag = true;					break;				case ‘\r‘:					flag = true;					break;				default:					buf[j] = by;					break;			}			j++;			//读取的字符超过了buf 数组的大小,需要动态扩容			if(flag ==false && j>=count){				count = count + extra;				buf = copyOf(buf,count);			}			if(flag==true){				//这里的编码要看文件实际的编码				String line = new String(buf,"utf-8");				System.out.println(line);				flag = false;				buf = null;				count = extra;				buf = new byte[count];				j =0;			}						}		//处理最后一次读取		if(j>0){			String line = new String(buf,"utf-8");			System.out.println(line);		}				long end = System.currentTimeMillis();		System.out.println("耗时:"+(end-start));	    memoryMappedFile.close();			}		//扩充数组的容量	public static byte[] copyOf(byte[] original,int newLength){		byte[] copy = new byte[newLength];		System.arraycopy(original,0,copy,0,Math.min(original.length,newLength));		return copy;	}}

经过测试,可以达到50M/s的速度,依然比RandomAccessFile按行读取快100倍以上。

注意点:byte[] buf 这个字节数组的大小要动态扩容,如果一直固定的话速度也会比较慢,特别是如果设置很大的话,会更加慢。

参考博客:https://www.ibm.com/developerworks/cn/java/l-javaio/index.html 这个博客值得一看,对各个读取方式的速度做了一个比较,同时自己实现了优化的方法

Java利用内存映射文件实现按行读取文件