首页 > 代码库 > Android 多线程断点续传同时下载多个大文件

Android 多线程断点续传同时下载多个大文件

最近学习在Android环境中一些网络请求方面的知识,其中有一部分是关于网络下载方面的知识。在这里解析一下自己写的demo,总结一下自己所学的知识。下图为demo的效果图,仿照一些应用下载商城在ListView中列出加载项,然后可以可以下载和停止。

技术分享

1.概述

这里有几个比较重要的类DownloadManager、DownloadService、DownloadTask、ThreadDAOImpl。主要的下载流程如下。
(1) DownloadManager 负责下载任务的调配,以及下载服务DownloadService的启动
(2) DownloadService 主获取下载文件的的一些信息,包括文件的名字、文件的长度等,并创建下载任务DownloadTask
(3) DownloadTask 是正式下载文件的类,首先查看数据库里有没保存过相应的断点,并从相应的断点开始下载,如果没有则将文件分段,并启动下载
(4) ThreadDAOImpl 数据库操作类,主要是保存线程下载的断点信息

2.多线程断点续传

当然这里最核心的部分就是多线程断点续传,原来不是很难,就是将要下载的文件分割成多个部分,每个部分使用的不同的线程同时下载。

2.1获取下载文件长度,设置本地文件

在DownloadService 设置下载文件的信息,如下一段代码:

 class InitThread extends Thread {//        FileInfo fileInfo;        TaskInfo taskInfo;        public InitThread (TaskInfo taskInfo) {            this.taskInfo = taskInfo;        }        @Override        public void run() {            super.run();            Log.i(tag,"InitThread");            try {                URL url = new URL(taskInfo.getUrl());                HttpURLConnection con = (HttpURLConnection) url.openConnection();                con.setRequestMethod("GET");                con.setConnectTimeout(5000);                if(con.getResponseCode() ==  HttpURLConnection.HTTP_OK) {                    int len = con.getContentLength(); <span style="color:#ff0000;">//文件的总长度</span>                    taskInfo.setLenght(len);                    if(len <= 0) {                        return;                    }                  …………此处省略部分                    //start 设置下载文件                   <span style="color:#ff6666;"> RandomAccessFile accessFile = new RandomAccessFile(new File(taskInfo.getFilePath(),taskInfo.getFileName()),"rwd");                    accessFile.setLength(len); //设置文件长度</span>                    accessFile.close();                    //end 设置下载文件                …………此处省略部分                                   }            } catch (MalformedURLException e) {                e.printStackTrace();            } catch (IOException e) {                e.printStackTrace();            }        }    }

2.2 文件分段

接下的工作是分段下载
举个列子一个10M的文件,分成三份求整10/3 = 3,前面的一二份分别是3M,最后一份是4M。所以第一份从0~2.9,第二份是从3~5.9,第三份是从6~10,这里只是粗来的说明。接下来看代码,在DownloadTask中有如下有如下代码:

/** * 启动下载 */public void downlaod() {     …………此处省略部分    //start 数据库没有对应的线程信息,则创建相应的线程信息    if(threadInfoList.size() <=0) {        <span style="color:#ff6666;">int block = mTaskInfo.getLenght()/mThreadCount; //将下载文件分段,每段的长度</span>        if(block > 0) {            //start 根据线程数量分别建立线程信息            for(int i = 0;i < mThreadCount;i++) {                ThreadInfo info = new ThreadInfo(i,mTaskInfo.getUrl(),i*block,(i+1)*block-1,0);                if(i == mThreadCount -1) {                   <span style="color:#ff0000;"> info.setEnd(mTaskInfo.getLenght()); //分段最后一个,结束位置到文件总长度末尾</span>                }                threadInfoList.add(info);         //加入列表                mThreadDao.insertThread(info);   //向数据库插入线程信息            }            //end 根据线程数量分别建立线程信息        }else {            ThreadInfo info = new ThreadInfo(0,mTaskInfo.getUrl(),0,mTaskInfo.getLenght(),0);            threadInfoList.add(info);            mThreadDao.insertThread(info);        }    }    //end 数据库中没有对应的线程信息,则创建相应的线程信息    …………此处省略部分}

2.3下载线程

下面是主要的下载文件的线程

主要的是设置开始读取和结束的地方:

con.setRequestProperty("Range", "bytes=" + start + "-" + threadInfo.getEnd()); //设置读取文件的位置,和结束位置

写入本地文件的地方:

accessFile.seek(start);    //设置开始写入的位置
/**     * 下载线程     */    class DownloadThread extends  Thread {        …………此处省略部分        @Override        public void run() {                …………此处省略部分                    int start = threadInfo.getStart()+threadInfo.getFinished(); //读取文件的位置                    //start 初始化下载链接                    …………此处省略部分                    
con.setRequestProperty("Range", "bytes=" + start + "-" + threadInfo.getEnd()); //设置读取文件的位置,和结束位置                    //end 初始化下载链接                    //start 初始化下载到本地的文件                    <span style="color:#ff0000;">accessFile  = new RandomAccessFile(new File(mTaskInfo.getFilePath(), mTaskInfo.getFileName()),"rwd");                    accessFile.seek(start);    //设置开始写入的位置</span>                    //end 初始化下载到本地的文件                   …………此处省略部分                        while((readLen = inputStream.read(buffer))!=-1) {                          <span style="background-color: rgb(255, 255, 255);"><span style="color:#ff0000;">  accessFile.write(buffer, 0, readLen);</span></span>//                            Log.i(tag, "readLen = " + readLen);                            finished += readLen;                            threadInfo.setFinished(finished);    //设置已经下载进度                            if(System.currentTimeMillis() - time >2000) {//                                Log.i(tag, "readLen = " + readLen);                                notifyProgress(threadInfo.getId(), finished); //每隔2秒通知下载进度                                time = System.currentTimeMillis();                            }                            //start 停止下载,保存进度                            if(isPause) {                                Log.i(tag,"pause name = "+mTaskInfo.getFileName());                                notifyProgress(threadInfo.getId(), finished);        //通知下载进度                                mThreadDao.updateThread(threadInfo.getUrl(),threadInfo.getId(),finished);  //更新数据库对应的线程信息                                return;                            }                            //end 停止下载,保存进度                        }                        //end 读取输入流写入文件                 …………此处省略部分                    }                } catch (MalformedURLException e) {                    e.printStackTrace();                } catch (ProtocolException e) {                    e.printStackTrace();                } catch (IOException e) {                    e.printStackTrace();                }finally {                         …………此处省略部分                }            super.run();        }    } 

2.4保存断点

在上面的DownloadThread下载线程中保存断点信息,是使用数据库形式保存的。

mThreadDao.updateThread(threadInfo.getUrl(),threadInfo.getId(),finished);  //更新数据库对应的线程信息

3其他辅助类

(1) 数据库操作类ThreadDAOImpl,断点信息的增、改、查、删。
(2) 回调接口OnDownload,下载进度以及下载完成
(3) 下载任务信息TaskInfo
(4) 线程信息ThreadInfo

4线程池

由于使用到多线程同时下载,这里在使用了线程池管理。在DownloadService类中创建并初始化线程池,按照CPU核心数量乘以2再加1设置线程池中线程的数量
mThreadPool = Executors.newFixedThreadPool(getNumberOfCPUCores()*2+1);  //初始化线程
在下载时使用三个线程同时下载
DownloadTask task = new DownloadTask(DownloadService.this,info,mThreadPool,3); //建立下载任务,3个线程同时下载

由于线程池内的线程数量是有限的,当启动下载之后有空闲的线程会马上执行,如果没有就只能等待下载任务完成再下载。

 

Android 多线程断点续传同时下载多个大文件