Android 多線程分段下載文件

下文中所用到的依賴:implementation 'com.squareup.retrofit2:retrofit:2.1.0',雖然用的retrofit的包,但是只用了里面的okhttp部分,因為是demo項目,原先就已經加了依賴了,不方便換了。
現在我們開始多線程分段下載一個大文件,用的是服務上一個apk文件(23M,假設是大文件)
開工,ps:網絡權限,文件讀寫權限,別忘了

1. 既然是多線程下載,先建立一個線程池

    ExecutorService executorService = Executors.newFixedThreadPool(5);

2. 確認下載文件的大小

    OkHttpClient client = createOkHttpClient();

    final Request request = new Request.Builder()
        .url(url)
        .head()//這里注意請求方式為head
        .build();
     try {
        Response response = client.newCall(request).execute();
        httpResponseCall.onResponseSuccess(response);
    } catch (IOException e) {
        e.printStackTrace();
    }

因為本身是線程調用的,這里網絡請求就用同步了,request請求方式為head,只要獲取文件大小就好了,然后在請求返回的head中獲取文件大小

    long length = Long.parseLong(response.header("content-length"));//獲取文件長度
    long count = length / M + 1;//下載次數 M = 1024 * 1024 * 5,M為一次下載多少長度,這里為5mb
    for (int i = 0; i < count; i++) {
        long start, end;//每次一次下載的初始位置和結束位置
        if (i == count - 1) {
            end = length - 1;//因為從0開始的,所以要-1,比如10個字節,就是0-9
        } else {
            end = (i + 1) * M - 1;
        }
        start = i * M;
        getFile(start, end);//開啟下載線程
    }

3. 文件內容下載

    OkHttpClient client = createOkHttpClient();

    final Request request = new Request.Builder()
        //由于只下載文件部分內容,所以如要添加head  格式為  Range,bytes=0-199
        .addHeader("Range", String.format("bytes=%d-%d", start, end)
        .url(url)
        .build();
    try {
        Response  response = client.newCall(request).execute();
        httpResponseCall.onResponseSuccess(response);
    } catch (IOException e) {
        e.printStackTrace();
    }

4. 下載之后處理下載數據

    InputStream inputStream = response.body().byteStream();//獲取流
    FileUtil.appendFileWithInstram(FILE_NAME, inputStream, start);//寫入文件
    response.close();
    response.notify();

5. 讀取數據寫入文件

    public  static void appendFileWithInstram(String fileName, InputStream inputStream, long start) {
        File file = new File(fileName);//獲取文件,我在下載之前就刪除了原文件
        synchronized (TAG) {//設置線程鎖
            try {
                while (true) {//通過線程鎖,對線程進行排序
                    long fileLength = PreferenceUtil.getLong(fileName, 0l);//記錄文件長度
                    JLog.d("FileUtil", "fileLength = " + fileLength +"\n start = "+ start);
                    if (fileLength == start) {//當文件長度,與下載文件的初始值一樣,則開始寫入文件,否則等待
                        break;
                    }
                    TAG.wait();
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            RandomAccessFile randomAccessFile = null;
            try {
                if (!file.exists()) {
                    file.createNewFile();
                }
                randomAccessFile = new RandomAccessFile(file, "rw");

                final long M = 1024;
                long total = PreferenceUtil.getLong(fileName, 0l);
                for (; ; ) {//循環讀取寫入文件
                    byte[] bytes = new byte[(int) M];
                    int readCount = inputStream.read(bytes);
                    if (readCount == 0){//因為請求是一部分,一部分的,不是一次性的,所以會存在0的情況,注意0!=-1
                        continue;
                    }
                    if (readCount == -1) {//讀取完成,結束循環
                        JLog.d(TAG, "readCount = " + readCount + "\n start = " + start +"\ntotal = " + total);
                        PreferenceUtil.setLongValue(fileName, total);//將寫入的總長度記錄下來
                        inputStream.close();
                        randomAccessFile.close();
                        break;
                    }

                    randomAccessFile.seek(total);//設置偏移量
                    total += readCount;
                    //寫入讀取的總長度,不能只寫randomAccessFile.write(bytes)會導致文件長度大于讀取的長度
                    randomAccessFile.write(bytes, 0, readCount);
                    JLog.d(TAG, "length = " + randomAccessFile.length());
                    JLog.d(TAG, "total = " + total);
                }

                TAG.notifyAll();//結束循環之后,喚醒其他線程進行寫入
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

6. 過程中遇到的問題

02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err: java.net.ProtocolException: unexpected end of stream
02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err:     at okhttp3.internal.http.Http1xStream$FixedLengthSource.read(Http1xStream.java:384)
02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err:     at okio.RealBufferedSource$1.read(RealBufferedSource.java:386)
02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err:     at java.io.InputStream.read(InputStream.java:101)

感覺這個bug是okHttp的,一開始我用直接用response.body.bytes的方式讀取,沒有遇到這個問題,因為直接獲取流的byte數組,所需要的內存占用比較大,后改成從流中獲取的方式,但是不進行線程阻塞,則會在最后一個線程讀取中出現這個問題,經過各種資料查找,在OkHttpClient.Builder

        builder.connectTimeout(60, TimeUnit.SECONDS);
        builder.readTimeout(60, TimeUnit.SECONDS);
        builder.writeTimeout(60, TimeUnit.SECONDS);

大概是因為響應時間的問題,該問題得到解決,再后來把讀寫文件改成現在一樣線程阻塞的方法,在公司網絡下,依舊出現問題(必現),在4g熱點下,沒有該問題。目前還沒有比較好的解決方法。

7. 讀寫文件可以用下面的方法,更方便

    /**
     * 文件分批寫入
     *
     * @param fileName    文件路徑
     * @param inputStream 需要寫入的內容
     * @param start       寫入的初始位置
     */
    public synchronized static void appendFileWithInstram(String fileName, InputStream inputStream, long start) {
        File file = new File(fileName);
        RandomAccessFile randomAccessFile = null;
        try {
            if (!file.exists()) {
                file.createNewFile();
            }
            randomAccessFile = new RandomAccessFile(file, "rw");
            final long M = 1024;
            byte[] bytes = new byte[(int) M];
            long seek = start;
            long total = 0;
            for (; ; ) {
                int readCount = inputStream.read(bytes);

                if (readCount == 0) {
                    continue;
                }
                if (readCount == -1) {
                    JLog.d(TAG, "readCount = " + readCount + "\n start = " + start + "\ntotal = " + total);
                    JLog.d(TAG, "fileLength = " + randomAccessFile.length()+ "\n seek = " + seek );
                    inputStream.close();
                    break;
                }
                total += readCount;
                randomAccessFile.seek(seek );
                randomAccessFile.write(bytes, 0, readCount);
                seek += readCount;
            }

        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,572評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,071評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,409評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,569評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,360評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,895評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,979評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,123評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,643評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,559評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,742評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,250評論 5 356
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,981評論 3 346
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,363評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,622評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,354評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,707評論 2 370

推薦閱讀更多精彩內容