<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Rexcj

    做牛B的事,讓傻B們說去吧。

    使用java實現http多線程下載

     

           下載工具我想沒有幾個人不會用的吧,前段時間比較無聊,花了點時間用java寫了個簡單的http多線程下載程序,純粹是無聊才寫的,只實現了幾個簡單的功能,而且也沒寫界面,今天正好也是一個無聊日,就拿來寫篇文章,班門弄斧一下,覺得好給個掌聲,不好也不要噴,謝謝!

    我實現的這個http下載工具功能很簡單,就是一個多線程以及一個斷點恢復,當然下載是必不可少的。那么大概先整理一下要做的事情:

    1、 連接資源服務器,獲取資源信息,創建文件

    2、 切分資源,多線程下載

    3、 斷點恢復功能

    4、 下載速率統計

    大概就這幾點吧,那么首先要做的就是連接資源并獲取資源信息,我這里使用了JavaSE自帶的URLConnection進行資源連接,大致代碼如下:

     

     1                     String urlStr = “http://www.sourcelink.com/download/xxx”;   //資源地址,隨便寫的
     2
     3            URL url = new URL(urlStr);                             //創建URL
     4
     5            URLConnection con = url.openConnection();               //建立連接
     6
     7            contentLen = con.getContentLength();                    //獲得資源長度
     8
     9File file = new File(filename);                                            //根據filename創建一個下載文件,也會是我們最終下載所得的文件
    10

     

    很簡單吧,沒錯就是這么簡單,第一步做完了,那么接下來要做第二步,切分資源,實現多線程。在上一步我們已經獲得了資源的長度contentLen,那么如何根據這個對資源進行切分呢?假如我們要運行十個線程,那么我們就先把contentLen處以10,獲得每塊的大小,然后在分別創建十個線程,每個線程負責其中一塊的寫入,這就需要利用到RandomAccessFile這個類了,這個類提供了對文件的隨機訪問,可以指定向文件中的某一個位置進行寫入操作,大致代碼如下:

                long subLen = contentLen / threadQut;                           //獲取每塊的大小

                
    //創建十個線程,并啟動線程
                for (int i = 0; i < threadQut; i++{
                    DLThread thread 
    = new DLThread(this, i + 1, subLen * i, subLen * (i + 1- 1); //創建線程
                    dlThreads[i] = thread;
                    QSEngine.pool.execute(dlThreads[i]);                                
    //把線程交給線程池進行管理
                }


     

    在這里使用到了DLThread這個類,我們先來看看這個類的構造方法的定義:

    public DLThread(DLTask dlTask, int id, long startPos, long endPos)

    第一個參數為一個DLTask,這個類就代表一個下載任務,里面主要保存這一個下載任務的信息,包括下載資源名,本地文件名等等的信息。第二個參數就是一個標示線程的id,如果有10個線程,那么這個id就是從110,第三個參數startPos代表該線程從文件的哪個地方開始寫入,最后一個參數endPos代表寫到哪里就結束。

    我們再來看看,一個線程啟動后,具體如何去下載,請看run方法:

        public void run() {
            System.out.println(
    "線程" + id + "啟動");
            BufferedInputStream bis 
    = null;                                             //創建一個buff
            RandomAccessFile fos = null;                                               
            
    byte[] buf = new byte[BUFFER_SIZE];                                         //緩沖區大小
            URLConnection con = null;
            
    try {
                con 
    = url.openConnection();                                             //創建連接,這里會為每個線程都創建一個連接
                con.setAllowUserInteraction(true);
                
    if (isNewThread) {
                    con.setRequestProperty(
    "Range""bytes=" + startPos + "-" + endPos);//設置獲取資源數據的范圍,從startPos到endPos
                    fos = new RandomAccessFile(file, "rw");                             //創建RandomAccessFile
                    fos.seek(startPos);                                                 //從startPos開始
                }
     else {
                    con.setRequestProperty(
    "Range""bytes=" + curPos + "-" + endPos);
                    fos 
    = new RandomAccessFile(dlTask.getFile(), "rw");
                    fos.seek(curPos);
                }

                
    //下面一段向根據文件寫入數據,curPos為當前寫入的未知,這里會判斷是否小于endPos,
                
    //如果超過endPos就代表該線程已經執行完畢
                bis = new BufferedInputStream(con.getInputStream());                    
                
    while (curPos < endPos) {
                    
    int len = bis.read(buf, 0, BUFFER_SIZE);                
                    
    if (len == -1{
                        
    break;
                    }

                    fos.write(buf, 
    0, len);
                    curPos 
    = curPos + len;
                    
    if (curPos > endPos) {
                        readByte 
    += len - (curPos - endPos) + 1//獲取正確讀取的字節數
                    }
     else {
                        readByte 
    += len;
                    }

                }

                System.out.println(
    "線程" + id + "已經下載完畢。");
                
    this.finished = true;
                bis.close();
                fos.close();
            }
     catch (IOException ex) {
                ex.printStackTrace();
                
    throw new RuntimeException(ex);
            }

        }


     

    上面的代碼就是根據startPosendPos對文件機型寫操作,每個線程都有自己獨立的一個資源塊,從startPosendPos。上面的方式就是線程下載的核心,多線程搞定后,接下來就是實現斷點恢復的功能,其實斷點恢復無非就是記錄下每個線程完成到哪個未知,在這里我就是使用curPos進行的記錄,大家在上面的代碼就應該可以看到,我會記錄下每個線程的curPos,然后在線程重新啟動的時候,就把curPos當成是startPos,而endPost則不變即可,大家有沒注意到run方法里有一段這樣的代碼:

                if (isNewThread) {                                              //判斷是否斷點,如果true,代表是一個新的下載線程,而不是斷點恢復
                    con.setRequestProperty("Range""bytes=" + startPos + "-" + endPos);//設置獲取資源數據的范圍,從startPos到endPos
                    fos = new RandomAccessFile(file, "rw");                             //創建RandomAccessFile
                    fos.seek(startPos);                                                 //從startPos開始
                }
     else {
                    con.setRequestProperty(
    "Range""bytes=" + curPos + "-" + endPos);//使用curPos替代startPos,其他都和新創建一個是一樣的。
                    fos = new RandomAccessFile(dlTask.getFile(), "rw");
                    fos.seek(curPos);
                }


     

    上面就是斷點恢復的做法了,和新創建一個線程沒什么不同,只是startPos不一樣罷了,其他都一樣,不過僅僅有這個還不夠,因為如果程序關閉的話,這些信息又是如何保存呢?例如文件名啊,每個線程的curPos啊等等,大家在使用下載軟件的時候,相信都會發現在軟件沒下載完的時候,在目錄下會有兩個臨時文件,而其中一個就是用來保存下載任務的信息的,如果沒有這些信息,程序是不知道該如何恢復下載進度的。而我這里又如何實現的呢?我這個人比較懶,又不想再創建一個文件來保存信息,然后自己又要讀取信息創建對象,那太麻煩了,所以我想到了java提供序列化機制,我的想法就是直接把整個DLTask的對象序列化到硬盤上,上面說過DLTask這個類就是用來保存每個任務的信息的,所以我只要在需要恢復的時候,反序列化這個對象,就可以很容易的實現了斷點功能,我們來看看這個對象保存的信息:

    public class DLTask extends Thread implements Serializable {

        
    private static final long serialVersionUID = 126148287461276024L;
        
    private final static int MAX_DLTHREAD_QUT = 10;  //最大下載線程數量
        /**
         * 下載臨時文件后綴,下載完成后將自動被刪除
         
    */

        
    public final static String FILE_POSTFIX = ".tmp";
        
    private URL url;                                    
        
    private File file;
        
    private String filename;
        
    private int id;
        
    private int Level;
        
    private int threadQut;                                //下載線程數量,用戶可定制                            
        private int contentLen;                            //下載文件長度
        private long completedTot;                            //當前下載完成總數
        private int costTime;                                //下載時間計數,記錄下載耗費的時間
        private String curPercent;                            //下載百分比
        private boolean isNewTask;                        //是否新建下載任務,可能是斷點續傳任務
        
        
    private DLThread[] dlThreads;                        //保存當前任務的線程

    transient private DLListener listener;            //當前任務的監聽器,用于即時獲取相關下載信息

     

    如上代碼,這個對象實現了Serializable接口,保存了任務的所有信息,還包括有每個線程對象dlThreads,這樣子就可以很容易做到斷點的恢復了,讓我重新寫一個文件保存這些信息,然后在恢復的時候再根據這些信息創建一個對象,那簡直是要我的命。這里創建了一個方法,用于斷點恢復用:

        private void resumeTask() {
            listener 
    = new DLListener(this);
            file 
    = new File(filename);
            
    for (int i = 0; i < threadQut; i++{
                dlThreads[i].setDlTask(
    this);
                QSEngine.pool.execute(dlThreads[i]);
            }

            QSEngine.pool.execute(listener);
        }



     

    實際上就是減少了先連接資源,然后進行切分資源的代碼,因為這些信息已經都被保存在DLTask的對象下了。

    看到上面的代碼,不知道大家注意到有一個對象DLListener沒有,這個對象實際上就是用于監聽整個任務的信息的,這里我主要用于兩個目的,一個是定時的對DLTask進行序列化,保存任務信息,用于斷點恢復,一個就是進行下載速率的統計,平均多長時間進行一個統計。我們先來看下它的代碼,這個類也是一個單獨的線程:

        public void run() {

            
    int i = 0;
            BigDecimal completeTot 
    = null;                                         //完成的百分比             
            long start = System.currentTimeMillis();                               //當前時間,用于記錄開始統計時間
            long end = start;

            
    while (!dlTask.isComplete()) {                                        //整個任務是否完成,沒有完成則繼續循環
                i++;
                String percent 
    = dlTask.getCurPercent();                      //獲取當前的完成百分數

                completeTot 
    = new BigDecimal(dlTask.getCompletedTot());       //獲取當前完成的總字節數

                            
    //獲得當前時間,然后與start時間比較,如果不一樣,利用當前完成的總數除以所使用的時間,獲得一個平均下載速度
                end = System.currentTimeMillis();                             
                
    if (end - start != 0{
                    BigDecimal pos 
    = new BigDecimal(((end - start) / 1000* 1024);
                    System.out.println(
    "Speed :"
                            
    + completeTot
                                    .divide(pos, 
    0, BigDecimal.ROUND_HALF_EVEN)
                            
    + "k/s   " + percent + "% completed. ");
                }

                recoder.record();         
    //將任務信息記錄到硬盤
                try {
                    sleep(
    3000);
                }
     catch (InterruptedException ex) {
                    ex.printStackTrace();
                    
    throw new RuntimeException(ex);
                }


            }

                    
    //以下是下載完成后打印整個下載任務的信息
            int costTime =+ (int)((System.currentTimeMillis() - start) / 1000);
            dlTask.setCostTime(costTime);
            String time 
    = QSDownUtils.changeSecToHMS(costTime);
            
            dlTask.getFile().renameTo(
    new File(dlTask.getFilename()));
            System.out.println(
    "Download finished. " + time);
        }


     

    這個方法中的recoder.record()方法的調用就是用于序列化任務對象,其他的代碼均為統計信息用的,具體可看注釋,record該方法的代碼如下:

        public void record() {
            ObjectOutputStream out 
    = null;
            
    try {
                out 
    = new ObjectOutputStream(new FileOutputStream(dlTask.getFilename() + ".tsk"));  
                out.writeObject(dlTask);
                out.close();
            }
     catch (IOException ex) {
                ex.printStackTrace();
                
    throw new RuntimeException(ex);
            }
     finally {
                
    try {
                    out.close();
                }
     catch (IOException ex) {
                    ex.printStackTrace();
                    
    throw new RuntimeException(ex);
                }

            }


        }



     

    到這里,大致的代碼都完成了,不過以上的代碼都是部分片段,只是作為一個參考給大家看下,而且由于本人水平有限,代碼很多地方都沒有經過過多的考慮,沒有經過優化,僅僅只是自娛自樂,所以可能有很多地方都寫的很爛,這個程序也缺乏很多功能,連界面都沒有,所以整個程序的代碼就不上傳了,免得丟人,呵呵。希望對有興趣的朋友盡到一點幫助吧。



    posted on 2008-07-27 12:21 Rexcj 閱讀(21948) 評論(17)  編輯  收藏

    Feedback

    # re: 使用java實現http多線程下載 2008-07-27 22:46 xzqttt

    看了您的文章,收到了很大的啟發,謝謝分享,好文!
      回復  更多評論   

    # re: 使用java實現http多線程下載 2008-07-28 09:30 pancras

    非常棒。  回復  更多評論   

    # re: 使用java實現http多線程下載 2008-07-28 23:17 SPARON[未登錄]

    好熟悉,JAVAEYE才看了這篇文章,不知是否是同一人。  回復  更多評論   

    # re: 使用java實現http多線程下載 2008-07-29 08:34 Rexcj

    @SPARON[未登錄]
    是同一人,呵呵,這邊是新開的博客。  回復  更多評論   

    # re: 使用java實現http多線程下載[未登錄] 2008-07-30 16:32 32

    QSEngine.pool.execute這個類是怎么寫的??  回復  更多評論   

    # re: 使用java實現http多線程下載[未登錄] 2008-07-30 21:00 Rexcj

    源碼我上傳到JE上了,你可以去http://calmness.javaeye.com下載,其實QSEngine.pool是使用了JDK5的線程池實現的,你可以看看JDK5多線程的相關資料,在這里你也可以不用這個,直接start線程就可以了。  回復  更多評論   

    # re: 使用java實現http多線程下載[未登錄] 2009-08-14 12:43

    寫得不錯。。。

    對大家很有幫助。

    希望再出精品。  回復  更多評論   

    # re: 使用java實現http多線程下載 2009-08-15 16:37 匿名


    學習  回復  更多評論   

    # re: 使用java實現http多線程下載 2009-12-05 09:15 Arnether

    學習了  回復  更多評論   

    # re: 使用java實現http多線程下載[未登錄] 2012-03-04 20:58 匿名

    不錯,學習了  回復  更多評論   

    # re: 使用java實現http多線程下載 2012-09-27 16:23 胡志波

    @Rexcj
    無法打開下載連接啊  回復  更多評論   

    # re: 使用java實現http多線程下載 2013-01-30 15:01

    lz,打不開你之前給的連接啊。  回復  更多評論   

    # re: 使用java實現http多線程下載 2013-04-24 21:43 歐威

    連接打不開 你能把源代碼發給我嗎?想看看  回復  更多評論   

    # re: 使用java實現http多線程下載 2013-04-24 21:44 歐威

    鏈接打不開 ,你能把源代碼發給我嗎?想看看  回復  更多評論   

    # re: 使用java實現http多線程下載 2013-04-24 21:45 歐威

    鏈接打不開 ,你能把源代碼發給我嗎?想看看,我的郵箱496997374@qq.com  回復  更多評論   

    # re: 使用java實現http多線程下載[未登錄] 2013-11-05 15:28 kkk

    是這個地址http://calmness.iteye.com/blog/220075  回復  更多評論   

    # re: 使用java實現http多線程下載[未登錄] 2014-05-16 22:41 java學習者

    BigDecimal pos = new BigDecimal(((end - start) / 1000) * 1024);
    這個是什么意思呢?為什么要*1024呢,(end - start) / 1000)這個是獲取到秒對吧  回復  更多評論   



    只有注冊用戶登錄后才能發表評論。


    網站導航:
     

    My Links

    Blog Stats

    常用鏈接

    留言簿(1)

    隨筆檔案

    搜索

    積分與排名

    最新評論

    閱讀排行榜

    評論排行榜

    主站蜘蛛池模板: 亚洲欧美熟妇综合久久久久| 亚洲一级毛片视频| 日韩色视频一区二区三区亚洲| 免费看男女下面日出水来| 久久亚洲AV成人无码国产| 一级毛片全部免费播放| 亚洲国产老鸭窝一区二区三区| 国产在线一区二区综合免费视频| 丝袜熟女国偷自产中文字幕亚洲| 国产视频精品免费视频| 亚洲精品无码久久久久去q| 成人无码精品1区2区3区免费看| 亚洲国产精品国产自在在线| 日韩在线观看免费完整版视频| 亚洲国产精品第一区二区三区| 久久www免费人成看国产片| 久久久久久亚洲精品不卡| a级在线免费观看| 亚洲av综合av一区| 中文字幕在线免费观看| 亚洲白嫩在线观看| 女人让男人免费桶爽30分钟| jizzjizz亚洲日本少妇| 亚洲AⅤ无码一区二区三区在线 | 亚洲性一级理论片在线观看| 我们的2018在线观看免费高清| 亚洲人成欧美中文字幕| 免费观看四虎精品国产永久| 中文字幕在线成人免费看| 精品亚洲国产成AV人片传媒| 成年女人免费碰碰视频| 黄色网址免费在线| 午夜影视日本亚洲欧洲精品一区| 青青青国产在线观看免费网站| 国产AV无码专区亚洲AV麻豆丫| 亚洲午夜国产精品无码| 我们的2018在线观看免费高清| 老外毛片免费视频播放| 亚洲视频精品在线| 国产免费久久精品| 午夜理伦剧场免费|