<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    通過java抓取任何指定網頁的數據

    Posted on 2009-12-17 17:31 terryxue 閱讀(18109) 評論(6)  編輯  收藏 所屬分類: java

    假設你需要獲取51job人才網上java人才的需求數量,首先你需要分析51job網站的搜索這一塊是怎么運作的,通過解析網頁的源代碼,我們發現了以下一些信息:
    1. 搜索時頁面請求的URL是 http://search.51job.com/jobsearch/search_result.php
    2. 請求所用的方法為:POST
    3. 返回的頁面的編碼格式為:GBK
    4. 假設我們想獲取搜索java人才時結果頁面中顯示的需求數量,我們發現數量位于返回的HTML數據中這樣的一段代碼之中:<td>1-30 / 14794</td>,于是我們可以得到這樣的一個模式:".+1-\d+ / (\d+).+",第一個分組的內容就是我們需要的最終數據,有關java中的模式,請參考java文檔中Pattern類的介紹
    5. 另外做為POST請求,頁面向服務器發送的數據如下(這個很容易能過prototype這樣的js框架抓取到,參考我的其它博客介紹):lang=c& amp; amp;stype=1&postchannel=0000&fromType=1&line=&keywordtype=2&keyword=java&btnJobarea=%E9%80%89%E6%8B%A9%E5%9C%B0%E5%8C%BA&jobarea=0000&image=&btnFuntype=%E9%80%89%E6%8B%A9%2F%E4%BF%AE%E6%94%B9&funtype=0000&btnIndustrytype=%E9%80%89%E6%8B%A9%2F%E4%BF%AE%E6%94%B9&industrytype=00
    對于第5條中的數據哪些是服務器真正需要的我們不管,全部發送過去就是了。有了這些準備,我們就可以真正開始通過java發送請求,并獲得最終數據了。

    我們定義Resource類,這個類封裝所有的與請求有關的信息,Resource包括以下屬性:

    /**
      * 需要獲取資源的目標地址,不包含查詢串
      
    */

     
    private String target;
      
    /**
      * get請求時的查詢串,或post請求的請求數據
      
    */

     
    private String queryData = "";
     
     
    /**
      * 請求方式,get / post
      
    */

     
    private String method = "GET";
     
     
    /**
      * 返回的數據的編碼類型
      
    */

     
    private String charset = "GBK";
     
     
    /**
      * 抓取數據的模式,將根據模式的分組來返回數據列表
      
    */

     
    private String pattern;

    創建Resource的一個對象,封裝請求數據:
    Resource res = new Resource();
    res.set
    //在這里設置與請求有關的信息

    以下為抓取內容的代碼:
    //假設以下代碼中res對象封裝了所有的請求信息。
    //URL指向目的地。 
    //res.getTarget返回目標地址,且當為get請求時,這個地址包含了查詢串的信息 
    URL url = new URL(res.getTarget()); 
    HttpURLConnection con 
    = (HttpURLConnection) url.openConnection(); //建立到目的地的聯接
    con.setRequestMethod(res.getMethod()); //設置請求的方法
    //設置HTTP請求頭信息
    con.setRequestProperty("accept""*/*");  
    con.setRequestProperty(
    "connection""Keep-Alive");
    con.setRequestProperty(
    "user-agent",
            
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)");
    con.setDoInput(
    true);
    if (res.getMethod().equals("POST")) //如果為Post請求則發送請求數據
      con.setDoOutput(true);
      con.getOutputStream().write(res.getQueryData().getBytes());
      con.getOutputStream().flush();
    }
        
    //通過BufferedReader一行行的讀取數據,如果你需要的是全部返回結果,可以修改一下這里
    BufferedReader br = new BufferedReader(new InputStreamReader(
    con.getInputStream(), res.getCharset()));
    Pattern pattern 
    = Pattern.compile(res.getPattern()); 
    String s 
    = null;
    while ((s = br.readLine()) != null{
       System.out.println(s);
       Matcher m 
    = pattern.matcher(s); //檢測當前行是否與要求結果的模式相匹配
       boolean b = m.matches();
       
    if (! b) {
          
    continue;
       }

       
    int size = m.groupCount();
       List result 
    = new ArrayList(size);
       
    for(int i=0; i<size; i++){
         result.add(m.group(i
    +1)); //如果有多個分組,則取出所有分組,并把最終結果做為列表返回
       }
         
       
    return result;
    }

    如果不需要通過提交表單數據給服務器就能抓取到最終結果,顯然上面的操作就有點小題大作了,刪除上面的部分代碼就可以了。
    補充:上文僅做java學習用,項目中需要實現網頁抓取,可以去了解一下JSOUP(http://jsoup.org/)和HTTPComponent(http://hc.apache.org/)

    Feedback

    # re: 通過java抓取任何指定網頁的數據  回復  更多評論   

    2010-03-08 16:23 by 胡長坤
    謝謝薛老師的的幫助,靜態化頁面服務已參照本文實現。謝謝薛老師,嘿嘿。

    # re: 通過java抓取任何指定網頁的數據  回復  更多評論   

    2010-12-13 15:18 by easy518
    http://www.easy518.com

    # re: 通過java抓取任何指定網頁的數據  回復  更多評論   

    2011-10-08 16:34 by 方法
    法國風格

    # re: 通過java抓取任何指定網頁的數據  回復  更多評論   

    2012-05-12 16:59 by 小崔
    想問下,我抓的網頁有驗證碼,無論我輸入什么驗證碼,都會提示驗證碼失效,能給予幫助嗎,先謝謝了

    # re: 通過java抓取任何指定網頁的數據  回復  更多評論   

    2013-12-14 11:31 by zujixie
    這個功能很強大,用處很多。很好

    # re: 通過java抓取任何指定網頁的數據  回復  更多評論   

    2014-11-25 15:35 by zuidaima
    java抓取網頁相關demo源代碼下載:http://zuidaima.com/share/k%E6%8A%93%E5%8F%96%E7%BD%91%E9%A1%B5-p1-s1.htm

    posts - 9, comments - 24, trackbacks - 0, articles - 0

    Copyright © terryxue

    主站蜘蛛池模板: 成人免费无码大片A毛片抽搐| 国精产品一区一区三区免费视频| 亚洲毛片免费观看| 婷婷亚洲综合五月天小说| 久久免费精品一区二区| 亚洲AV中文无码字幕色三| 久久精品免费网站网| 国产亚洲一区二区三区在线不卡| 一级一片免费视频播放| 爱情岛论坛网亚洲品质自拍| 成在人线av无码免费高潮水| 亚洲精品国产美女久久久| 香蕉免费一区二区三区| 黑人精品videos亚洲人| 99精品国产成人a∨免费看| 亚洲欧洲日产国产最新| 国产精品69白浆在线观看免费 | 亚洲国产成人片在线观看| 最近免费中文字幕MV在线视频3| 久久综合图区亚洲综合图区| 久久综合给合久久国产免费| 亚洲中文久久精品无码1| 在线成人a毛片免费播放| 一级黄色免费网站| 亚洲AV无码精品色午夜果冻不卡| 91短视频免费在线观看| 亚洲欧美第一成人网站7777 | 亚洲视频在线观看免费| 日韩亚洲人成在线| 伊人久久大香线蕉亚洲五月天| 久久免费观看国产精品88av| 亚洲人成网网址在线看| 又粗又硬又大又爽免费视频播放| 中国极品美軳免费观看| 亚洲人色大成年网站在线观看| 国产精品成人无码免费| 日本在线免费观看| 亚洲av无码专区在线观看亚| 国产精品亚洲成在人线| 午夜小视频免费观看| 色欲A∨无码蜜臀AV免费播|