<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    JAVA & XML & JAVASCRIPT & AJAX & CSS

    Web 2.0 技術儲備............

      BlogJava :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
      77 隨筆 :: 17 文章 :: 116 評論 :: 0 Trackbacks
    很久沒把自己做的東西拿出來和大家分享了,今天總算想到可以寫一些東西了。嘿嘿
    美女圖片爬蟲程序很簡單,就是從目標網站上將一些美女圖片抓取下來,并按文件夾的方式歸類存放。
    現在以 http://www.36mn.com/網站為例,將論壇上面的一個個圖片抓取下來慢慢欣賞。

    程序說明:
    com.th.spider.Main 運行這個抓取美女圖片
    com.th.spider.test.* 樣例程序
    com.th.spider.CookieLogin 模擬登陸實例
    com.th.spider.Clean 清除沒圖片的目錄和無效圖片目錄

    用技術創(chuàng)造快感!!!! 嘿嘿


    下載資源:
    圖片抓取代碼.zip         網絡爬蟲原理與實戰(zhàn)PPT.zip

    主要技術:
    Jsoup、HttpClient.

    配置說明:
    config.properties

    #保存目錄
    save.dir=D:/GIRL
    #網站根路徑#
    url.base=http://www.36mn.com/
    #URL訪問模板
    url.template=http://www.36mn.com/forum-62-#page#.html

    #開始PAGE 替換url.template中page參數#
    page.start=1
    #結束PAGE 替換url.template中page參數#
    page.end=2

    #線程池大小,并發(fā)抓取圖片的最大線程數#
    thread.pool.size=50

    配置中的page.start 和 page.end 指定了抓取論壇開始頁到結束頁,如果想抓取整個論壇的就page.start=1,page.end=100吧。
    配置目錄save.dir 默認會創(chuàng)建一個D:/GIRL的目錄,用戶保存抓取圖片。圖片保存方式:D:/GIRL/頁號/帖子名/圖片名

    抓取思路:
    1.獲取論壇中的每個帖子標題和連接。
    2.請求帖子連接返回帖子內容。
    3.分析獲取圖片的URL。
    4.定位URL下載圖片到本地。

    論壇帖子列表 http://www.36mn.com/forum-62-1.html

    其中一個帖子內容 http://www.36mn.com/thread-22672-1-2.htmll




    抓取結果




    posted on 2011-06-27 17:07 Web 2.0 技術資源 閱讀(4836) 評論(5)  編輯  收藏 所屬分類: JAVA原創(chuàng)作品其他東東

    評論

    # re: [原創(chuàng)]美女圖片爬蟲程序實戰(zhàn)! 2011-06-27 18:45 thebye85
    寫這種程序真是動力十足啊,哈哈  回復  更多評論
      

    # re: [原創(chuàng)]美女圖片爬蟲程序實戰(zhàn)! 2011-06-27 20:16 luobo
    用技術創(chuàng)造快感,呵呵  回復  更多評論
      

    # re: [原創(chuàng)]美女圖片爬蟲程序實戰(zhàn)! 2011-06-28 08:30 日月雨林@gmail.com
    這個就是動力啊!  回復  更多評論
      

    # re: [原創(chuàng)]美女圖片爬蟲程序實戰(zhàn)!~用技術創(chuàng)造快感![未登錄] 2011-07-01 10:31 杜子
    問個問題,當有代理的時候,我用HttpClient 后,用 HttpHost targetHost = new HttpHost(url);
    HttpHost proxy = new HttpHost("10.231.96.132", 808);
    httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

    HttpGet httpget = new HttpGet("");
    HttpResponse response = httpclient.execute(targetHost, httpget);
    執(zhí)行后 System.out.println(response.getStatusLine()); 出現HTTP/1.1 404 /bbs.wed114.cn/data/attachment/forum/201105/08/174414bfl5qf6qfln3q7g3.jpg/& 后面老多個/& 怎么處理。
      回復  更多評論
      

    # re: [原創(chuàng)]美女圖片爬蟲程序實戰(zhàn)!~用技術創(chuàng)造快感! 2011-07-01 10:51 Web 2.0 技術資源
    2.7. HttpClient proxy configuration
    Even though HttpClient is aware of complex routing scemes and proxy chaining, it supports only simple direct or one hop proxy connections out of the box.

    The simplest way to tell HttpClient to connect to the target host via a proxy is by setting the default proxy parameter:

    DefaultHttpClient httpclient = new DefaultHttpClient();

    HttpHost proxy = new HttpHost("someproxy", 8080);
    httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

    One can also instruct HttpClient to use the standard JRE proxy selector to obtain proxy information:

    DefaultHttpClient httpclient = new DefaultHttpClient();

    ProxySelectorRoutePlanner routePlanner = new ProxySelectorRoutePlanner(
    httpclient.getConnectionManager().getSchemeRegistry(),
    ProxySelector.getDefault());
    httpclient.setRoutePlanner(routePlanner);

    Alternatively, one can provide a custom RoutePlanner implementation in order to have a complete control over the process of HTTP route computation:

    DefaultHttpClient httpclient = new DefaultHttpClient();
    httpclient.setRoutePlanner(new HttpRoutePlanner() {

    public HttpRoute determineRoute(
    HttpHost target,
    HttpRequest request,
    HttpContext context) throws HttpException {
    return new HttpRoute(target, null, new HttpHost("someproxy", 8080),
    "https".equalsIgnoreCase(target.getSchemeName()));
    }

    });

      回復  更多評論
      

    主站蜘蛛池模板: 亚洲中文字幕无码一去台湾| 日木av无码专区亚洲av毛片| 亚洲天然素人无码专区| 国产免费的野战视频| 亚洲同性男gay网站在线观看| 8x8x华人永久免费视频| 亚洲欧洲国产综合| 日本阿v免费费视频完整版| 亚洲国产高清在线精品一区| 青青青国产在线观看免费| 亚洲国产精品线观看不卡| 欧洲黑大粗无码免费| 亚洲精品无码日韩国产不卡av| 成人永久免费高清| 免费在线观看一区| 亚洲中文久久精品无码ww16| 国产在线精品一区免费香蕉| 亚洲国产美国国产综合一区二区| 1000部国产成人免费视频| 亚洲精品午夜国产va久久| 国产成人在线免费观看| 久久精品成人免费国产片小草| 亚洲精品无码久久久久去q| 8x8x华人永久免费视频| 亚洲中文字幕一二三四区| 亚洲国产精品自在拍在线播放| 久久久久久国产a免费观看不卡| 久久久久亚洲精品影视| 成人免费视频软件网站| 无码日韩人妻AV一区免费l | 四虎国产成人永久精品免费| 亚洲精品午夜久久久伊人| 成人免费视频试看120秒| 国产在线国偷精品免费看| 亚洲区视频在线观看| 亚洲精品无码日韩国产不卡?V| 九九精品成人免费国产片| 最新亚洲卡一卡二卡三新区| 亚洲熟妇少妇任你躁在线观看无码| 国产精品免费无遮挡无码永久视频| 久久亚洲最大成人网4438|