上一篇中我們說到了，如何使用 HttpClient 抓取所需要的數據，接下來介紹一下如何對這些數據進行處理。基本的處理原理是使用正則表達式進行內容的匹配。
為了便于處理，我們首先把使用 HttpClient 抓取到的數據做一些簡單的處理。
第一步要做的就是刪除回車符，當然我不會寫含有回車符的正則表達式才會這么寫的，當然如果您有更好的方法也可以不用這么做。
代碼很簡單：
1
protected String removeEnter(String response) 
{
2
response = StringUtils.replace(response, "\r\n", "");
3 response = StringUtils.replace(response, "\n", "");
4 return response;
5
}
接下來就可以使用正則表達式來對所抓取的內容進行匹配了：
正則表達式是一種可以用于模式匹配和替換的強有力的工具，一個正則表達式就是由普通的字符（例如字符 a 到 z）以及特殊字符（稱為元字符）組成的文字模式，它描述在查找文字主體時待匹配的一個或多個字符串。正則表達式作為一個模板，將某個字符模式與所搜索的字符串進行匹配。正則表達式在字符數據處理中起著非常重要的作用，我們可以用正則表達式完成大部分的數據分析處理工作，如:判斷一個串是否是數字、是否是有效的Email地址，從海量的文字資料中提取有價值的數據等等，如果不使用正則表達式，那么實現的程序可能會很長，并且容易出錯。對這點本人深有體會，面對大量工具書電子檔資料的整理工作，如果不懂得應用正則表達式來處理，那么將是很痛苦的一件事情，反之則將可以輕松地完成，獲得事半功倍的效果。
在這里，我使用了 Jakarta-ORO 作為正則表達式工具來進行匹配。
Jakarta-ORO是最全面以及優化得最好的正則表達式API之一，Jakarta-ORO庫以前叫做OROMatcher，是由Daniel F. Savarese編寫，后來他將其贈與Jakarta Project，讀者可在jakarta.apache.org的網站下載該API包。
因為在這里我們不需要用到太多正則表達式的知識，僅僅是簡單的用用而已，所以幾行簡單的代碼就可以解決問題：
protected String match(String response, String template, int index) {
Perl5Util engine = new Perl5Util();
String name = null;
if (response != null) {
if (engine.match(template, response)) {
name = engine.group(index);
}
}
return name;
}
第一個參數 response 表示抓取到的頁面源碼，第二個參數 template 表示我們預先設定的模板，第三個表示第幾個匹配。返回的結果是匹配成功的 group 中的內容。
于是我們可以這樣的調用它：
String template = "/(滬綜指)</font></b></a> <span id=\"STK1\">(\\d{4,5}\\.\\d{1,4})</span>";
String name = match(response, template, 1);
String index = match(response, template, 2);
注意一下，我們正則表達式前后都有 "/"。
另外，我們用() 括起來的部分表示我們要匹配的內容，所以這里 name 可以匹配到 滬綜指，index 可以匹配到大盤的點數。
該匹配對應于： http://web7.jrj.com/homev1/StockIndex.htm
為了防止頁面以后打不開了大家找不到，我把其中相關的匹配部分的頁面源碼也發出來：
<a href=javascript:ShowImg('000001',2) target=_self><b><font color=#000000>滬綜指</font></b></a> <span id="STK1">3914.20</span> <span id="STK2" class="c1"><img src=/HomeV1/images/down.gif width=8 height=8>164.40</span> <a href=javascript:ShowImg('399001',1) target=_self><b><font color=#000000>深成指</font></b></a> <span id="STK3">12882.17</span> <span id="STK4" class="c1"><img src=/HomeV1/images/down.gif width=8 height=8>701.53</span> <a href=javascript:ShowImg('399300',1) target=_self><b><font color=#000000>滬深300</font></b></a> <span id="STK5">3858.52</span> <span id="STK6" class="c1"><img src=/HomeV1/images/down.gif width=8 height=8>181.96</span> <b>香港恒生</b> <span id="STK7">21938.22</span> <span id="STK8" class="c3"><img src=/HomeV1/images/up.gif width=8 height=8>232.66</span> <b>道瓊斯</b> <span id="STK9">13414.48</span> <span id="STK10" class="c1"><img src=/HomeV1/images/down.gif width=8 height=8>13.25</span> <b>納斯達克</b> <span id="STK11">2612.02</span> <span id="STK12" class="c3"><img src=/HomeV1/images/up.gif width=8 height=8>6.67</span>
<div id="indexdata"><object id="STKData" width="0" height="0" classid="CLSID:333C7BC4-460F-11D0-BC04-0080C7055A83" viewastext><param name="FieldDelim" value="F"><param name="DataURL" value="/HomeV1/text/StockIndex.htm"><param name="UseHeader" value="true"></object><input type="hidden" id="STKValue" datasrc="#STKData" datafld="a" name="STKValue"></div>
因為我不是為了介紹正則表達式而寫這篇文章的，所以對正則表達式不會做太多的介紹，如果大家對正則表達式有興趣或想進一步了解的話可以參考：
JAVA中正則表達式的應用
http://www.ibm.com/developerworks/cn/java/l-regp/part1/index.html
http://www.ibm.com/developerworks/cn/java/l-regp/part2/index.html 另外因為為了抓取其他東西，代碼已經被我改的面目全非了，暫時就不方便貼出來了，請大家諒解，如果大家有什么疑問的話可以和我聯系，我會盡量說明清楚的。
posted on 2007-06-28 22:58
steady 閱讀(1784)
評論(2) 編輯 收藏 所屬分類:
技術隨筆