出處：http://zkxp.cnblogs.com/archive/2006/04/24/383924.html
背景
隨著Internet的普及，網絡信息正以極高的速度增長，在這么多數(shù)據(jù)中找到自己需要的信息是一件很繁瑣的事情，找到需要的信息后如何獲取也是件麻煩的事。這就需要Internet信息抓取程序來代替人工的操作。
所謂Internet信息抓取程序，就是程序會按照用戶的關鍵詞或關鍵網站來收集相應的信息，并提供給用戶想要的信息格式。
?
信息量的增加會帶來信息網站發(fā)布人員工作量的劇增，為實現(xiàn)信息發(fā)布系統(tǒng)實現(xiàn)信息自
動發(fā)布、減少工作人員工作量、即時跟蹤最新信息，就需要自動信息提供程序，因此Internet信息抓取程序應運而生。
?
目標
?
實現(xiàn)自定義網站信息分類抓取，存入本地數(shù)據(jù)庫、生成靜態(tài)頁面或其它用戶定義的信息結構，并下載與信息相關的多媒體文件。
?
開發(fā)
?
l???????? 目標站點結構分析
本步驟是準確抓取信息個關鍵。
首先要選擇更新頻率高的頁面做為抓取地址，然后分析要抓取內容頁面url特點。
然后分析要抓取信息頁面的元素特性，比如標題位置，內容位置 等，得到定位標記點。
將以上信息寫成自己的配置文件或存到數(shù)據(jù)庫中。
每個網站都需要分析，寫出單獨的配置文件，供抓取程序使用。
?
l???????? 信息提取
根據(jù)配置文件取得要抓取頁面url，使用HttpWebRequest類獲取內容：
//獲取http頁面函數(shù)
??????? public string Get_Http(string a_strUrl,int timeout)
??????? {
??????????? string strResult ;????????
?
??????????? try
??????????? {
HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;
??????????????? myReq.Timeout = timeout;
??????????????? HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
???????????
??????????????? Stream myStream = HttpWResp.GetResponseStream () ;
?
??????????????? StreamReader sr = new StreamReader(myStream , Encoding.Default);
??????????????? StringBuilder strBuilder = new StringBuilder();
??????????????? while (-1 != sr.Peek())
??????????????? {
??????????????????? strBuilder.Append(sr.ReadLine()+"\r\n");
??????????????? }
?
??????????????? strResult = strBuilder.ToString();
??????????? }
??????????? catch(Exception exp)
??????????? {
??????????????? strResult = "錯誤：" + exp.Message ;
??????????? }
?
??????????? return strResult ;
?
??????? }
獲取頁面內容后，分析頁面中連接地址取到要抓取的url：
//處理頁面標題和鏈接
??????? public string SniffWebUrl( string urlStr,string blockB,string blockE )
??????? {??????
??????????? string urlch1 = "";
??????????? string urlch2 = "";???????????????????
??????????? int end_n1 = 0;
??????????? int end_nums = 0;
??????????? int end_nums1 = 0;
??????????? int end_nums2 = 0;
??????????? int end_nums3???? = 0;???????????
??????????? string reUTStr = "";
??????????? string reTitle = "";
??????????? string ret = "";??????????
??????????? try
??????????? {
??????????????? int pos01 = urlStr.IndexOf( "." );
??????????????? int pos02 = urlStr.LastIndexOf( "/" );
??????????????? if( pos01 < 0 )
??????????????? {
??????????????????? return "";
??????????????? }
??????????????? if( pos02 < 0 )
??????????????? {
??????????????????? return "";
??????????????? }
??????????????? int pos03 = urlStr.IndexOf( "/",pos01 );
??????????????? if ( pos03 < 0 )
??????????????? {
??????????????????? urlch1 = urlStr;
??????????????????? urlch2 = urlStr;
??????????????? }
??????????????? else
??????????????? {
??????????????????? urlch1 = urlStr.Substring( 0,pos03 );
??????????????????? urlch2 = urlStr.Substring( 0,pos02 );
??????????????? }
?
??????????????? string tmpAllStr = new PublicFun().Get_Http( urlStr ,time1);
?
??????????????? int pos1 = tmpAllStr.IndexOf( blockB );
??????????????? int pos2 = tmpAllStr.IndexOf( blockE,pos1 + blockB.Length );
??????????????? if ( pos1>0 && pos2>0 && pos2>pos1 )
??????????????? {
??????????????????? ret = tmpAllStr.Substring( pos1 + blockB.Length,pos2 - pos1 - blockB.Length );
??????????????????? ret = ret.Substring( ret.IndexOf( "<" ));
??????????????????? while( ret.IndexOf( "<A" ) >= 0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "<A" ) ) + "<a" + ret.Substring( ret.IndexOf( "<A" ) + 2 );
??????????????????? }
??????????????????? while( ret.IndexOf( "</A" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "</A" ) ) + "</a" + ret.Substring( ret.IndexOf( "</A" ) + 3 );
??????????????????? }
??????????????????? while( ret.IndexOf( "Href=" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "Href=" )) + "href=" + ret.Substring( ret.IndexOf( "Href=" ) + 5 );
??????????????????? }
??????????????????? while( ret.IndexOf( "HREF=" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "HREF=" )) + "href=" + ret.Substring( ret.IndexOf( "HREF=" ) + 5 );
??????????????????? }
??????????????????? while( ret.IndexOf( "href='" ) >=0 )
??????????????????? {
??????????????????????? ret = ret.Substring( 0,ret.IndexOf( "href='" )) + "href=\"" + ret.Substring( ret.IndexOf( "href='" ) + 6 );?