首页 > 代码库 > C#抓取网页HTML内容

C#抓取网页HTML内容

  网上很多内容采集工具,今天就自己试着写一个,发现C#可以轻松的抓去网页的内容,进而通过正则来分离出自己感兴趣的数据。下面是抓去网页内容的代码:

using System;using System.Collections.Generic;using System.Linq;using System.Web;using System.Net;using System.Text;using System.IO;using System.Text.RegularExpressions;namespace Web{   /// <summary>     /// 公共方法类     /// </summary>     public class WebHandler   {      /// <summary>        /// 获取网页的HTML码        /// </summary>        /// <param name="url">链接地址</param>        /// <param name="encoding">编码类型</param>        /// <returns></returns>        public static string GetHtmlStr(string url, string encoding)      {         string htmlStr = "";         try         {            if (!String.IsNullOrEmpty(url))            {               WebRequest request = WebRequest.Create(url);            //实例化WebRequest对象                 WebResponse response = request.GetResponse();           //创建WebResponse对象                 Stream datastream = response.GetResponseStream();       //创建流对象                 Encoding ec = Encoding.Default;               if (encoding == "UTF8")               {                  ec = Encoding.UTF8;               }               else if (encoding == "Default")               {                  ec = Encoding.Default;               }               StreamReader reader = new StreamReader(datastream, ec);               htmlStr = reader.ReadToEnd();                  //读取网页内容                 reader.Close();               datastream.Close();               response.Close();            }         }         catch { }         return htmlStr;      }   }     }

这个方法可以获取网页的HTML内容,有了HTML我们就可以通过正则来抓去自己想要的内容了。。。