首页 > 代码库 > C#远程获取/读取网页内容

C#远程获取/读取网页内容

2024-07-16 06:12:49   223人阅读

转载自 ：http://blog.csdn.net/gisfarmer/article/details/2836904

 

  1. using System;
  2. using System.Collections.Generic;
  3. using System.Text;
  4. using System.Net;
  5. using System.IO;
  6. namespace thief
  7. {
  8.     class Program
  9.     {
  10.         static void Main(string[] args)
  11.         {
  12.             
  13.             try {
  14.                 WebClient MyWebClient = new WebClient();
  15.                 MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于对向Internet资源的请求进行身份验证的网络凭据。
  16.                 Byte[] pageData = MyWebClient.DownloadData(http://www.163.com); //从指定网站下载数据
  17.                 string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句              
  18.                 //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句
  19.                 Console.WriteLine(pageHtml);//在控制台输入获取的内容
  20.                 using (StreamWriter sw = new StreamWriter("c://test//ouput.html"))//将获取的内容写入文本
  21.                 {
  22.                     sw.Write(pageHtml);
  23.                 }
  24.                 Console.ReadLine(); //让控制台暂停,否则一闪而过了               
  25.             }
  26.             catch(WebException webEx) {
  27.                 Console.WriteLine(webEx.Message.ToString());
  28.             }
  29.         }
  30.     }
  31. }

改进一下,加入定时器后

      1. using System;
      2. using System.Text;
      3. using System.Timers;
      4. using System.Net;
      5. using System.IO;
      7. //<summary>
      8. //每隔5秒钟将指定网页的内容抓取下来,并以文件形式保存到c:/test目录中
      9. //</summary>
      10. namespace TimerTest
      11. {
      12.     class Program
      13.     {
      14.         public static string outFileName = "";                  //生成的文件名
      15.         public static string myUrl = "http://bxg.cfchina.cn";    //要抓取的网页
      17.         static void Main(string[] args)
      18.         {
      19.             Timer mytimer = new Timer();
      20.             mytimer.Elapsed +=new ElapsedEventHandler(GetUrl);//指定定时器的事件
      21.             mytimer.Interval = 5000;//每隔5秒抓一次
      22.             mytimer.Start();
      23.             mytimer.Enabled = true;
      24.             while (Console.Read() != ‘q‘) //直到按小写字母q退出,否则一直抓取下去
      25.             {
      27.             }
      28.         }
      30.         //定时器事件内容
      31.         static void GetUrl(object source, ElapsedEventArgs e)
      32.         {
      33.             try
      34.             {
      35.                 WebClient MyWebClient = new WebClient();
      37.                 MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于对向Internet资源的请求进行身份验证的网络凭据。
      39.                 Byte[] pageData = MyWebClient.DownloadData(myUrl);//从指定网站下载数据
      41.                 string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句              
      43.                 //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句
      45.                 //Console.WriteLine(pageHtml);//在控制台输入获取的内容
      47.                 outFileName = "C://test//" + DateTime.Now.ToString().Replace(" ", "").Replace(":", "").Replace("-", "") + ".html";
      49.                 using (StreamWriter sw = new StreamWriter(outFileName))//将获取的内容写入文本
      50.                 {
      51.                     sw.Write(pageHtml);
      52.                 }
      54.                 Console.WriteLine(outFileName);  //输出保存后的文件名                      
      55.             }
      57.             catch (WebException webEx)
      58.             {
      59.                 Console.WriteLine(webEx.Message.ToString());
      60.             }
      62.         }
      64.     }
      65. }


联系
我们