首页 > 代码库 > 网络采集软件核心技术剖析系列（2）---如何使用C#语言获得任意站点博文的正文及标题
网络采集软件核心技术剖析系列（2）---如何使用C#语言获得任意站点博文的正文及标题
一 本系列随笔概览及产生的背景
本系列开篇受到大家的热烈欢迎，这对博主是莫大的鼓励，此为本系列第二篇，希望大家继续支持，为我继续写作提供动力。
自己开发的豆约翰博客备份专家软件工具问世3年多以来，深受广大博客写作和阅读爱好者的喜爱。同时也不乏一些技术爱好者咨询我，这个软件里面各种实用的功能是如何实现的。
该软件使用.NET技术开发，为回馈社区，现将该软件中用到的核心技术，开辟一个专栏，写一个系列文章，以飨广大技术爱好者。
本系列文章除了讲解网络采编发用到的各种重要技术之外，也提供了不少问题的解决思路和界面开发的编程经验，非常适合.NET开发的初级，中级读者，希望大家多多支持。
很多初学者常有此类困惑，“为什么我书也看了，C#相关的各个方面的知识都有所了解，但就是没法写出一个像样的应用呢？”，
这其实还是没有学会综合运用所学知识，锻炼出编程思维，建立起学习兴趣，我想该系列文章也许会帮到您，但愿如此。
开发环境：VS2008
本节源码位置：https://github.com/songboriceboy/GetWebContent
源码下载办法：安装SVN客户端(本文最后提供下载地址)，然后checkout以下的地址：https://github.com/songboriceboy/GetWebContent
系列文章提纲拟定如下：
2.如何使用C#语言获得博文的正文及标题；
3.使用C#语言如何将html网页转换成pdf（html2pdf）
4.如何使用C#语言下载博文中的全部图片到本地并可以离线浏览
5.如何使用C#语言合成多个单个的pdf文件到一个pdf中，并生成目录
6.网易博客的链接如何使用C#语言获取到，网易博客的特殊性；
7.微信公众号文章如何使用C#语言下载；
8.如何获取任意一篇文章的全部图文
9.如何使用C#语言去掉html中的全部标签获取纯文本（html2txt）
10.如何使用C#语言将多个html文件编译成chm（html2chm）
11.如何使用C#语言远程发布文章到新浪博客
12.如何使用C#语言开发静态站点生成器
13.如何使用C#语言搭建程序框架(经典Winform界面，顶部菜单栏，工具栏，左边树形列表，右边多Tab界面）
14.如何使用C#语言实现网页编辑器（Winform)
二 第二节主要内容简介（如何使用C#语言获得任意站点博文的正文及标题）
使用C#语言获得任意站点博文的正文及标题的解决方案演示demo如下图所示：可执行文件下载
三 基本原理
要想获取任意网页文章的正文及标题，我们除了要利用上一节提到的HtmlAgilityPack.dll程序集之外，还要借助于另外一个实用的程序集Fizzler.dll（http://fizzlerex.codeplex.com/）
HtmlAgilityPack是通过xpath来解析html元素，相对来说还是稍微麻烦些；Fizzler提供了类似css选择器的方式来解析html元素，非常符合我们的习惯。
通常对于某篇文章，我们只想保留文章的正文（去掉广告，侧边栏等四周的网页布局元素），接下来，我们就来看一下操作步骤，这里我们需要借助一下强大的浏览器工具。
1.使用firefox浏览器或chrome浏览器打开我们想要提取正文的网页，firefox要安装firebug插件，chrome直接按F12，这里我们以firefox举例：
比如，打开我们上一节的博文（http://www.cnblogs.com/ice-river/p/4110799.html），如下图所示：
首先右上角的小虫子图标在我们安装完firebug插件后出现，点击它，浏览器下端弹出调试界面，在调试界面中，点击我红线框起来的图标（一蓝色方框，上面有个箭头），此时你会发现网页中的各个元素都变为可框选的，我们框选正文之后，会发现在下面的调试界面对应的div元素被高亮选中，我们对该div元素（博客园这里是div#cnblogs_post_body）右键，弹出右键菜单，如下图所示：
我们点击[复制css路径菜单项]，此时我们粘贴板中就得到了正文的css路径[html body div#home div#main div#mainContent div.forFlow div#topics div.post div.postBody div#cnblogs_post_body]
对于Fizzler来说，我们只需要提供最后部分的div#cnblogs_post_body即可（大家记住，我们只需要从获得的css路径长字符串中从后往前看，拿到最后一个空格之后的字符串，这里是div#cnblogs_post_body
把这个字符串填入到我们demo的[正文css路径]部分，如下图所示：
其实对应于Fizzler来讲，只需一行代码：
IEnumerable<HtmlNode> NodesMainContent = htmlDoc.DocumentNode.QuerySelectorAll(this.textBoxCssPath.Text);
是不是很简单？
对于其他技术博客，大家可以自行练习，检验是否理解了我上面所说的方法，这里给出几个常见技术博客的正文Css路径答案：
站点 ---> CSS路径"Cnblogs" ---> "div#cnblogs_post_body""Csdn" ---> "div#article_content.article_content""51CTO" ---> "div.showContent""Iteye" ---> "div#blog_content.blog_content""ItPub" ---> "div.Blog_wz1""ChinaUnix" ---> "div.Blog_wz1"
好了，回过头来我们讲讲本节demo中的重点代码：
获取博客正文标题：
private void GetTitle() { string strContent = m_wd.GetPageByHttpWebRequest(this.textBoxUrl.Text, Encoding.UTF8); HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument { OptionAddDebuggingAttributes = false, OptionAutoCloseOnEnd = true, OptionFixNestedTags = true, OptionReadEncoding = true }; htmlDoc.LoadHtml(strContent); string strTitle = ""; HtmlNodeCollection nodes = htmlDoc.DocumentNode.SelectNodes("//title"); // Extract Title if (!Equals(nodes, null)) { strTitle = string.Join(";", nodes. Select(n => n.InnerText). ToArray()).Trim(); } strTitle = strTitle.Replace("博客园", ""); strTitle = Regex.Replace(strTitle, @"[|/\;:*?<>&#-]", "").ToString(); strTitle = Regex.Replace(strTitle, "[\"]", "").ToString(); this.textBoxTitle.Text = strTitle.TrimEnd(); }
主要流程是首先用我们上一节给出的 WebDownloader类获取到网页的源代码，然后通过下面一行代码获取网页标题：
HtmlNodeCollection nodes = htmlDoc.DocumentNode.SelectNodes("//title");
这里的借助了HtmlAgilityPack的SelectNodes函数提取网页中的title元素，注意一般的格式良好网页都具有title元素，因为这样方便搜索引擎索引收录我们的文章，下图解释下什么是title元素
大家注意上图，我用红笔圈出的2个地方，应该不言自明了吧，不解释。
获取博客正文内容：
private void GetMainContent() { string strContent = m_wd.GetPageByHttpWebRequest(this.textBoxUrl.Text, Encoding.UTF8); HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument { OptionAddDebuggingAttributes = false, OptionAutoCloseOnEnd = true, OptionFixNestedTags = true, OptionReadEncoding = true }; htmlDoc.LoadHtml(strContent); IEnumerable<HtmlNode> NodesMainContent = htmlDoc.DocumentNode.QuerySelectorAll(this.textBoxCssPath.Text); if (NodesMainContent.Count() > 0) { this.richTextBox1.Text = NodesMainContent.ToArray()[0].OuterHtml; this.webBrowser1.DocumentText = this.richTextBox1.Text; } }
很简单就是调用htmlDoc.DocumentNode.QuerySelectorAll函数，参数传入我们上面讲到的正文div的css路径，最后NodesMainContent.ToArray()[0].OuterHtml中保存的就是网页正文内容的源代码，放到richTextBox1.Text里显示html源代码，放到webBrowser1.DocumentText里显示网页内容。
四 下节预告
网页的抓取主要分为3步：
1.通过分页链接抓取到全部文章链接集合（第一节内容）
2.通过每一个文章链接获取到文章的标题及正文（本节内容）
3.从文章正文中解析出全部图片链接，并将文章的全部图片下载到本地（下节内容）
这3步有了，之后你就想怎么折腾就怎么折腾了，各种加工处理，生成pdf，chm，静态站点，远程发布到其他站点等等（请继续关注本系列文章，并不吝点一下推荐，您的支持是我写作的最大动力）。
出处：http://www.cnblogs.com/ice-river/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。
正在看本人博客的这位童鞋，我看你气度不凡，谈吐间隐隐有王者之气，日后必有一番作为！旁边有“推荐”二字，你就顺手把它点了吧，相得准，我分文不收；相不准，你也好回来找我！
网络采集软件核心技术剖析系列（2）---如何使用C#语言获得任意站点博文的正文及标题