首页 > 代码库 > 1、历史天气查询网站-准备工作

1、历史天气查询网站-准备工作

 

一、引言 

          一直想学习Sql Server、Oracle数据库的优化技巧,以及一些Html的酷炫报表,可是没有数据。如果是自己造数据,觉得太麻烦,同时效果也不好。于是乎小编想到了爬虫,爬取网上的数据。

          既然决定采用爬虫获取数据,下面就开始思考选择爬去什么类型的数据。有小说数据、豆瓣电影、天气数据等等,最终小编选择了天气数据。百度了几天了,浏览天气网站,发现历史天气查询网站的数据比较符合小编的感官,下面贴该网站的界面图。

 

二、目标网站截图

1、天气查询网站首页http://lishi.tianqi.com/

技术分享

 

2、点击随便选择一个城市(阿城)

 

技术分享

 

 3、点击查看2017年4月天气

技术分享

 

 小编最终想要的爬取的数据是阿城的每天天气数据,即日期,最高气温,最低气温,天气,风向,风力。

 

三、准备工作

         由于小编从毕业到现在的五年时间里,一直在用开发C#开发程序。虽然C#也是可以做爬虫工具,如果有时间的话以后小编会和大家分享一个C#异步编程的爬虫demo,但是现在还要想专业靠齐。

         闲话少说,下面是我开发用到的软件。

         1、Python 3.6

              技术分享

 

         2、Sql Server

              技术分享

              该软件可以去http://www.itellyou.cn/下载

                 技术分享

 

          3、Pycharm

               技术分享

四、总结

           软件工具需要这三个就可以了。

           小编自学了一段时间的Python,没有系统的看过一本Python的书籍。知识完全来源于百度及各位博主的无私奉献,如果有什么不对的地方,请各位勿喷。

           另外,如果以后有时间的话会和大家分享.Net制作的爬虫工具。

 

1、历史天气查询网站-准备工作