首页 > 代码库 > 1、历史天气查询网站-准备工作
1、历史天气查询网站-准备工作
一、引言
一直想学习Sql Server、Oracle数据库的优化技巧,以及一些Html的酷炫报表,可是没有数据。如果是自己造数据,觉得太麻烦,同时效果也不好。于是乎小编想到了爬虫,爬取网上的数据。
既然决定采用爬虫获取数据,下面就开始思考选择爬去什么类型的数据。有小说数据、豆瓣电影、天气数据等等,最终小编选择了天气数据。百度了几天了,浏览天气网站,发现历史天气查询网站的数据比较符合小编的感官,下面贴该网站的界面图。
二、目标网站截图
1、天气查询网站首页http://lishi.tianqi.com/
2、点击随便选择一个城市(阿城)
3、点击查看2017年4月天气
小编最终想要的爬取的数据是阿城的每天天气数据,即日期,最高气温,最低气温,天气,风向,风力。
三、准备工作
由于小编从毕业到现在的五年时间里,一直在用开发C#开发程序。虽然C#也是可以做爬虫工具,如果有时间的话以后小编会和大家分享一个C#异步编程的爬虫demo,但是现在还要想专业靠齐。
闲话少说,下面是我开发用到的软件。
1、Python 3.6
2、Sql Server
该软件可以去http://www.itellyou.cn/下载
3、Pycharm
四、总结
软件工具需要这三个就可以了。
小编自学了一段时间的Python,没有系统的看过一本Python的书籍。知识完全来源于百度及各位博主的无私奉献,如果有什么不对的地方,请各位勿喷。
另外,如果以后有时间的话会和大家分享.Net制作的爬虫工具。
1、历史天气查询网站-准备工作