首页 > 代码库 > python爬虫__第一个爬虫程序
python爬虫__第一个爬虫程序
前言
机缘巧合，最近在学习机器学习实战，
本来要用python来做实验和开发环境
得到一个需求，要爬取大众点评中的一些商户信息,
于是开启了我的第一个爬虫的编写，里面有好多心酸，主要是第一次。
我的文章有幸被你看到的话，如果你也是个初学者，希望能让你也学习到一些东西，下面是干货。
需求：
环境：
1、windows 7 +python2.7.3+BeautifulSoup包
2、BeautifulSoup是用的最新版，4.x的，在bs4的包中，直接用pip install BeautifulSoup即可安装，前提你得有pip,或者easy_install也可以
3、这里用到BeautifulSoup，主要是获取爬下来的html文档树，然后提供了一套获取网页数据内容的API,如指定标签属性或内容等。
4、BeautifulSoup这个东西蛮好用的，但是涉及到一些特别的需求，还是要正则出马，正则我也不熟，有时间还是要专门学一下，共勉。
源码：
1 # -*- coding: utf-8 -*- 2 import urllib2 3 import re 4 from bs4 import BeautifulSoup 5 6 base_url = ‘http://www.dianping.com‘ 7 url = ‘http://www.dianping.com/search/category/1/10/g101r801‘ 8 html = urllib2.urlopen(url) 9 soup = BeautifulSoup(html,"html.parser")10 flag = 011 12 while(url!=None): 13 html = urllib2.urlopen(url)14 soup = BeautifulSoup(html,"html.parser")15 16 #餐厅总数17 Sum = soup.find(attrs={‘class‘:‘num‘}).string18 #餐厅名称19 names = soup.find_all(‘a‘,attrs={‘data-hippo-type‘:‘shop‘})20 #星级21 levels = soup.find_all([‘span‘],attrs={‘class‘:re.compile(r"sml-rank-stars(\s\w+)?")})22 #评论数23 nums = soup.find_all(‘a‘,attrs={‘class‘:‘review-num‘})24 #人均消费25 prices = soup.find_all(‘a‘,attrs={‘class‘:‘mean-price‘})26 #菜系区域27 caixis = soup.select(‘div[class="tag-addr"] a‘)28 #详细地址29 addrs = soup.find_all(‘span‘,attrs={‘class‘:‘addr‘})30 #口味、环境、服务评分31 comments = soup.find_all(‘span‘,attrs={‘class‘:‘comment-list‘})32 if(flag==0):33 info = ‘Sum: ‘+ str(Sum).replace(‘(‘,‘‘).replace(‘)‘,‘‘) + ‘\n‘ + ‘#########################################‘34 35 for (a,b,c,d,e,f,g) in zip(names,levels,nums,prices,caixis,addrs,comments):36 info = info +‘\n‘+‘name: ‘+ str(a.text.encode(‘gb18030‘).replace(‘ ‘,‘‘)) 37 info = info +‘\n‘+‘level: ‘+ str(b.get(‘title‘).encode(‘gb18030‘).replace(‘ ‘,‘‘)) 38 info = info +‘\n‘+‘num: ‘+ str(c.text.encode(‘gb18030‘).replace(‘ ‘,‘‘))39 info = info +‘\n‘+‘price: ‘+ str(d.text.encode(‘gb18030‘).replace(‘ ‘,‘‘))40 info = info +‘\n‘+‘caixi: ‘+ str(e.text.encode(‘gb18030‘).replace(‘ ‘,‘‘))41 info = info +‘\n‘+‘addr: ‘+ str(f.text.encode(‘gb18030‘).replace(‘ ‘,‘‘))42 info = info +‘\n‘+‘comment: ‘+ str(g.text.encode(‘gb18030‘).replace(‘ ‘,‘‘))43 info += ‘\n‘+‘#########################################‘44 45 file = open(‘result.txt‘,‘a‘)46 file = file.write(info)47 48 info = ‘‘49 flag = 150 51 url = soup.find(‘a‘,attrs={‘class‘:‘next‘,‘title‘:‘下一页‘})52 if(url!=None):53 url = url.get(‘href‘)54 url = base_url+str(url)55 56 print("end")
结果：
1 56 2 ######################################### 3 海神诺富特大酒店海神宫中餐厅 4 -准四星商户- 5 147 6 条点评- 7 人均 8 ￥135 9 -本帮江浙菜-浦东大道728号海神诺富特大酒店4楼- 10 口味7.3 11 环境7.6 12 服务7.5 13 14 ######################################### 15 浦江六号 16 -准五星商户- 17 90 18 条点评- 19 人均 20 ￥679 21 -陆家嘴-陆家嘴浦明路1888号6号楼- 22 口味8.5 23 环境9.1 24 服务8.9 25 26 ######################################### 27 濱江22號 28 -五星商户- 29 40 30 条点评- 31 人均 32 ￥1000 33 -本帮江浙菜-浦明路1888号黄浦江畔22号楼独栋- 34 口味8.9 35 环境8.9 36 服务8.9 37 38 ######################################### 39 上海小南国(正大广场店) 40 -四星商户- 41 12086 42 条点评- 43 人均 44 ￥201 45 -陆家嘴-陆家嘴西路168号正大广场9楼- 46 口味7.5 47 环境7.8 48 服务7.0 49 50 ######################################### 51 廊亦舫酒楼(正大店) 52 -四星商户- 53 4658 54 条点评- 55 人均 56 ￥156 57 -本帮江浙菜-陆家嘴西路168号正大广场5楼23号铺- 58 口味7.3 59 环境7.6 60 服务6.9 61 62 ######################################### 63 金牌外婆家(上海国金中心店) 64 -四星商户- 65 5400 66 条点评- 67 人均 68 ￥88 69 -陆家嘴-世纪大道8号上海国金中心内LG2层54号- 70 口味7.7 71 环境7.9 72 服务7.8 73 74 ######################################### 75 张生记(正大广场店) 76 -四星商户- 77 5272 78 条点评- 79 人均 80 ￥159 81 -本帮江浙菜-陆家嘴西路168号正大广场6楼- 82 口味7.6 83 环境8.1 84 服务7.0 85 86 ######################################### 87 春在 88 -准五星商户- 89 1214 90 条点评- 91 人均 92 ￥153 93 -陆家嘴-富城路182号- 94 口味8.7 95 环境8.6 96 服务8.1 97 98 ######################################### 99 夏小馆(陆家嘴店)100 -四星商户-101 3161102 条点评-103 人均104 ￥86105 -本帮江浙菜-陆家嘴街道正大广场8楼23号铺-106 口味7.6107 环境7.8108 服务7.8109 110 #########################################111 孔乙己尚宴112 -五星商户-113 645114 条点评-115 人均116 ￥446117 -陆家嘴-滨江大道2100-118 口味9.1119 环境9.2120 服务9.0121 122 #########################################123 桂花楼124 -准四星商户-125 844126 条点评-127 人均128 ￥298129 -本帮江浙菜-富城路33号香格里拉大酒店浦江楼1楼-130 口味7.2131 环境8.0132 服务7.3133 134 #########################################135 爱玲EILEEN(环球金融中心店)136 -准五星商户-137 862138 条点评-139 人均140 ￥307141 -陆家嘴-世纪大道100号环球金融中心3楼-142 口味8.7143 环境9.1144 服务9.0145 146 #########################################147 上海小南国(国会店)148 -四星商户-149 842150 条点评-151 人均152 ￥223153 -本帮江浙菜-滨江大道2727号东方滨江大酒店7楼-154 口味8.0155 环境8.7156 服务7.8157 158 #########################################159 成隆行蟹王府(金茂店)160 -五星商户-161 2091162 条点评-163 人均164 ￥331165 -陆家嘴-世纪大道88号裙房金茂时尚生活馆6楼-166 口味9.1167 环境8.7168 服务8.9169 170 #########################################171 老上海8号餐厅172 -准四星商户-173 387174 条点评-175 人均176 ￥185177 -本帮江浙菜-世纪大道1号东方明珠8号门国际新闻中心1楼-178 口味7.3179 环境8.2180 服务7.2181 182 #########################################183 苏浙总会(国金中心店)184 -准五星商户-185 1014186 条点评-187 人均188 ￥491189 -本帮江浙菜-世纪大道8号国金中心4楼L4-13-190 口味8.5191 环境9.0192 服务8.6193 194 #########################################195 雍颐庭196 -准五星商户-197 460198 条点评-199 人均200 ￥653201 -陆家嘴-浦东南路111号文华东方酒店LG层-202 口味8.6203 环境9.1204 服务9.1205 206 #########################################207 汇尊滨江酒店208 -准四星商户-209 525210 条点评-211 人均212 ￥225213 -本帮江浙菜-滨江大道3528号-214 口味6.9215 环境7.4216 服务6.9217 218 #########################################219 上海小南国(国发店)220 -四星商户-221 1981222 条点评-223 人均224 ￥180225 -陆家嘴-浦东南路500号国家开发银行4楼-226 口味7.6227 环境7.7228 服务7.1229 230 #########################################231 汉宫232 -准四星商户-233 1430234 条点评-235 人均236 ￥122237 -本帮江浙菜-浦东南路360号新上海国际大厦48楼-238 口味6.5239 环境6.5240 服务6.1241 242 #########################################243 上海金茂俱乐部上海餐厅244 -准五星商户-245 640246 条点评-247 人均248 ￥510249 -陆家嘴-世纪大道88号金茂君悦大酒店86楼-250 口味7.7251 环境9.0252 服务8.4253 254 #########################################255 四季酒店尚席256 -五星商户-257 414258 条点评-259 人均260 ￥467261 -本帮江浙菜-世纪大道210号酒店2楼-262 口味8.9263 环境9.1264 服务8.5265 266 #########################################267 乐新皇朝(国金中心店)268 -准五星商户-269 5274270 条点评-271 人均272 ￥111273 -陆家嘴-世纪大道8号国金中心二期L3-36-274 口味8.7275 环境8.6276 服务8.7277 278 #########################################279 老弄堂上海菜280 -准四星商户-281 6282 条点评-283 人均284 -285 -本帮江浙菜-银城西路-286 口味7.1287 环境7.1288 服务7.1289 290 #########################################291 克拉哈勃游艇俱乐部292 -四星商户-293 23294 条点评-295 人均296 ￥376297 -陆家嘴-滨江大道4775号-298 口味7.3299 环境8.1300 服务7.6301 302 #########################################303 上海本帮菜304 -准四星商户-305 9306 条点评-307 人均308 -309 -本帮江浙菜-浦东大道10号-310 口味7.0311 环境6.9312 服务7.0313 314 #########################################315 国泰君安食堂316 -四星商户-317 14318 条点评-319 人均320 -321 -陆家嘴-银城中路168号上海银行大厦B1楼-322 口味7.7323 环境7.7324 服务7.7325 326 #########################################327 海上盛宴328 -准四星商户-329 71330 条点评-331 人均332 ￥71333 -粤菜-浦东大道281号东海宾馆2楼-334 口味7.1335 环境7.1336 服务7.1337 338 #########################################339 彭氏农家大院(龙虾烧烤)340 -准四星商户-341 239342 条点评-343 人均344 ￥76345 -陆家嘴-浦电路136号-346 口味7.6347 环境7.2348 服务7.0349 350 #########################################351 汉宫酒家(银城中路店)352 -准四星商户-353 33354 条点评-355 人均356 ￥27357 -本帮江浙菜-银城中路200号中银大厦6楼-358 口味7.4359 环境7.3360 服务6.7361 362 #########################################363 周董好料364 -三星商户-365 11366 条点评-367 人均368 ￥32369 -本帮江浙菜-世纪大道100号环球金融中心B2-370 口味6.4371 环境6.7372 服务6.7373 374 #########################################375 银行家俱乐部376 -准四星商户-377 86378 条点评-379 人均380 ￥269381 -陆家嘴-银城中路200号中银大厦银行家俱乐部52楼-382 口味6.5383 环境7.2384 服务6.7385 386 #########################################387 香格格(栖霞路店)388 -准四星商户-389 153390 条点评-391 人均392 ￥34393 -本帮江浙菜-栖霞路9号-394 口味6.4395 环境6.0396 服务6.2397 398 #########################################399 Freshmind400 -准四星商户-401 15402 条点评-403 人均404 ￥17405 -陆家嘴-杨高南路759号2层04A单元-406 口味7.1407 环境7.6408 服务7.3409 410 #########################################411 鲜美100412 -准四星商户-413 8414 条点评-415 人均416 -417 -本帮江浙菜-世纪大道8号国金中心商场-418 口味7.0419 环境6.8420 服务7.0421 422 #########################################423 有滋有味家常菜424 -准四星商户-425 4426 条点评-427 人均428 -429 -陆家嘴-崂山二村31号-430 口味7.3431 环境7.3432 服务7.3433 434 #########################################435 东方滨江大酒店宴会厅436 -准四星商户-437 22438 条点评-439 人均440 -441 -本帮江浙菜-滨江大道2727号东方滨江大酒店内-442 口味7.0443 环境7.0444 服务7.1445 446 #########################################447 徽姑娘乡土菜馆448 -准四星商户-449 68450 条点评-451 人均452 ￥45453 -陆家嘴-栖霞路3号-454 口味6.4455 环境6.5456 服务6.4457 458 #########################################459 苏鸿兴汤包馆(浦东大道店)460 -三星商户-461 24462 条点评-463 人均464 ￥15465 -本帮江浙菜-浦东大道136号-466 口味6.4467 环境6.5468 服务6.5469 470 #########################################471 汇丰银行食堂472 -三星商户-473 3474 条点评-475 人均476 ￥13477 -陆家嘴-陆家嘴环路1000号汇丰大厦B1楼-478 口味6.9479 环境6.7480 服务6.7481 482 #########################################483 阳澄湖大闸蟹484 -准四星商户-485 2486 条点评-487 人均488 -489 -本帮江浙菜-世纪大道100号上海环球金融中心B2F-490 口味6.4491 环境6.6492 服务6.4493 494 #########################################495 农家土菜馆496 -三星商户-497 8498 条点评-499 人均500 -501 -本帮江浙菜-栖霞路129号-502 口味7.1503 环境6.8504 服务6.8505 506 #########################################507 恋草堂508 -准四星商户-509 1510 条点评-511 人均512 ￥22513 -陆家嘴-浦东大道287号-514 口味6.8515 环境6.8516 服务6.8517 518 #########################################519 食尚居520 -三星商户-521 10522 条点评-523 人均524 -525 -本帮江浙菜-浦东大道307号-526 口味6.5527 环境6.5528 服务6.5529 530 #########################################531 金世尊大闸蟹(陆家嘴店)532 -三星商户-533 3534 条点评-535 人均536 -537 -陆家嘴-松林路35号-538 口味6.9539 环境6.8540 服务6.9541 542 #########################################543 王记小炒544 -准四星商户-545 17546 条点评-547 人均548 -549 -本帮江浙菜-招远路27号-550 口味7.1551 环境6.9552 服务6.7553 554 #########################################555 露天海派时尚餐厅(二分店)556 -准四星商户-557 2558 条点评-559 人均560 -561 -陆家嘴-南泉北路35号甲-562 口味6.9563 环境6.9564 服务6.9565 566 #########################################
总结：
这个例子虽然很简单，但是作为我第一个爬虫程序，还是耗费了我一晚上，包括配置工具，了解一个新的包，以及在安装环境等等一系列问题，弄完的时候我也是已经筋疲力尽了，虽说完成了爬取的功能，但是还是有些问题需要后续再考虑的，还有一个问题是菜系和区域这两个东西有点乱，这是目前没有解决的，因为正则知识太差了，这两个信息的话很难区分开，后面再看看能不能解决吧。
总的来说，收获还是有的，至少知道了如何在没有预先知识的情况下，从零开始去找资料实现一个不熟悉的东西。
爬虫这东西应用也很广的，值得学一下，期望在下一份工作中用到这些知识吧。
python爬虫__第一个爬虫程序
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。