首页 > 代码库 > Python爬取新浪微博评论数据,写入csv文件中
Python爬取新浪微博评论数据,写入csv文件中
因为新浪微博网页版爬虫比较困难,故采取用手机网页端爬取的方式
操作步骤如下:
1. 网页版登陆新浪微博
2.打开m.weibo.cn
3.查找自己感兴趣的话题,获取对应的数据接口链接
4.获取cookies和headers
# -*- coding: utf-8 -*- import requests import csv import os base_url = ‘https://m.weibo.cn/api/comments/show?id=4131150395559419&page={page}‘ cookies = {‘Cookie‘:‘xxx‘} headers = {‘User-Agent‘:‘xxx‘} path = os.getcwd()+"/weibo.csv" csvfile = open(path, ‘a+‘, encoding=‘utf-8‘,newline=‘‘) writer = csv.writer(csvfile) writer.writerow((‘username‘,‘source‘,‘comment‘)) for i in range(0,83): try: url = base_url.format(page=i) resp = requests.get(url, headers=headers, cookies=cookies) jsondata = resp.json() data = jsondata.get(‘data‘) for d in data: created_at = d.get("created_at") source = d.get("source") username = d.get("user").get("screen_name") comment = d.get("text") print((username,source,comment)) writer.writerow((username, source, comment)) except: print(‘*‘*1000) pass csvfile.close()
至于爬出来的数据有非中文的数据,要提取中文请参考:筛选出一段文字中的中文
未完待续。。。。
Python爬取新浪微博评论数据,写入csv文件中
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。