首页 > 代码库 > python爬虫爬取页面源码在本页面展示
python爬虫爬取页面源码在本页面展示
python爬虫在爬取网页内容时，需要将内容连同内容格式一同爬取过来，然后在自己的web页面中显示，自己的web页面为django框架
首先定义一个变量html，变量值为一段HTML代码
>>> print(html) <div id=1> my <br> name <br> is JAY <br> </div>
，我们现在要取div里面的内容，在自己的web页面中显示，空格和换行符等都以HTML代码的形式抓取。最终想要的数据为
my <br>
name <br>
is JAY <br>
（1）首先soup.string是不行的，因为div下面不止一个子标签
>>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup(html, ‘html.parser‘) >>> soup.string >>>
可以看到返回值为空
（2）使用get_text()也是不行的，因为get_text()获取的字符串都是转义后的，我们要的是原生的HTML代码
>>> soup.get_text() ‘ \n \xa0\xa0my \n \xa0 name \n is \xa0 JAY \n‘
不过get_text()在其他很多场合很实用，它可以获取标签下的所有子孙标签内的文本内容
同时可以指定参数
>>> soup.get_text(‘|‘) #所有tag文本内容的分隔符 ‘ \n \xa0\xa0my | \n \xa0 name |\n is \xa0 JAY |\n‘ >>> soup.get_text(‘|‘, strip=True) #去掉文本内容前后的空白 ‘my|name|is \xa0 JAY‘
或者使用soup.stripped_strings生成器，获取文本内容手动处理
（3）可以使用.contents
>>> content_soup = soup.div.contents >>> content_soup [‘ \n \xa0\xa0my ‘, <br/>, ‘ \n \xa0 name ‘, <br/>, ‘\n is \xa0 JAY ‘, <br/>, ‘\n‘] >>> content_soup = [str(i) for i in content_soup] #列表中的所有值改换为字符串类型 >>> content_text = ‘‘.join(content_soup) #合并列表到一个字符串中 >>> content_text ‘ \n \xa0\xa0my <br/> \n \xa0 name <br/>\n is \xa0 JAY <br/>\n‘ >>> print(content_text) my <br/> name <br/> is JAY <br/>
至此，就可以直接将变量放到web页面中
python爬虫爬取页面源码在本页面展示
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。