首页 > 代码库 > 关于web爬虫的tips

关于web爬虫的tips


  1. 网站爬虫限制默认在心中
    robots.txt 

  2. 爬一个网站怎么预测爬的量
    技术分享
    技术分享

  3. 每个网站都使用各种各样的技术,怎么确定网站使用的技术
    pip install builtwith

     >>> import builtwith

     >>> builtwith.parse(‘http://www.douban.com‘)

    {u‘javascript-frameworks‘: [u‘jQuery‘], u‘tag-managers‘: [u‘Google Tag Manager‘], u‘analytics‘: [u‘Piwik‘]}



  4. #网站的所属者
    pip install python-whois
    >>> print whois.whois(‘cnblogs.com‘)
    {
      "updated_date": [
        "2014-11-12 00:00:00", 
        "2014-11-12 01:07:15"
      ], 
      "status": [
        "clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited", 
        "clientTransferProhibited https://icann.org/epp#clientTransferProhibited"
      ], 
      "name": "du yong", 
      "dnssec": "unsigned", 
      "city": "Shanghai", 
      "expiration_date": [
        "2021-11-12 00:00:00", 
        "2021-11-11 04:00:00"
      ], 
      "zipcode": "201203", 
      "domain_name": [
        "CNBLOGS.COM", 
        "cnblogs.com"
      ], 
      "country": "CN", 
      "whois_server": "whois.35.com", 
      "state": "Shanghai", 
      "registrar": "35 Technology Co., Ltd.", 
      "referral_url": "http://www.35.com", 
      "address": "Room 312, No.22 BOXIA Rd, Pudong New District", 
      "name_servers": [
        "NS3.DNSV4.COM", 
        "NS4.DNSV4.COM", 
        "ns3.dnsv4.com", 
        "ns4.dnsv4.com"
      ], 
      "org": "Shanghai Yucheng Information Technology Co. Ltd.", 
      "creation_date": [
        "2003-11-12 00:00:00", 
        "2003-11-11 04:00:00"
      ], 
      "emails": [
        "abuse@35.cn", 
        "dudu.yz@gmail.com"
      ]
    }


本文出自 “similarface” 博客,请务必保留此出处http://similarface.blog.51cto.com/3567714/1861494

关于web爬虫的tips