爬虫 查看站点的个数和解析网站使用的技术栈和找到网站的所有者

简介

网站的个数可以作为自己要爬取时间的估算。
技术栈可以知道自己要爬取的难度。

网站的个数

www.baidu.com 然后 输入 site:www.cnblogs.com 就可以知道 博客园大概有多少个页面了。 1000万个左右。

识别网站所采用技术栈

pip install builtwith

import builtwith
builtwith.parse('http://www.cnblogs.com')
{'advertising-networks': ['DoubleClick for Publishers (DFP)'], 'javascript-frameworks': ['Vue.js', 'jQuery']}
// 得知 采用的是vue 和 jquery。

找到网站的所有者

pip install python-whois

import whois
print(whois.whois('www.changeworld.shop'))
{
  "domain_name": "CHANGEWORLD.SHOP",
  "registrar": "Bizcn.com,Inc",
  "whois_server": null,
  "referral_url": null,
  "updated_date": "2019-04-24 04:22:03",
  "creation_date": "2019-04-15 14:23:58",
  "expiration_date": "2020-04-15 23:59:59",
  "name_servers": [
    "NS1.BDYDNS.CN",
    "NS2.BDYDNS.CN"
  ],
  "status": "clientTransferProhibited https://icann.org/epp#clientTransferProhibited",
  "emails": null,
  "dnssec": "unsigned",
  "name": null,
  "org": null,
  "address": null,
  "city": null,
  "state": "Zhejiang",
  "zipcode": null,
  "country": "CN"
}
可以看出大致的信息。