,python3.6版本
在看网上的安装的时候下一堆依赖,其实没有必要一个个的去装,pip直接分析依赖一块下载安装下来!
已经安装了pip模块
直接上
pip install scrapy
安装twisted依赖的时候,报错
microsoft visual c++ 14.0 is required
去下载一个twisted安装包,链接如下,注意选择一个与python版本相符合的包我的python版本是3.6,就下载最后一个就行了
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
然后pip安装Twisted
pip install Twisted-17.9.0-cp36-cp36m-win64.whl
之后再尝试安装scrapy
pip install scrapy
至此,Scrapy安装完毕!
使用Scrapy创建一个项目,scrapyTest是项目的名称
scrapy startproject scrapyTest
把生成的scrapyTest文件去剪切到pycharm的project路径下,然后用pycharm打开,第一个scrapy项目就导入好了
试着用网上的教程,爬取一个简单的网站。参考教程
http://www.cnblogs.com/wanghzh/p/5824181.html