博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用scrapy前的环境搭建
阅读量:6625 次
发布时间:2019-06-25

本文共 1241 字,大约阅读时间需要 4 分钟。

刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的,执行这个又会提示那个问题,解决后就觉得还好还好啦

1.pip install scrapy 提示pip 版本要升级;

You are using pip version 10.0.1, however version 10.0.1 is available.

You should consider upgrading via the 'python -m pip install --upgrade pip' command.


2.python -m pip install --upgrade pip 升级时又有新问题;

(venv) D:\Fish>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)


于是按照要求将d:\fish\venv\lib\site-packages (10.0.1) 中的pip-10.0.1.dist-info删除,再次运行python -m pip install --upgrade pip 后升级成功

3.再执行第1步以为万事大吉了,又有新的问题了

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":


解决这个问题有两种方法:a.按提示安装Visual Studio (C盘至少需要6G空间,果断找其他方法解决);

            b.使用wheel安装;

使用wheel安装:pip install wheel

成功会提示successfull也可以使用wheel命令验证是否成功,成功后是这样

使用scrapy前的环境搭建

然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml这个网站下载Scrapy库,

进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)

然后在控制台进入该地址
在该地址下输入

pip install [whl]

注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然后,并没有结束。。。。。

安装过程还是有可能失败

可能会出现Failed to build XXXX

为什么会这样那,因为Scrapy框架基于Twisted

所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

注意选择好版本号

使用scrapy前的环境搭建

cp代表python的版本号,32/64选择对应你电脑的位数

最后终于成功了。

建个项目测试一下

使用scrapy前的环境搭建

转载于:https://blog.51cto.com/13842645/2300279

你可能感兴趣的文章
阿里云文件存储NAS简介及应用场景
查看>>
“数据结构+算法”视角的Asprova
查看>>
最严新规发布 网络短视频平台该如何降低违规风险? ...
查看>>
云服务器ECS出现速度变慢 以及突然断开怎么办?
查看>>
208亿背后的“秘密”
查看>>
Android系统自带样式(android:theme)解析
查看>>
全志A33开发板Linux内核定时器编程
查看>>
全栈必备 敏捷估点
查看>>
一个爬虫小技巧
查看>>
作为一名合格的JAVA架构师需要点亮哪些技能树?
查看>>
为什么短视频会让人刷不停?背后也许用了这套技术
查看>>
Kubernetes 在知乎上的应用
查看>>
读C#开发实战1200例子记录-2017年8月14日11:20:38获取汉字编码值
查看>>
Fescar 发布 0.3.1 版本, 支持 ZooKeeper 注册中心
查看>>
【死磕 Spring】----- IOC 之解析 bean 标签:BeanDefinition
查看>>
Java部署环境搭建(Linux)
查看>>
使用 will-change 来提升浏览器渲染效果
查看>>
Animation总结(差值器和估值器)
查看>>
Java数据结构与算法(十)-图
查看>>
4.1 在SELinux中客体类存在的目的
查看>>