Mac 安装 scrapy「半原创」

本文带来什么

• mac安装scrapy的过程

科普

scrapy 是干什么的

可以理解为一个写网络爬虫的框架

安装scrapy

安装很简单，分以下3步

1. 检测并安装python
2. 用python 安装pip
3. 用pip安装 scrapy

1.检测并安装python

mac 是自带python的，检查一下如果小于 2.7.9 那么就安装最新的吧
或者直接升级到 3.x 升级Mac的python
python 官网传送门
廖雪峰的官方网站学习python3
pycharm HelloWorld

2.x 和 3.x 区别点我
[这一点其实有坑在里面，如果试过了所有方法在控制台中看版本仍然是 2.7.x,那么就下载 pycharm 吧，他会在链接 python 版本时自动使用最新版本，谁用谁知道]

2.用python 安装pip

步骤也超级简单，就两步，看官网吧
安装pip官网
注：如果提示什么not permitted 或者 denied 等错误，记住 sodu

3.用pip安装 scrapy

命令

sudo pip install scrapy

出现错误：

错误 A

OSError: [Errno 1] Operation not permitted: '/tmp/pip-HG6JNq-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

在 stackoverflow 上一个没有人赞的 角落答案找到了解决方式

// 猜测为 安装 scrapy 的时候忽略已经安装的 six
sudo pip install scrapy --ignore-installed six

stackOverflow 传送门

错误 B

ImportError: cannot import name xmlrpc_client

原因是没有设置环境变量
解决方式

export PYTHONPATH=/Library/Python/2.7/site-packages:$PYTHONPATH
echo "export PYTHONPATH=/Library/Python/2.7/site-packages:$PYTHONPATH" >> ~/.bashrc
source ~/.bashrc

• 参考文章1：安装python爬虫scrapy踩过的那些坑和编程外的思考
• 参考文章2：Scrapy throws ImportError: cannot import name xmlrpc_client

4.测试

scrapy version

参考

Mac 10.8下安装Scrapy