Mac 10.8下安装Scrapy

发表于:2014-06-14 01:42:20,已有11259次阅读

最近心血来潮,想在Mac下学习python爬虫方面的知识,于是在网上查了一下,知道了Scrapy的大名,于是屁颠屁颠的跑去尝试着在Mac下安装Scrapy,因为使用的Mac系统自带有2.7版本的python,于是只需要安装Scrapy这个扩展模块即可,在Scrapy的官方文档http://doc.scrapy.org/en/latest/intro/install.html#intro-install中提示的是使用pip或easy_install这两个安装包管理器安装的方式,于是决定先安装pip,然后再使用pip安装Scrapy.其间由于也出现了一些问题,因此打算将我安装的步骤整理记录下来,方便后来者参考:

1.安装pip

安装pip时,很简单,在mac上,只需按照官网上面的步骤一步一步来就可以成功;按照官网https://pip.pypa.io/en/latest/installing.html介绍,首先下载get-pip.py这个文件,下载地址为:https://bootstrap.pypa.io/get-pip.py,然后执行如下命令即可:

python get-pip.py
pip安装很顺利,没有出现任何错误,于是接下来使用其安装Scrapy。


2.安装Scrapy

通过Scrapy官网介绍,Scrapy包依赖于lxml,OpenSSL等包,但如果你使用的是pip安装包管理器的话就无需管这些,只需以root身份执行sudo pip install scrapy命令就可以一步搞定,pip会帮我们自动检测安装依赖包。

由于本屌丝真的是第一次接触Mac系统,执行如上命令时就出现了如下错误:

提示说明的是: unable to execute clang: No such file or directory.即没有clang这个命令,于是在网上搜了一下,说明是要安装Xcode的Command Line Tooles工具,于是打开Xcode->Preferences->Downloads->component安装Command Line Tooles,如下:

安装成功后,接着再执行了一下sudo pip install scrapy命令,接着又发生了一个错误,如下:

提示错误:clang: error: unknown argument: '-mno-fused-madd' [-Wunused-command-line-argument-hard-error-in-future],说明clang在编译过程中使用了一个未知的-mno-fused-madd参数,于是又在网上查找了一下,貌似是mac os的Xcode从5.1起给编译器规定对于未知参数传入视为error,因此我们需要使用ARCHFLAGS将该error降级为warning,查看了一下我的clang版本:

确实使用的是5.1,于是按网上说明的使用如下命令给此类error降级安装:

sudo ARCHFLAGS=-Wno-error=unused-command-line-argument-hard-error-in-future pip install scrapy

这下子就OK了,截图如下:


3.测试Scrapy版本

执行上面步骤后,最后使用如下命令检测一下Scrapy是否安装成功:

scrapy version
执行的结果如下:

这时说明Scrapy真正的安装成功!

4.参考网址

评论

Fake发表于:2014-06-14 03:04:12回复 

- -
您还可输入120个字