原 Mac 10.8下安装Scrapy
最近心血来潮,想在Mac下学习python爬虫方面的知识,于是在网上查了一下,知道了Scrapy的大名,于是屁颠屁颠的跑去尝试着在Mac下安装Scrapy,因为使用的Mac系统自带有2.7版本的python,于是只需要安装Scrapy这个扩展模块即可,在Scrapy的官方文档http://doc.scrapy.org/en/latest/intro/install.html#intro-install中提示的是使用pip或easy_install这两个安装包管理器安装的方式,于是决定先安装pip,然后再使用pip安装Scrapy.其间由于也出现了一些问题,因此打算将我安装的步骤整理记录下来,方便后来者参考:
1.安装pip
安装pip时,很简单,在mac上,只需按照官网上面的步骤一步一步来就可以成功;按照官网https://pip.pypa.io/en/latest/installing.html介绍,首先下载get-pip.py这个文件,下载地址为:https://bootstrap.pypa.io/get-pip.py,然后执行如下命令即可:
python get-pip.pypip安装很顺利,没有出现任何错误,于是接下来使用其安装Scrapy。
2.安装Scrapy
通过Scrapy官网介绍,Scrapy包依赖于lxml,OpenSSL等包,但如果你使用的是pip安装包管理器的话就无需管这些,只需以root身份执行sudo pip install scrapy命令就可以一步搞定,pip会帮我们自动检测安装依赖包。
由于本屌丝真的是第一次接触Mac系统,执行如上命令时就出现了如下错误:
提示说明的是: unable to execute clang: No such file or directory.即没有clang这个命令,于是在网上搜了一下,说明是要安装Xcode的Command Line Tooles工具,于是打开Xcode->Preferences->Downloads->component安装Command Line Tooles,如下:
安装成功后,接着再执行了一下sudo pip install scrapy命令,接着又发生了一个错误,如下:
提示错误:clang: error: unknown argument: '-mno-fused-madd' [-Wunused-command-line-argument-hard-error-in-future],说明clang在编译过程中使用了一个未知的-mno-fused-madd参数,于是又在网上查找了一下,貌似是mac os的Xcode从5.1起给编译器规定对于未知参数传入视为error,因此我们需要使用ARCHFLAGS将该error降级为warning,查看了一下我的clang版本:
确实使用的是5.1,于是按网上说明的使用如下命令给此类error降级安装:
sudo ARCHFLAGS=-Wno-error=unused-command-line-argument-hard-error-in-future pip install scrapy
这下子就OK了,截图如下:
3.测试Scrapy版本
执行上面步骤后,最后使用如下命令检测一下Scrapy是否安装成功:
scrapy version执行的结果如下:
这时说明Scrapy真正的安装成功!
Fake发表于:2014-06-14 03:04:12回复