发表于:2014-06-14 01:42:20
最近心血来潮,想在Mac下学习python爬虫方面的知识,于是在网上查了一下,知道了Scrapy的大名,于是屁颠屁颠的跑去尝试着在Mac下安装Scrapy,因为使用的Mac系统自带有2.7版本的python,于是只需要安装Scrapy这个扩展模块即可,在Scrapy的官方文档http://doc.scrapy.org/en/latest/intro/install.html#intro-install中提示的是使用pip或easy_install这两个安装包管理器安装的方式,于是决定先安装pip,然后再使用pip安装Scrapy.其间由于也出现了一些问题,因此打算将我安装的步骤整理记录下来,方便后来者参考: 1.安装pip 安装pip时,很简单,在mac上,只需按照官网上面的步骤一步一步来就可以成功;按照官网https://pip.pypa.io/en/latest/installing...
发表于:2014-01-23 05:03:47
接口应该早己失效,但分析的思路是可以考虑一下的。 前言 每当春节临近时,因为网络的方便,访问12306购买火车票回家过年成了很多人的首选。但由于12306的种种不给力,给那些在官网刷票的人带来了很多的不便。从2011年未12306上线起,连续几年回家我都是靠网上购票,今年也不例外;我记得11年时我使用的是官网直接购票,到了12年则使用了新出的木鱼抢票助手,而今年我用了360与猎豹两款主流抢票浏览器,还发动了几位朋友一起帮忙,才买到了一张差强人意的票,现在感觉买票是越来越困难。而就在前几天媒体还曝出了商业黄牛使用假身份证生成器10分钟钞杀1000多张票的新闻,让人吃惊不已。于是就萌生了自己写一个抢票应用的念头,最开始设想的就是本地桌面应用,而非浏览器插件,个人觉得本地应用始终比浏览器插件敏捷,因为本地应用可以精确稳定的请求有用的链接,过滤图片和CSS等前台无用请求,可以节省网络...