meizitu-scrapy icon indicating copy to clipboard operation
meizitu-scrapy copied to clipboard

meizitu还能爬嘛?

Open dworld999 opened this issue 8 years ago • 2 comments

你好,我刚刚开始学习爬虫,然后安装完scrapy之后,在cmd中输入了scrapy crawl meizitu,不过过了一会儿之后,发现什么图片都没有,我不知道是存放目录有问题?还是meizitu网站已经屏蔽了这个爬虫?

dworld999 avatar Apr 24 '16 06:04 dworld999

你好,不好意思,才看见。我刚才又运行了一次程序,是可以爬的,见下图。请按照以下步骤:

  • 确保你的 scrapy 安装成功,用简单的实例程序测试,因为个人感觉 scrapy 非常难安装,在 windows 下。
  • 选择 F 盘, 新建一个文件夹,如 scrapy, 然后利用 git 克隆工程,右键 bash : git clone https://github.com/wuchangfeng/Python-scrapy.git
  • 利用 cmd 进入到 scrapy 文件夹下的 spider 文件夹,输入: scrapy crawl meizitu
  • 没有问题的话,会在 F 盘底下 生成 tmp 文件夹,里面就是存放图片的地方。

下图表示运行成功

结果

祝好。

wuchangfeng avatar Apr 25 '16 07:04 wuchangfeng

@dworld999 见上。

wuchangfeng avatar Apr 25 '16 07:04 wuchangfeng