163music spider by scrapy.
基于Scrapy框架的网易云音乐爬虫,大致爬虫流程如下:
数据保存到Mongodb数据库,保存歌曲的歌手,歌名,专辑,和热评的作者,赞数,以及作者头像url。
Mongodb
抓取评论者的头像url,是因为如果大家喜欢,可以将他做web端。
$ scrapy crawl music
查看详情:here
yokonsan
Back