scrapy-redis topic
List
scrapy-redis repositories
awesome_crawl
285
Stars
108
Forks
Watchers
腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等
docs
132
Stars
29
Forks
Watchers
《数据采集从入门到放弃》源码。内容简介：爬虫介绍、就业情况、爬虫工程师面试题 ；HTTP协议介绍； Requests使用 ；解析器Xpath介绍； MongoDB与MySQL； 多线程爬虫； Scrapy介绍 ；Scrapy-redis介绍； 使用docker...
SpiderSSS
76
Stars
20
Forks
Watchers
🪲 一些爬虫的学习笔记资料。必应图片下载爬虫、豆瓣读书爬虫、 当当图书爬虫、网易云用户信息爬虫、GitHub用户信息爬虫、 Twitter用户图片下载等等。
ScrapyRedisBloomFilterBlockCluster
22
Stars
5
Forks
Watchers
Scrapy Redis with Bloom Filter，support redis sentinel and cluster
aioscpy
129
Stars
10
Forks
Watchers
An asyncio + aiolibs crawler imitate scrapy framework
aio-scrapy
52
Stars
9
Forks
Watchers
Implement scrapy with asyncio
scrapy_pro
30
Stars
12
Forks
Watchers
关于5000+站点的scrapy爬虫开发，涉及一些技术架构搭建以及各种反爬方案，详见readme文件
Python
20
Stars
10
Forks
Watchers
Python实战项目：爬取糗事百科、拉勾网、boss直聘等等知名网站实战，搭建响应式网站、Python web项目。
scrapy-redis-sentinel
31
Stars
13
Forks
Watchers
scrapy-redis-sentinel 基于 scrapy-redis 的基础上 新增 哨兵（sentinel）连接模式 以及 集群（cluster）连接模式。