scrapy_redis_cluster
scrapy_redis_cluster copied to clipboard
Published
20 hours ago •
thsheep
thsheep
scrapy-redis的集群版，可以借助Redis集群实现海量网站的独立去重，避免单机内存不足的尴尬
thsheep