scrapy-boilerplate
scrapy-boilerplate copied to clipboard
Добавить extension для получения ссылок из БД
Для случаев, когда парсер простой и/или ссылок для обработки не так много, мы тягаем их из БД. Можно попробовать реализовать Scrapy extension, который бы тянул ссылки из БД и добавлял их как задачи в паука. Можно отталкиваться от того, как это сделано в модуле rmq.