scrapy-boilerplate icon indicating copy to clipboard operation
scrapy-boilerplate copied to clipboard

Добавить extension для получения ссылок из БД

Open KristobalJunta opened this issue 4 years ago • 0 comments

Для случаев, когда парсер простой и/или ссылок для обработки не так много, мы тягаем их из БД. Можно попробовать реализовать Scrapy extension, который бы тянул ссылки из БД и добавлял их как задачи в паука. Можно отталкиваться от того, как это сделано в модуле rmq.

KristobalJunta avatar Jun 10 '20 07:06 KristobalJunta