OpenScraper
OpenScraper copied to clipboard
Lancer régulièrement les mêmes spiders est un processus douloureux
Pour répondre aux besoins du Carrefour des Innovations Sociales, il va être nécessaire de relancer règulièrement (tous les jours ? semaines ? mois ?) les mêmes spiders afin de mettre à jour les données
Actuellement, si une spider devait échouer à cause d'un redesign, il n'y a aucune manière facile de s'en rendre compte ni de le debugger pour le corriger rapidement
A lier aussi avec : https://github.com/entrepreneur-interet-general/OpenScraper/issues/36
instruction également ici : https://github.com/entrepreneur-interet-general/CIS-front/issues/282