Jpy

@thibault so I added some new features in "advanced settings" with this commit : https://github.com/entrepreneur-interet-general/OpenScraper/commit/92d99089b7c01b903b3a5e005447ad6bfbc7d47f This allows to override the default Scrapy settings with your own advanced settings. For instance...

problems : - with or without " - index content fields only - refine search OR --> AND

https://github.com/entrepreneur-interet-general/CIS-front/issues/198 https://github.com/entrepreneur-interet-general/CIS-front/issues/199

proposition (pas encore mis en place) : il faudrait déterminer / avoir une interface type liste à choix multiples dans la configuration de scrapers permettant de choisir un ou plusieurs...

This was not supposed to stay that way, but ... too many things to do for so short time ... Still... yes it's a problem to fix quite quickly, but...

I don't think it's the scraper per say, I would say it's the log causing the spider to stop due to this error : the `.format` function could go bersek...

A lier aussi avec : https://github.com/entrepreneur-interet-general/OpenScraper/issues/36

instruction également ici : https://github.com/entrepreneur-interet-general/CIS-front/issues/282

Les modifications sur `masterspider.py` sont effectivement à faire avec précaution toutefois il y a quelques pare-feux en place dans la structure même de cette fonction pour éviter de provoquer des...

modif de `masterspider.py` (+`main.py`, +`settings_corefields.py`) pour gérer le nouveau cas d'infinite scroll sans casser la logique générale de `masterspider` ni le bon fonctionnement des spiders précédents : https://github.com/entrepreneur-interet-general/OpenScraper/commit/fe582d0dfe9c8f7c8f1c9091365cb36f8e18e060