OpenScraper

OpenScraper copied to clipboard

When exporting data by clicking on "download the set as a .tsv file", the resulting file presents shifted columns when data is not present. See for example in the following...

CBalsier

Scraper with Selenium config behaves differently with or without headless option

2

Crawling/Testing not working with that config.  The xpath doesn't seem to find any element.  Crawler is working when I comment `options_selenium.add_argument('headless') `...

retdop

Regarding issue #65, I implemented a chrome headless option which allow to run a contributor while seeing the browser. It may also help debugging.

retdop

J'aurais remplacé le lien dans la section 5 de la doc d'install : 5 - create a virtual environment for python 2.7 virtual environment) par le lien suivant : https://python-guide-pt-br.readthedocs.io/fr/latest/dev/virtualenvs.html...

Tony4469

JulienParis

JulienParis

Lancer régulièrement les mêmes spiders est un processus douloureux

2

Pour répondre aux [besoins du Carrefour des Innovations Sociales](https://github.com/entrepreneur-interet-general/CIS-front/issues/282), il va être nécessaire de relancer règulièrement (tous les jours ? semaines ? mois ?) les mêmes spiders afin de mettre...

DavidBruant

Le re-crawl d'un même site détruit les identifiants des objets scrappés

1

La destruction des identifiants casse les liens côté front-end. Voir https://github.com/entrepreneur-interet-general/CIS-front/issues/144

DavidBruant

OpenScraper was develops during the SocialConnect EIG challenge, for the needs of the [Carrefour des Innovations Sociales](http://carrefourdesinnovationssociales.fr/) (CIS). From the point of view of the CIS and from that of...

bzg

Proposition de design alternatif

9

# Description du problème Cette section ne décrit que ce que j'ai compris du problème. J'invite les lectrice.eur.s à compléter avec ce que je n'ai pas compris Le [Carrefour des...

DavidBruant