GeoNature
GeoNature copied to clipboard
PnX-SI
Intégration des données VisioNature dans GeoNature
Bonjour,
Pour l'information, Il a été décidé la semaine dernière de réfléchir à un module d'intégration des données VisioNature dans GeoNature. Le développement de l'outil d'exportation des données issues des portails via API est d'ores et déjà bien avancé. Il est disponible sur le framagit de la LPO. Il reste une partie du développement à mener pour la mise en place d'une mise à jour incrémentale régulière.
Plusieurs chantiers seront à gérer pour cette mise en place dont les principaux sont :
- [ ] Un travail de mise en correspondances entre les codes taxons VisioNature et Taxref (toutes les taxons ne respectent pas la nomenclature TaxRef, car de sources très diverses comme avibase, fauna-europaea, livres, etc.).
- [ ] Un travail de mise en corrélation avec le référentiel nomenclature.
- [ ] Un travail de liaison entre les "études" associées aux données et les JDD.
Sur le phasage:
- [ ] la première version mouture serait uniquement gérée côté serveur avec scripts python et routine cron (prévu cet hiver).
- [ ] Il sera sans doute envisagé dans un second temps avec une interface de gestion permettant d'administrer les connexions de l'application à différents portails avec un enregistrement des accès API aux portails dans la bdd (via une table dédiée) et un tableau de bord de suivi.
Je vous tiendrai au courant.
OK très intéressant. Justement j'ai eu des échanges avec les développeurs de Biolovision récemment au sujet de leur API dans le but de pouvoir intégrer dynamiquement des données STOC dans GeoNature.
Concernant les import dans GeoNature V2, il y a différentes docs et ressources :
- Script de migration des données SICEN (ObsOcc) vers GeoNature : https://github.com/PnX-SI/Ressources-techniques/tree/master/GeoNature/migration/sicen
- Script d'import continu depuis une BDD externe vivante (avec exemple SICEN) : https://github.com/PnX-SI/Ressources-techniques/tree/master/GeoNature/migration/generic
- Doc d'import Niveau 1 et 2 : http://docs.geonature.fr/import-level-1.html
- Migration données GN V1 vers GN V2 : https://github.com/PnX-SI/GeoNature/tree/develop/data/migrations/v1tov2
- Foreign Data Wrappers : https://github.com/PnX-SI/Ressources-techniques/blob/master/Postgresql/FDW.rst
- Synchro de 2 synthèses de GeoNature V1 : https://github.com/PnX-SI/Ressources-techniques/tree/master/GeoNature/V1/synchro-syntheses
- Et des exemples de scripts Python pour intégrer des médias dans TaxHub depuis une API (wikidata ou INPN ) : https://github.com/PnX-SI/TaxHub/tree/master/data/scripts
On nous demande des infos sur ce module. @lpofredc tu peux nous en dire plus
A jour d'aujourd'hui, la partie pleinement fonctionnelle et en production est l'intégration automatique et incrémentale des données VisioNature dans une base de donnée PostgreSQL/PostGIS et la création de tables de travail "métiers" adaptés aux besoins internes de la LPO AuRA (alimentation auto d'un schéma pour le protocole STOC (code source), et d'une table de données agrégées (code source) des différentes sources de données VisioNature & dbChiroWeb)
@eguilley vient tout juste de réaliser le travail de mise en correspondances avec le référentiel des nomenclatures (diffusion prévue prochainement).
Pour les correspondances avec TaxRef, nos travaux sont dispos ici: https://data.fauneauvergnerhonealpes.org/corresp_vn_taxref/
Concernant le reversement automatique des données dans la synthèse GeoNature, nous y travaillons actuellement. L'intégration est complexe car la donnée n'est pas sous le même format que le standard d’occurrence de taxon.
- Une donnée VisioNature c'est:
- une date,
- un observateur,
- un lieu,
- une espèce.
- Une donnée "OccurenceTaxon" c'est:
- une date,
- un observateur,
- un lieu,
- une espèce,
- une méthode,
- un détail de dénombrement (par sexe/age notamment).
De fait, lorsque l'observation VisioNature dispose de détails d'observations (dénombrements par age/sexe/condition), il faut éclater la donnée pour l'intégrer en synthèse. Mais ce serait trop facile ... Concretement, une observations peut être détaillée ou pas mais peut aussi n'être que partiellement détaillée avec un effectif total relevé et seulement une partie des individus détaillées (par exemple 50 canards colverts parmi lesquels 10 mâles adultes) > il faut en déduire 40 individus non sexés/agés.
De plus, les données VisioNature sont livrées sans UUID ce qui n'est pas sans poser soucis en cas d'échanges de données si plusieurs structures collectent des données visionature sur un meme territoire.
Bref, on y travaille ... Toute aide est la bienvenue.
Bonjour Fred, Ces échangent datent de quelques années mais as-tu solutionné ton problème? C'est un vrai casse-tête ces décomptes agglomérés dans un seul et même champ. La première fois, je l'ai fait assez salement (avec Access... Tape pas trop fort...) et je vais avoir à renouveler l'exercice de plus en plus régulièrement. Comment procèdes-tu? Merci d'avance...
Voir le travail réalisé ici : https://github.com/lpoaura/gn_vn2synthese
Bonjour, Et en résumé, on a fait le choix de ne pas éclater la donnée sur la base des détails en raison de :
- la complexité à gérer cet éclatement
- la difficulté à tracer les données
- de l'absence de plus-value que nous avions à faire ça ;-)
Bonne journée
