dati.gov.it icon indicating copy to clipboard operation
dati.gov.it copied to clipboard

Apertura degli endpoints CKAN più importanti

Open mindrones opened this issue 7 years ago • 14 comments

Ciao, in primis grazie per aver aperto questo spazio!

Dopo aver letto il post di Giovanni e la nota sull'evoluzione di dati.gov.it mi rendo conto che questa issue potrebbe forse essere inutile, ma in mancanza di una roadmap scrivo qui.

Qualche tempo fa ho testato manualmente quasi tutti gli endpoints CKAN e li ho trovati quasi tutti disabilitati. Assumendo che potrebbe richiedere molto tempo per avere delle API usabili in dati.gov.it [1], è possibile aprire il maggior numero di endpoints possibile così da poter lavorare sui dati attuali?

Divido gli endpoints mancanti per "task".

La necessità forse più impellente è quella di poter richiedere la lista delle entità di un certo tipo presenti in un certo momento:

e non meno importante quella di poter richiedere i metadati degli aggiornamenti più recenti in modo da non dover scaricare ogni giorno tutti i metadati e calcolare le differenze temporali:

Una volta individuato cosa c'è e cosa è cambiato, è necessario ovviamente poter richiedere le singole entità:

Sarebbe molto utile poter cercare:

mentre personalmente non ritengo siano urgenti quelle relative all'autocompletamento:

nè quelle sulle relazioni "sociali" tra risorse (followers, following) e altre cose più "gestionali", diciamo da qui in poi.

Grazie!

[1] Come nota a parte, sarebbe molto utile per ogni iniziativa/progetto pubblicare una "tentative roadmap", anche se cambierà di giorno in giorno, in modo da capire i vostri orizzonti temporali ed evitare di fare troppo "guessing" :)

mindrones avatar Mar 24 '17 11:03 mindrones

Salve. Scrivo qui solo per rinforzare l'issue proposto da mindrones. Assolutamente importante per la dinamica dell'utilizzo e ri-utilizzo iniziare a abilitare su dati.gov.it le API CKAN possibili, e fornire una roadmap per gli step successivi, qualora siano davvero necessari.

vitsca avatar Mar 26 '17 11:03 vitsca

Ciao, grazie a voi. Ogni consiglio e' un aiuto.

La roadmap di sviluppo dovrebbe essere rilasciata a breve, cercando di avere un processo di sviluppo agile evolverá col tempo. Stiamo valutando di cambiare gradualmente da DKAN a CKAN, e quindi l'apertura delle API CKAN standard dovrebbe essere naturale. DKAN non credo che supporti tutte le API che hai elencato.

giux78 avatar Mar 26 '17 20:03 giux78

@giux78 la cosa che dovrebbe essere modificata presto è questa frase della pagina sviluppatori:

Per maggiori informazioni sull’utilizzo delle API di CKAN per la consultazione del catalogo fai riferimento alla documentazione di CKAN.

E inserire al limite l'elenco delle chiamate attualmente possibile.

Grazie

aborruso avatar Apr 03 '17 19:04 aborruso

... che è questo http://dkan.readthedocs.io/en/rtd/apis/ckan-dataset.html

Facciamo asap, grazie.

marciuz avatar Apr 03 '17 19:04 marciuz

@marciuz grazie a te

aborruso avatar Apr 03 '17 19:04 aborruso

segnalo in caso possa tornare utile come riferimento a qualcuno, visto che si citava OpenAPI/swagger:

  • per CKAN: https://github.com/deepviator/ckan-integrate-swagger/wiki
  • per Drupal (DKAN?): https://www.drupal.org/node/1925618

in caso una descrizione swagger delle API attuali si può scrivere anche a mano in JSON/YAML, per pubblicarla come file statico sul webserver attuale, in attesa delle future versioni.

seralf avatar Apr 06 '17 10:04 seralf

Solo un promemoria per modificare la pagina, circoscrivendo alle reali chiamate oggi possibili. Insisto perché mi sembra importante e utile

aborruso avatar Apr 27 '17 07:04 aborruso

Solo un promemoria per modificare la pagina, circoscrivendo alle reali chiamate oggi possibili. Insisto perché mi sembra importante e utile

Confermo l'importanza di documentare al meglio la pagina degli sviluppatori, inserendo eventualmente anche il link verso la doc di DKAN, fino a che non avvengono modifiche ulteriori come l'adozione di CKAN al posto di DKAN, etc...

dagoneye avatar May 12 '17 07:05 dagoneye

@dagoneye I agree.

E aggiungerei in ogni caso - oltre il link verso la documentazione DKAN - l'elenco di tutte le chiamate oggi possibili su datigovit (al limite in una pagina del wiki di questo repo).

Perché (almeno fino a qualche settimana fa) non erano abilitate tutte, come ad esempio non era abilitata datastore/search.

aborruso avatar May 12 '17 07:05 aborruso

La pagina degli sviluppatori è stata appena aggiornata, con documentazione del metodo ckan_current_package_list_with_resources che permette, tra l'altro, un harvesting dei metadati molto più efficiente rispetto alle chiamate indice/dataset. Anche il link verso DKAN è stato inserito.

Infine segnalo che il metodo package_search non è disponibile di default su DKAN, né al momento è previsto uno sviluppo a riguardo nella roadmap di dati.gov.it, nella logica di switch verso CKAN.

marciuz avatar May 12 '17 08:05 marciuz

grazie @marciuz ora per chi arriva su dati.gov.it è molto più chiaro. Almeno fino a che sarà presente DKAN su dati.gov.it.

@mindrones cosa ne pensi?

dagoneye avatar May 17 '17 11:05 dagoneye

@dagoneye si, molto più chiaro ora. @marciuz sarebbe possibile conoscere la roadmap per CKAN? Mi aspetterei di trovarla nei Projects (sono linkati nel README come stato di avanzamento) ma la pagina è vuota :/

mindrones avatar May 19 '17 11:05 mindrones

La roadmap per CKAN la renderemo disponibile quanto prima, ci stiamo predisponendo per mettere in piedi un po' tutto il percorso. In realtà, un'istanza CKAN di test che usa l'estensione DCAT-AP_IT, è già stata installata ed è già operativa per alcuni dati che sono attualmente riversati su dati.gov.it online. Tuttavia, ci sono ancora diverse cose da applicare prima di passare allo switch completo.

giorgialodi avatar May 23 '17 15:05 giorgialodi

grandi! :-)

Il giorno 23 maggio 2017 17:38, giorgialodi [email protected] ha scritto:

La roadmap per CKAN la renderemo disponibile quanto prima, ci stiamo predisponendo per mettere in piedi un po' tutto il percorso. In realtà, un'istanza CKAN di test che usa l'estensione DCAT-AP_IT, è già stata installata ed è già operativa per alcuni dati che sono attualmente riversati su dati.gov.it online. Tuttavia, ci sono ancora diverse cose da applicare prima di passare allo switch completo.

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/italia/dati.gov.it/issues/1#issuecomment-303438493, or mute the thread https://github.com/notifications/unsubscribe-auth/AAFYfM0nYw9Ae35iBqi_xoNX_xqe_Bitks5r8v1ngaJpZM4MoHjK .

seralf avatar May 23 '17 18:05 seralf