Usare ckan-mcp-server per scouting e source-check

[Gabrymi93]

Nelle ultime settimane abbiamo iniziato a usare un MCP CKAN in modo abbastanza pratico dentro il workflow del Lab, non per "automatizzare l'analisi", ma per una fase piu' a monte: scouting di cataloghi e source-check di primo livello.

L'uso che ci interessava davvero era questo: partire da cataloghi pubblici anche grandi, ridurre il rumore, e arrivare a una shortlist piccola di candidati che valga la pena verificare meglio.

Il problema

Quando un catalogo CKAN ha centinaia o migliaia di dataset, la difficolta' non e' solo interrogarlo. E' capire rapidamente:

• quali dataset sembrano davvero promettenti
• quali sono solo hit vaghe da keyword
• quali hanno abbastanza struttura da meritare un source-check serio

A mano si puo' fare, ma e' facile disperdersi o restare su shortlist troppo larghe.

Come lo stiamo usando

Per ora lo stiamo incastrando in un flusso molto semplice:

1. catalogo osservato o inventory locale
2. scouting piccolo su una sola fonte
3. shortlist di 3-5 candidati
4. source-check solo sui 1-2 piu' forti
5. solo dopo, eventuale passaggio a discussion o intake

Quindi il MCP CKAN non sostituisce il source-check.
Ci aiuta soprattutto a scegliere meglio dove farlo.

Cosa ha funzionato

Nel nostro caso ha funzionato bene per:

• interrogare cataloghi ricchi come OpenBDAP
• passare da un inventario grezzo a una shortlist piu' leggibile
• verificare rapidamente se un filone ha almeno una base reale
• costruire un piccolo layer locale di consultazione per i cataloghi gia' osservati

In pratica, e' stato utile non tanto come "motore di verita'", ma come strumento di filtro e orientamento.

Dove non basta ancora

Ci sono pero' limiti abbastanza chiari.

• Un hit di catalogo non e' ancora un candidato maturo.
• Alcuni cataloghi restituiscono nomi macchina o UUID poco leggibili senza ulteriore contesto.
• Alcuni endpoint sono incoerenti o poco affidabili.
• Anche quando il catalogo e' pulito, la parte semantica resta da fare: cosa misura davvero quel dataset, cosa non misura, e quale domanda pubblica puo' reggere.

Quindi il guadagno principale, per noi, e' stato prima del claim: meno rumore, shortlist migliore, source-check piu' mirati.

Dove lo stiamo incastrando nel workflow

Il punto importante, almeno per noi, e' non usarlo come scorciatoia verso output pubblici.

Lo stiamo trattando piuttosto come un layer intermedio tra:

• osservazione del catalogo
• e verifica reale del dataset

Questo ci sembra il posto giusto per non chiedergli piu' di quello che puo' dare.

Domanda aperta

Qualcun altro sta usando MCP CKAN in modo simile per scouting, triage o source-check?

Se si', ci interesserebbe capire soprattutto:

• quali endpoint o campi vi sembrano piu' affidabili
• come passate da catalog hit a shortlist piccola
• e dove avete visto piu' rumore o false piste

[aborruso]

Ciao, e grazie per il riscontro dettagliato.

Come ti dicevo in privato qualche giorno fa, questo è un connettore: ti restituisce quello che c'è dall'altro lato. E dall'altro lato c'è un catalogo di cataloghi di PA di ogni tipo e dimensione.

In un contesto in cui non ci sono regole automatiche che impediscano CSV di 2 righe e 2 colonne, contenuti difformi da titolo e descrizione, valori fuori standard, date scritte male... (mi fermo qui), i limiti che descrivi sono limiti dei dati pubblicati, non dello strumento.

Detto questo, il tuo caso d'uso è esattamente uno di quelli per cui lo abbiamo creato e reso disponibile: esplorare e verificare in modo più comodo. E grazie a questo tool, mentre esploravamo, siamo riusciti ad esempio a:

• scoprire che tutti i dataset di un Comune — harvestato dalla sua Regione — non erano raggiungibili dal portale nazionale;
• verificare che gli obiettivi di una norma europea che impone la pubblicazione di certi dati preziosi, al momento non sono raggiunti;
• trovare che i dati sulla violenza di genere pubblicati da una PA non erano raggiungibili dall'URL del portale nazionale, ma lo erano dal portale sorgente;
• individuare dataset con licenze totalmente sbagliate;
• ...e altro.

Non solo lo abbiamo scoperto e verificato rapidamente, ma ha reso molto facile predisporre richieste documentate, verificabili e ripetibili verso le PA coinvolte. Quasi tutti questi casi sono stati poi risolti. Per noi come associazione, riuscire in questo è importante.

Poi, per come sono fatte le interfacce della gran parte dei portali, offre modalità di ricerca anche complesse in modo abbastanza semplice — un passo avanti rispetto all'uso standard.

Un punto per me chiave: adesso è molto più evidente quanto un dato sia descritto male o completamente non descritto, ma soprattutto quanto abbia valore il contrario. Sia lo scouting (quanti dataset pubblica questo portale? Quali temi sono coperti? Quali organizzazioni pubblicano?) sia il triage (il dataset è aggiornato? Ha una licenza aperta? È scaricabile in formato machine-readable?) si riescono a portare avanti. Io almeno lo uso spesso per questo.

Sul source-check, utilizzo una skill che non ho ancora pubblicato: mi piace, ma non l'ho ancora sottoposta a seri cicli di eval. Però mi dà buone soddisfazioni one-shot.

Siamo molto contenti che, con tutti i limiti del caso, vi stia tornando utile.

Grazie!

[Gabrymi93]

Grazie, chiarissimo.

Per noi il punto utile è proprio questo: non trattarlo come "motore di verità", ma come connettore che rende molto più semplice fare scouting, triage e verifica ripetibile su cataloghi che restano spesso rumorosi o incoerenti.

Nel nostro caso ci sta aiutando moltissimo a:

• restringere shortlist troppo larghe
• fare source-check più mirati
• separare meglio i limiti dello strumento dai limiti reali dei dati pubblicati

Il punto sulla skill di source-check ci interessa molto. Anche noi stiamo cercando di rendere quel passaggio più disciplinato e ripetibile, senza automatizzare troppo presto la parte semantica.

Se ti può essere utile, questo è il workflow che stiamo usando oggi per source-check e triage dei candidati. Poi la skill aggiunge vari tools e rimanda al workflow. E' ancora basico e in evoluzione. Magari può essere utile come confronto. Ci aggiorniamo, rimango pendente sugli sviluppi, grazie!

[aborruso]

Grazie per aver condiviso il workflow — è un riferimento utile per capire come state strutturando il processo.

Per ora, salvo idee concrete che emergano da questi scambi, non sono previsti sviluppi specifici a stretto giro su questo fronte. Il server resta un connettore, e il valore aggiunto (verdict, domanda civica, perimetro) vive nella skill o nel prompt sopra.

Ci aggiorniamo se emerge qualcosa di concreto.

[Gabrymi93]

Non ce n'è bisogno, il tool va benissimo così com'è. Ogni cosa ha il suo scopo e e questo MCP fa quello che deve!