Metodologia: come troviamo le opportunità

In che modo Opportunity Universe mette a disposizione il più grande database di programmi al mondo?

Questa pagina documenta come Opportunity Universe individua, estrae e verifica le opportunità che pubblica. La piattaforma si basa su una pipeline automatizzata di scansione ed estrazione che unisce modelli linguistici di grandi dimensioni a regole di validazione deterministiche. Le sezioni seguenti descrivono ogni fase di questa pipeline, dall'acquisizione delle fonti all'archiviazione quotidiana, e riportano i dati che il sistema produce attualmente.

1. Acquisizione delle fonti

Il crawler monitora tre categorie di fonti.

1. Piattaforme di opportunità consolidate. I siti pubblici di annunci elencati nella tabella più sotto, letti secondo un calendario fisso.
2. Editori primari. Siti di università, fondazioni, ministeri e organizzazioni non governative, letti direttamente alla fonte.
3. Ricerca estesa a tutta la rete. Un livello di interrogazione che esegue ricerche strutturate in 25 lingue e porta alla luce programmi che non compaiono su alcun sito di annunci.

Poiché gli editori primari vengono indicizzati direttamente, il database non dipende dal fatto che un'altra piattaforma resti online, completa o accurata.

2. Estrazione e classificazione

Ogni pagina candidata viene sottoposta a un modello linguistico che svolge due compiti. Classifica la pagina, distinguendo i bandi effettivi dagli articoli di cronaca, dagli elenchi divulgativi e dagli annunci ormai chiusi. Estrae poi una scheda strutturata contenente titolo, ente organizzatore, scadenza, criteri di ammissibilità, tipo di finanziamento, luogo e link per la candidatura. L'output viene validato rispetto a un vocabolario controllato di tipologie, ambiti disciplinari e regioni, in modo che ogni scheda sia confrontabile in modo automatico anziché essere testo libero.

3. Deduplicazione

Uno stesso programma viene spesso ripubblicato su molti siti. Il sistema riconduce queste pubblicazioni a un'unica scheda canonica con più fonti attribuite, utilizzando la somiglianza dei titoli, l'identità dell'ente organizzatore e la prossimità delle scadenze. I programmi ricorrenti vengono inoltre collegati in serie. Quando un'edizione si chiude, la pipeline riesamina periodicamente la serie, il che consente di rilevare l'edizione successiva non appena viene annunciata.

4. Collegamenti alle fonti originali

Ogni scheda pubblicata rimanda al sito dell'ente organizzatore e alla pagina ufficiale di candidatura. La piattaforma non rimanda ad altri aggregatori e non fa passare chi si candida attraverso reindirizzamenti o intermediari di tracciamento. Le candidature vengono quindi sempre presentate alla fonte.

5. Valutazione della qualità

Ogni scheda riporta tre punteggi indipendenti: affidabilità dell'estrazione, prestigio dell'ente organizzatore e legittimità. Le schede al di sotto della soglia di affidabilità non vengono inserite nell'indice pubblico e vengono messe in coda per la revisione. Prestigio e legittimità incidono sull'ordinamento, in modo che i programmi consolidati e interamente finanziati compaiano prima degli annunci non verificati.

6. Ciclo di aggiornamento e archiviazione

Le fonti vengono sincronizzate secondo calendari individuali che riflettono la frequenza con cui pubblicano. Le piattaforme ad alto volume vengono rilette ogni pochi giorni, gli editori primari con cadenza da settimanale a mensile, mentre la scansione estesa a tutta la rete viene eseguita ogni mese. Le scadenze sono valutate ogni giorno e le voci scadute vengono archiviate automaticamente, così che l'indice consultabile rifletta opportunità realmente aperte.

Dati attuali

Confronto con la curatela manuale

Le piattaforme a curatela editoriale pubblicano ciò che una piccola redazione riesce a leggere e a scrivere in una giornata di lavoro, il che in pratica le limita a poche voci al giorno, prevalentemente in inglese e prevalentemente da fonti che già seguono. Una pipeline automatizzata legge quelle stesse fonti, vi aggiunge gli editori primari che stanno dietro di esse e opera senza interruzioni in tutte le lingue che copre. È questa differenza di produttività, e non una differenza di giudizio editoriale, a spiegare il divario mostrato nel grafico qui sotto.