Methodik: Wie wir Chancen finden

Wie stellt Opportunity Universe die weltweit größte Datenbank von Programmen bereit?

Diese Seite dokumentiert, wie Opportunity Universe die veröffentlichten Chancen entdeckt, extrahiert und überprüft. Die Plattform beruht auf einer automatisierten Crawling- und Extraktionspipeline, die große Sprachmodelle mit deterministischen Validierungsregeln verbindet. Die folgenden Abschnitte beschreiben jede Stufe dieser Pipeline, von der Erfassung der Quellen bis zur täglichen Archivierung, und nennen die Kennzahlen, die das System derzeit erreicht.

1. Erfassung der Quellen

Der Crawler überwacht drei Arten von Quellen.

1. Etablierte Chancen-Plattformen. Die öffentlichen Verzeichnisseiten, die in der Tabelle weiter unten aufgeführt sind und nach einem festen Zeitplan gelesen werden.
2. Primäre Herausgeber. Websites von Universitäten, Stiftungen, Ministerien und Nichtregierungsorganisationen, die direkt an der Quelle gelesen werden.
3. Internetweite Suche. Eine Abfrageebene, die strukturierte Suchen in 25 Sprachen durchführt und Programme sichtbar macht, die auf keiner Verzeichnisseite erscheinen.

Da primäre Herausgeber direkt indexiert werden, ist die Datenbank nicht darauf angewiesen, dass eine andere Plattform online, vollständig oder korrekt bleibt.

2. Extraktion und Klassifikation

Jede Kandidatenseite wird an ein Sprachmodell übergeben, das zwei Aufgaben erfüllt. Es klassifiziert die Seite und trennt echte Ausschreibungen von Nachrichtenartikeln, Listenbeiträgen und bereits abgeschlossenen Ankündigungen. Anschließend extrahiert es einen strukturierten Datensatz mit Titel, Veranstalter, Frist, Teilnahmevoraussetzungen, Förderart, Ort und Bewerbungslinks. Die Ausgabe wird gegen ein kontrolliertes Vokabular von Typen, Fachgebieten und Regionen validiert, sodass jeder Datensatz maschinell vergleichbar ist und nicht nur aus Freitext besteht.

3. Deduplizierung

Ein einzelnes Programm wird häufig auf vielen Websites erneut veröffentlicht. Das System führt diese Veröffentlichungen anhand von Titelähnlichkeit, Identität des Veranstalters und zeitlicher Nähe der Frist zu einem kanonischen Datensatz mit mehreren ausgewiesenen Quellen zusammen. Wiederkehrende Programme werden zusätzlich zu Serien verknüpft. Wenn eine Ausgabe endet, prüft die Pipeline die Serie in regelmäßigen Abständen erneut, sodass die folgende Ausgabe erkannt werden kann, sobald sie angekündigt wird.

4. Kanonische Quellenlinks

Jeder veröffentlichte Datensatz verweist auf die Website des Veranstalters und auf die offizielle Bewerbungsseite. Die Plattform verlinkt nicht auf andere Aggregatoren und leitet Bewerberinnen und Bewerber nicht über Weiterleitungen oder Tracking-Zwischenstellen. Bewerbungen werden daher immer direkt an der Quelle eingereicht.

5. Qualitätsbewertung

Jeder Datensatz trägt drei unabhängige Bewertungen: Extraktionskonfidenz, Ansehen des Veranstalters und Seriosität. Datensätze unterhalb des Konfidenzschwellenwerts werden nicht in den öffentlichen Index aufgenommen und zur Prüfung eingereiht. Ansehen und Seriosität fließen in die Rangfolge ein, sodass etablierte und vollständig finanzierte Programme vor ungeprüften Einträgen erscheinen.

6. Aktualisierungszyklus und Archivierung

Quellen werden nach individuellen Zeitplänen synchronisiert, die abbilden, wie häufig sie veröffentlichen. Plattformen mit hohem Aufkommen werden alle paar Tage erneut gelesen, primäre Herausgeber wöchentlich bis monatlich, und der internetweite Durchlauf erfolgt monatlich. Fristen werden täglich ausgewertet und abgelaufene Einträge automatisch archiviert, sodass der durchsuchbare Index Chancen abbildet, die tatsächlich offen sind.

Aktuelle Kennzahlen

Vergleich mit redaktioneller Kuratierung

Redaktionell kuratierte Plattformen veröffentlichen das, was ein kleines Team an einem Arbeitstag lesen und schreiben kann, was sie in der Praxis auf wenige Einträge pro Tag beschränkt, überwiegend auf Englisch und überwiegend aus Quellen, die sie ohnehin bereits verfolgen. Eine automatisierte Pipeline liest dieselben Quellen, ergänzt die dahinterstehenden primären Herausgeber und arbeitet ununterbrochen in jeder Sprache, die sie abdeckt. Dieser Unterschied im Durchsatz, und nicht ein Unterschied im redaktionellen Urteilsvermögen, erklärt die im Diagramm unten gezeigte Lücke.