方法論：機会をどのように見つけているか

Opportunity Universe はどのようにして世界最大のプログラムのデータベースを提供しているのでしょうか？

本ページでは、Opportunity Universe が掲載する機会をどのように発見し、抽出し、検証しているかを説明します。本プラットフォームは、大規模言語モデルと決定論的な検証規則を組み合わせた自動クロールおよび抽出パイプラインを中核として構築されています。以下の各節では、情報源の取得から日次のアーカイブまで、このパイプラインの各段階を説明し、システムが現在示している数値を報告します。

1. 情報源の取得

クローラーは三種類の情報源を監視しています。

1. 確立された機会掲載プラットフォーム。 下の表に示した公開の掲載サイトであり、一定のスケジュールで読み取ります。
2. 一次発信元。 大学、財団、省庁、非政府組織のウェブサイトであり、情報源から直接読み取ります。
3. インターネット全体を対象とする検索。 25 の言語で構造化された検索を実行し、どの掲載サイトにも現れないプログラムを見つけ出す照会層です。

一次発信元を直接インデックス化しているため、本データベースは、他のいずれかのプラットフォームが稼働し続けること、完全であること、正確であることに依存しません。

2. 抽出と分類

候補となる各ページは、二つの処理を行う言語モデルに渡されます。まずページを分類し、実際の募集案内を、報道記事、まとめ記事、既に締め切られた告知から区別します。次に、名称、主催者、締め切り、応募資格、支援の種類、地域、応募先リンクを含む構造化されたレコードを抽出します。出力は、種別、分野、地域の統制語彙に照らして検証されるため、各レコードは自由記述ではなく機械的に比較可能な形になります。

3. 重複排除

一つのプログラムが多数のウェブサイトで繰り返し掲載されることは珍しくありません。本システムは、名称の類似性、主催者の同一性、締め切りの近接性を用いて、これらを複数の出典を明示した一つの正規レコードにまとめます。定期的に実施されるプログラムは、さらにシリーズとして紐付けられます。ある回の募集が終了すると、パイプラインは定期的にそのシリーズを再確認するため、次回の募集は発表され次第検出されます。

4. 一次情報源へのリンク

掲載される各レコードは、主催者のウェブサイトと公式の応募ページにリンクしています。本プラットフォームは他のアグリゲーターにリンクせず、応募者をリダイレクトや追跡用の仲介ページを経由させることもありません。したがって、応募は常に情報源において行われます。

5. 品質評価

各レコードは三つの独立した評価値を持ちます。すなわち、抽出の信頼度、主催者の評価、そして正当性です。信頼度のしきい値を下回るレコードは公開インデックスから除外され、確認待ちの列に入れられます。主催者の評価と正当性は順位付けに反映され、実績があり全額支援されるプログラムが未確認の掲載よりも先に表示されます。

6. 更新サイクルとアーカイブ

各情報源は、その掲載頻度に応じた個別のスケジュールで同期されます。掲載量の多いプラットフォームは数日ごとに、一次発信元は週次から月次で再読み込みされ、インターネット全体の走査は月次で実行されます。締め切りは毎日評価され、期限切れの項目は自動的にアーカイブされるため、検索可能なインデックスには実際に応募できる機会が反映されます。

現在の数値

人手によるキュレーションとの比較

編集者がキュレーションするプラットフォームは、少人数のチームが一営業日に読んで書ける分量を掲載します。そのため実際には一日あたり数件にとどまり、その大半は英語であり、また既に把握している情報源からのものが大半です。自動化されたパイプラインは同じ情報源を読み取り、その背後にある一次発信元を加え、対応するすべての言語で継続的に稼働します。下のグラフに示された差は、編集上の判断の違いではなく、この処理量の違いによって説明されます。