Методология: как мы находим возможности

Каким образом Opportunity Universe предоставляет крупнейшую в мире базу данных программ?

На этой странице описано, как Opportunity Universe находит, извлекает и проверяет публикуемые возможности. Платформа построена на автоматизированном конвейере обхода и извлечения данных, который сочетает большие языковые модели с детерминированными правилами проверки. В разделах ниже описан каждый этап этого конвейера, от сбора источников до ежедневного архивирования, и приведены показатели, которых система достигает в настоящее время.

1. Сбор источников

Поисковый робот отслеживает три категории источников.

1. Признанные платформы возможностей. Общедоступные сайты-каталоги, перечисленные в таблице ниже, которые читаются по фиксированному расписанию.
2. Первичные издатели. Сайты университетов, фондов, министерств и неправительственных организаций, читаемые непосредственно у источника.
3. Поиск по всему интернету. Уровень запросов, который выполняет структурированный поиск на 25 языках и выявляет программы, не представленные ни на одном сайте-каталоге.

Поскольку первичные издатели индексируются напрямую, база данных не зависит от того, остаётся ли какая-либо другая платформа доступной, полной и точной.

2. Извлечение и классификация

Каждая страница-кандидат передаётся языковой модели, которая выполняет две задачи. Она классифицирует страницу, отделяя действительные объявления о приёме заявок от новостных статей, подборок и завершённых объявлений. Затем она извлекает структурированную запись, содержащую название, организатора, срок подачи, критерии участия, тип финансирования, место проведения и ссылки для подачи заявки. Результат проверяется по контролируемому словарю типов, тематик и регионов, благодаря чему каждая запись пригодна для машинного сравнения, а не является свободным текстом.

3. Устранение дубликатов

Одна и та же программа часто публикуется на множестве сайтов. Система сводит такие публикации к одной канонической записи с несколькими указанными источниками, используя сходство названий, тождество организатора и близость сроков подачи. Регулярно повторяющиеся программы дополнительно связываются в серии. После завершения очередного выпуска конвейер периодически перепроверяет серию, что позволяет обнаружить следующий выпуск сразу после его объявления.

4. Ссылки на первоисточники

Каждая опубликованная запись содержит ссылку на сайт организатора и на официальную страницу подачи заявок. Платформа не ссылается на другие агрегаторы и не направляет заявителей через перенаправления или отслеживающих посредников. Поэтому заявки всегда подаются непосредственно у источника.

5. Оценка качества

Каждая запись имеет три независимые оценки: достоверность извлечения, репутацию организатора и легитимность. Записи, не достигающие порога достоверности, не попадают в публичный индекс и ставятся в очередь на проверку. Репутация и легитимность влияют на ранжирование, так что признанные и полностью финансируемые программы отображаются раньше непроверенных объявлений.

6. Цикл обновления и архивирование

Источники синхронизируются по индивидуальным расписаниям, отражающим частоту их публикаций. Платформы с большим объёмом публикаций перечитываются каждые несколько дней, первичные издатели, от еженедельно до ежемесячно, а сплошной обход интернета выполняется ежемесячно. Сроки подачи оцениваются ежедневно, а истёкшие записи архивируются автоматически, благодаря чему поисковый индекс отражает действительно открытые возможности.

Текущие показатели

Сравнение с ручным отбором

Платформы с редакционным отбором публикуют то, что небольшая команда способна прочитать и написать за рабочий день, что на практике ограничивает их несколькими записями в день, преимущественно на английском языке и преимущественно из источников, за которыми они уже следят. Автоматизированный конвейер читает те же источники, добавляет к ним стоящих за ними первичных издателей и работает непрерывно на всех языках, которые охватывает. Именно эта разница в производительности, а не какое-либо различие в редакционных суждениях, объясняет разрыв, показанный на диаграмме ниже.