방법론: 기회를 찾는 방식

Opportunity Universe는 어떻게 전 세계 최대 규모의 프로그램 데이터베이스를 제공합니까?

이 페이지는 Opportunity Universe가 게시하는 기회를 어떻게 발견하고 추출하며 검증하는지를 설명합니다. 이 플랫폼은 대규모 언어 모델과 결정론적 검증 규칙을 결합한 자동 수집 및 추출 파이프라인을 중심으로 구축되어 있습니다. 아래 각 절에서는 출처 수집부터 일일 보관에 이르기까지 이 파이프라인의 각 단계를 설명하고, 시스템이 현재 산출하고 있는 수치를 제시합니다.

1. 출처 수집

크롤러는 세 가지 유형의 출처를 감시합니다.

1. 다른 기회 플랫폼. 전 세계의 여러 기회 플랫폼과 데이터베이스를 정해진 주기로 읽어 대조해요.
2. 일차 발행처. 대학, 재단, 정부 부처, 비정부기구의 웹사이트로, 원출처에서 직접 읽습니다.
3. 인터넷 전체 검색. 25개 언어로 구조화된 검색을 수행하여 어떤 게시 사이트에도 나타나지 않는 프로그램까지 찾아내는 질의 계층입니다.

일차 발행처를 직접 색인하기 때문에, 이 데이터베이스는 다른 어떤 플랫폼이 계속 운영되는지, 내용이 완전한지, 정확한지에 의존하지 않습니다.

2. 추출과 분류

후보가 되는 모든 페이지는 두 가지 작업을 수행하는 언어 모델로 전달됩니다. 모델은 페이지를 분류하여, 실제 모집 공고를 뉴스 기사, 목록형 기사, 이미 마감된 공지와 구분합니다. 이어서 제목, 주최 기관, 마감일, 지원 자격, 지원 유형, 지역, 지원 링크를 담은 구조화된 레코드를 추출합니다. 산출된 결과는 유형, 분야, 지역에 대한 통제 어휘에 따라 검증되므로, 각 레코드는 자유 서술 텍스트가 아니라 기계적으로 비교할 수 있는 형태가 됩니다.

3. 중복 제거

하나의 프로그램이 여러 웹사이트에 거듭 게시되는 경우가 많습니다. 시스템은 제목의 유사성, 주최 기관의 동일성, 마감일의 근접성을 이용하여 이러한 게시물을 여러 출처가 함께 표시된 하나의 표준 레코드로 통합합니다. 정기적으로 열리는 프로그램은 추가로 시리즈로 연결됩니다. 한 회차가 마감되면 파이프라인이 해당 시리즈를 주기적으로 다시 확인하므로, 다음 회차는 공고되는 즉시 감지됩니다.

4. 원출처 링크

게시되는 각 레코드는 주최 기관의 웹사이트와 공식 지원 페이지로 연결됩니다. 이 플랫폼은 다른 수집 사이트로 연결하지 않으며, 지원자를 리다이렉트나 추적 중개 페이지를 거치게 하지 않습니다. 따라서 지원서는 항상 원출처에서 제출됩니다.

5. 품질 평가

모든 레코드에는 세 가지 독립적인 점수, 즉 추출 신뢰도, 주최 기관의 명성, 정당성이 부여됩니다. 신뢰도 기준값에 미치지 못하는 레코드는 공개 색인에서 제외되어 검토 대기열로 넘어갑니다. 명성과 정당성은 순위 결정에 반영되어, 오랜 기간 자리 잡았고 전액 지원되는 프로그램이 검증되지 않은 게시물보다 먼저 표시됩니다.

6. 갱신 주기와 보관

각 출처는 게시 빈도를 반영한 개별 일정에 따라 동기화됩니다. 게시량이 많은 플랫폼은 며칠 간격으로 다시 읽고, 일차 발행처는 주 단위에서 월 단위로 읽으며, 인터넷 전체 조사는 월 단위로 실행합니다. 마감일은 매일 평가하고 만료된 항목은 자동으로 보관하므로, 검색 가능한 색인에는 실제로 열려 있는 기회가 반영됩니다.

현재 수치

수작업 큐레이션과의 비교

편집자가 선별하는 플랫폼은 소규모 팀이 하루 근무 시간 동안 읽고 쓸 수 있는 만큼만 게시하며, 실제로는 하루에 몇 건 정도로 제한되고 대부분 영어이며 대부분 이미 지켜보고 있는 출처에서 나옵니다. 자동화된 파이프라인은 바로 그 출처들을 읽고, 그 뒤에 있는 일차 발행처를 더하며, 지원하는 모든 언어로 끊임없이 작동합니다. 아래 그래프에 나타난 격차는 편집 판단의 차이가 아니라 이러한 처리량의 차이에서 비롯됩니다.