Phương pháp: cách chúng tôi tìm kiếm các cơ hội

Opportunity Universe mang đến cơ sở dữ liệu chương trình lớn nhất thế giới bằng cách nào?

Trang này trình bày cách Opportunity Universe phát hiện, trích xuất và xác minh các cơ hội mà nền tảng công bố. Nền tảng được xây dựng quanh một quy trình thu thập và trích xuất tự động, kết hợp các mô hình ngôn ngữ lớn với những quy tắc kiểm tra xác định. Các phần dưới đây mô tả từng giai đoạn của quy trình đó, từ khâu thu thập nguồn cho đến việc lưu trữ hằng ngày, và nêu các số liệu mà hệ thống hiện đang đạt được.

1. Thu thập nguồn

Trình thu thập dữ liệu theo dõi ba nhóm nguồn.

1. Các nền tảng cơ hội khác. Đối chiếu với nhiều nền tảng và cơ sở dữ liệu cơ hội trên toàn thế giới, đọc theo lịch cố định.
2. Các đơn vị công bố gốc. Trang web của các trường đại học, quỹ, bộ ngành và tổ chức phi chính phủ, được đọc trực tiếp tại nguồn.
3. Tìm kiếm trên toàn bộ internet. Một lớp truy vấn thực hiện các tìm kiếm có cấu trúc bằng 25 ngôn ngữ và phát hiện những chương trình không xuất hiện trên bất kỳ trang đăng tin nào.

Vì các đơn vị công bố gốc được lập chỉ mục trực tiếp, cơ sở dữ liệu không phụ thuộc vào việc bất kỳ nền tảng nào khác còn hoạt động, còn đầy đủ hay còn chính xác.

2. Trích xuất và phân loại

Mỗi trang được xem xét sẽ được chuyển tới một mô hình ngôn ngữ thực hiện hai nhiệm vụ. Mô hình phân loại trang, tách các thông báo tuyển chọn thực sự khỏi bài báo tin tức, bài viết dạng danh sách và những thông báo đã kết thúc. Sau đó, mô hình trích xuất một bản ghi có cấu trúc gồm tiêu đề, đơn vị tổ chức, hạn nộp, điều kiện tham gia, hình thức tài trợ, địa điểm và các liên kết nộp hồ sơ. Kết quả được kiểm tra theo một bộ từ vựng chuẩn hóa về loại hình, lĩnh vực và khu vực, nhờ đó mỗi bản ghi có thể so sánh được bằng máy thay vì chỉ là văn bản tự do.

3. Loại bỏ trùng lặp

Cùng một chương trình thường được đăng lại trên rất nhiều trang web. Hệ thống quy các bản đăng này về một bản ghi chuẩn duy nhất với nhiều nguồn được ghi nhận, dựa trên mức độ tương đồng của tiêu đề, danh tính của đơn vị tổ chức và sự gần nhau của các hạn nộp. Các chương trình được tổ chức định kỳ còn được liên kết thành chuỗi. Khi một kỳ kết thúc, quy trình sẽ định kỳ xem xét lại chuỗi đó, nhờ vậy kỳ tiếp theo có thể được phát hiện ngay khi được công bố.

4. Liên kết tới nguồn gốc

Mỗi bản ghi được công bố đều liên kết tới trang web của đơn vị tổ chức và tới trang nộp hồ sơ chính thức. Nền tảng không liên kết tới các trang tổng hợp khác và không dẫn người nộp hồ sơ qua các đường chuyển hướng hay bên trung gian theo dõi. Vì vậy, hồ sơ luôn được nộp trực tiếp tại nguồn.

5. Đánh giá chất lượng

Mỗi bản ghi mang ba điểm số độc lập: độ tin cậy của việc trích xuất, uy tín của đơn vị tổ chức và tính chính danh. Những bản ghi dưới ngưỡng tin cậy không được đưa vào chỉ mục công khai và được xếp hàng chờ thẩm định. Uy tín và tính chính danh ảnh hưởng tới thứ tự hiển thị, nhờ đó các chương trình có uy tín lâu năm và được tài trợ toàn phần xuất hiện trước những mục chưa được xác minh.

6. Chu kỳ cập nhật và lưu trữ

Các nguồn được đồng bộ theo lịch riêng, phản ánh tần suất đăng tải của từng nguồn. Những nền tảng có khối lượng lớn được đọc lại sau vài ngày, các đơn vị công bố gốc theo tuần hoặc theo tháng, còn đợt quét toàn bộ internet được chạy hằng tháng. Hạn nộp được rà soát hằng ngày và các mục đã hết hạn được lưu trữ tự động, nhờ đó chỉ mục tìm kiếm phản ánh những cơ hội thực sự còn mở.

Số liệu hiện tại

So sánh với việc tuyển chọn thủ công

Các nền tảng do ban biên tập tuyển chọn chỉ công bố được những gì một nhóm nhỏ có thể đọc và viết trong một ngày làm việc, điều này trên thực tế giới hạn họ ở vài mục mỗi ngày, chủ yếu bằng tiếng Anh và chủ yếu từ những nguồn mà họ vốn đã theo dõi. Một quy trình tự động đọc chính những nguồn đó, bổ sung thêm các đơn vị công bố gốc đứng sau chúng, và hoạt động liên tục bằng mọi ngôn ngữ mà nó bao phủ. Chính sự khác biệt về năng suất xử lý này, chứ không phải bất kỳ khác biệt nào về đánh giá biên tập, giải thích khoảng cách thể hiện trong biểu đồ dưới đây.