Metodologia: como encontramos as oportunidades

De que forma o Opportunity Universe disponibiliza a maior base de dados de programas do mundo?

Esta página documenta a forma como o Opportunity Universe descobre, extrai e verifica as oportunidades que publica. A plataforma assenta num processo automatizado de recolha e extração que combina modelos de linguagem de grande dimensão com regras de validação determinísticas. As secções seguintes descrevem cada etapa desse processo, desde a aquisição das fontes até ao arquivo diário, e apresentam os números que o sistema produz atualmente.

1. Aquisição de fontes

O rastreador monitoriza três categorias de fontes.

1. Outras plataformas de oportunidades. Cruzamento com diversas plataformas e bases de dados de oportunidades no mundo todo, lidas em intervalos fixos.
2. Editores primários. Sítios web de universidades, fundações, ministérios e organizações não governamentais, lidos diretamente na fonte.
3. Pesquisa à escala de toda a Internet. Uma camada de consulta que executa pesquisas estruturadas em 25 línguas e revela programas que não figuram em nenhum sítio de listagens.

Uma vez que os editores primários são indexados diretamente, a base de dados não depende de que qualquer outra plataforma se mantenha em linha, completa ou rigorosa.

2. Extração e classificação

Cada página candidata é entregue a um modelo de linguagem que executa duas tarefas. Classifica a página, separando os verdadeiros anúncios de abertura de candidaturas dos artigos noticiosos, das listagens e dos anúncios já encerrados. Em seguida, extrai um registo estruturado com o título, a entidade organizadora, o prazo, os critérios de elegibilidade, o tipo de financiamento, o local e as ligações de candidatura. O resultado é validado face a um vocabulário controlado de tipos, áreas e regiões, para que cada registo seja comparável por meios automáticos e não apenas texto livre.

3. Eliminação de duplicados

Um mesmo programa é frequentemente republicado em muitos sítios web. O sistema reúne essas publicações num único registo canónico com várias fontes atribuídas, recorrendo à semelhança dos títulos, à identidade da entidade organizadora e à proximidade dos prazos. Os programas recorrentes são ainda ligados em séries. Quando uma edição encerra, o processo reexamina periodicamente a série, o que permite detetar a edição seguinte assim que esta é anunciada.

4. Ligações às fontes originais

Cada registo publicado remete para o sítio da entidade organizadora e para a página oficial de candidatura. A plataforma não remete para outros agregadores nem encaminha os candidatos através de redirecionamentos ou de intermediários de rastreio. As candidaturas são, por isso, sempre submetidas na fonte.

5. Avaliação de qualidade

Cada registo tem três pontuações independentes: confiança da extração, prestígio da entidade organizadora e legitimidade. Os registos abaixo do limiar de confiança não são incluídos no índice público e ficam em fila para revisão. O prestígio e a legitimidade influenciam a ordenação, para que os programas consolidados e integralmente financiados apareçam antes dos anúncios não verificados.

6. Ciclo de atualização e arquivo

As fontes são sincronizadas segundo calendários próprios que refletem a frequência com que publicam. As plataformas de grande volume são relidas de poucos em poucos dias, os editores primários com periodicidade semanal a mensal, e a varredura à escala de toda a Internet é executada mensalmente. Os prazos são avaliados diariamente e as entradas expiradas são arquivadas automaticamente, para que o índice pesquisável reflita oportunidades efetivamente abertas.

Números atuais

Comparação com a curadoria manual

As plataformas de curadoria editorial publicam aquilo que uma equipa pequena consegue ler e escrever num dia de trabalho, o que, na prática, as limita a algumas entradas por dia, predominantemente em inglês e predominantemente a partir de fontes que já acompanham. Um processo automatizado lê essas mesmas fontes, acrescenta os editores primários que estão por detrás delas e funciona de forma contínua em todas as línguas que abrange. É esta diferença de capacidade de processamento, e não qualquer diferença de critério editorial, que explica a distância apresentada no gráfico abaixo.