ESTÚDIO 68

O que é vazamento temporal e como ele infla resultados de modelos?

Por Maria Alice Maia · · vídeo de 37 min

Resposta curta

Vazamento temporal acontece quando o modelo usa informação que só existia depois do momento avaliado, como a liquidação de uma empresa após investigação policial. No vídeo, retirar esse vazamento derrubou o resultado entre 30 e 40 pontos em dois cortes de data. A aula mostra como guardar dados com metadados de data e avaliar só a versão honesta.

O que uma IA achou no dinheiro publico, e onde ela quase errou | Ep. 3: Erros e resultados

Pontos principais

Para quem decide

Antes de aprovar qualquer modelo, quem decide deve exigir o teste de vazamento temporal, o denominador de cada taxa e a medida do erro do algoritmo.

O que é vazamento temporal?

Vazamento temporal é quando o modelo, ao avaliar um caso de uma data, acessa informações que só surgiram depois. O exemplo do vídeo é uma empresa liquidada em março de 2026 após investigação da Polícia Federal. Se o modelo vê essa liquidação, acerta mais, mas com um dado que não existia no momento avaliado.

O vídeo compara três cortes de data. Em dois deles, retirar o vazamento derrubou o resultado entre 30 e 40 pontos. No corte mais permissivo houve uma inversão, com o modelo honesto oito pontos acima, explicada pela grande variação de poucos casos na janela.

A defesa usada é guardar os dados com metadados, registrando a data de cada mudança de status. Assim é possível reconstruir o que se sabia em cada momento.

Como o modelo procura anomalias sem exemplos suficientes?

Havia cerca de 30 casos públicos conhecidos, com oito grandes casos quando agrupados. Com tão poucos exemplos, ensinar o sistema a reconhecer corrupção não deu bom resultado, e os casos públicos apareciam espalhados no mapa, sem padrão.

Por isso a técnica PU Learning deu lugar a um modelo nulo. Ele descreve como seria o comportamento normal e calcula, para cada sinal, a chance de ser acaso, comparando com casos parecidos. Como são milhares de testes simultâneos, o sistema corrige pelo número de testes.

O sistema olha três frentes: fundos de investimento, verificando se os números se comportam como dinheiro real, campanhas, comparando como grupos recebem recursos, e o princípio do modelo nulo por trás de tudo.

Como a revisão humana e o registro protegem o resultado?

De uma saída de 80 casos, 64 são de alto risco e 16 são sorteados, uma regra de 20%. O sorteio permite ao sistema aprender com o próprio erro. Os 80 casos chegam à revisão humana de forma cega, sem indicar qual é de alto risco e qual foi sorteado.

Uma camada chamada cofre congela versões dos casos e detecta se algum arquivo foi alterado depois de gerado. Cada representação enviada ao Ministério Público recebe uma impressão digital, um código que deixa de bater se qualquer vírgula for mudada.

O vídeo reforça que a IA aponta anomalias, mas não dá a palavra final. Só o Ministério Público pode dizer se uma anomalia é indício.

O que aconteceu com as representações ao Ministério Público?

Até a véspera da gravação, foram enviadas 55 representações, com 53 confirmações de recebimento do MPF. Dessas, 21 tiveram andamento informado, 13 viraram notícia de fato, algumas foram enviadas a outros órgãos competentes e três foram arquivadas, com recurso em duas.

A maior parte das respostas chegou em dois dias úteis. Em 12 casos foi preciso pedir o andamento. O vídeo atribui o resultado a cidadão engajado de um lado e instituição fazendo seu trabalho de outro.

O painel mostra recortes por estado e por casa, sem recorte partidário. No Senado, o universo foi de 185 pessoas e 9,7% tiveram alguma anomalia. Na Câmara, de um universo de 1157, foram 7,5%. O vídeo alerta que estados com poucas pessoas geram taxas altas sem significado.

Por que não abrir todo o código?

Abrir um modelo treinado é quase abrir as regras, porque muitas consultas permitem extraí-las. Um site de nota por CNPJ exporia pessoas que podem não ter nada de errado e permitiria a alguém mal-intencionado testar o próprio CNPJ até deixar de ser marcado.

Será aberto o código que coleta e organiza os dados, com metodologia em alto nível e métricas de auditoria cega, como a taxa de arquivamento do MPF. O vídeo diferencia o projeto da Serenata de Amor, que olhava reembolsos passados de 513 deputados, enquanto este acompanha ajustes de comportamento daqui para frente.

Três perguntas fecham a série: o número é solto ou ligado a uma trajetória, qual é o denominador e qual é o erro do próprio algoritmo.

Conceitos do vídeo

Vazamento temporal
Uso, no treino ou avaliação, de informação posterior ao momento analisado, o que infla o desempenho aparente.
Modelo nulo
Modelo que descreve o comportamento normal esperado e permite calcular a chance de um padrão ser fruto do acaso.
PU Learning
Técnica que aprende com poucos exemplos positivos conhecidos e muitos não rotulados. Foi abandonada no projeto por haver poucos casos.
Revisão cega
Revisão humana em que o revisor não sabe quais casos foram marcados como alto risco e quais foram sorteados.
Impressão digital do documento
Código que prova que um documento é exatamente o original e deixa de bater se houver qualquer alteração.

Perguntas frequentes

Como saber se o resultado de um modelo é bom demais para ser verdade?

O vídeo recomenda testar o vazamento temporal antes de confiar no resultado. Isso exige guardar a data de cada informação e avaliar o modelo só com o que existia no momento do caso. Se o desempenho despencar ao retirar dados futuros, o resultado original estava inflado. Um algoritmo que só mostra acertos provavelmente não foi avaliado direito.

Por que sortear 20% dos casos para revisão?

O sorteio permite que o sistema aprenda com o próprio erro. Se casos sorteados também mostram indícios na investigação aprofundada, o modelo se ajusta. Na prática, de cada 80 casos, 64 vêm do alto risco e 16 do sorteio, e todos passam por revisão humana sem identificação da origem.

Uma anomalia apontada pelo algoritmo é prova de irregularidade?

Não. O vídeo insiste que o algoritmo só aponta o que não parece normal nos dados. Pode ser erro de preenchimento. Apenas o Ministério Público, como órgão competente, pode considerar uma anomalia como indício e decidir se ela justifica investigação.

Qualquer cidadão pode acompanhar o gasto público sem algoritmo?

Sim. O vídeo lembra que os dados são públicos e os portais são abertos. É possível digitar o nome de quem se elegeu e ver emendas, contratos e empresas, consultar o portal da transparência da cidade e usar o Transferegov para conferir emendas. Denúncias podem ser feitas por outras razões, não só por algoritmo.

Texto produzido a partir da transcrição do vídeo. O raciocínio completo, os exemplos e as ressalvas estão no vídeo.

Receba as próximas aulas por e-mail

Um e-mail quando sair conteúdo novo do Estúdio 68. Sem spam, cancelamento em um clique.

Mais sobre Dados públicos e eleições

Todo o conteúdo do tema