O que é vazamento temporal e como ele infla resultados de modelos?
Resposta curta
Vazamento temporal acontece quando o modelo usa informação que só existia depois do momento avaliado, como a liquidação de uma empresa após investigação policial. No vídeo, retirar esse vazamento derrubou o resultado entre 30 e 40 pontos em dois cortes de data. A aula mostra como guardar dados com metadados de data e avaliar só a versão honesta.
O que uma IA achou no dinheiro publico, e onde ela quase errou | Ep. 3: Erros e resultados
Pontos principais
- O modelo de anomalias no gasto público estava colando na prova ao acessar dados que só se tornaram públicos depois de investigações.
- Em dois de três cortes de data, sem o vazamento o resultado caiu entre 30 e 40 pontos, e num corte houve inversão por causa de poucos casos.
- Com cerca de 30 casos públicos conhecidos, a técnica PU Learning deu lugar a um modelo nulo, que descreve o comportamento normal e testa se a anomalia pode ser acaso.
- De cada 80 casos, 64 são de alto risco e 16 são sorteados, e todos passam por revisão humana cega.
- Até a data do vídeo, foram 55 representações ao MPF, 53 com recebimento confirmado, 21 com andamento, 13 que viraram notícia de fato e três arquivadas.
- O código de coleta e organização será aberto, mas limiares, pesos, modelo treinado e lista de envolvidos ficam privados.
Para quem decide
Antes de aprovar qualquer modelo, quem decide deve exigir o teste de vazamento temporal, o denominador de cada taxa e a medida do erro do algoritmo.
O que é vazamento temporal?
Vazamento temporal é quando o modelo, ao avaliar um caso de uma data, acessa informações que só surgiram depois. O exemplo do vídeo é uma empresa liquidada em março de 2026 após investigação da Polícia Federal. Se o modelo vê essa liquidação, acerta mais, mas com um dado que não existia no momento avaliado.
O vídeo compara três cortes de data. Em dois deles, retirar o vazamento derrubou o resultado entre 30 e 40 pontos. No corte mais permissivo houve uma inversão, com o modelo honesto oito pontos acima, explicada pela grande variação de poucos casos na janela.
A defesa usada é guardar os dados com metadados, registrando a data de cada mudança de status. Assim é possível reconstruir o que se sabia em cada momento.
Como o modelo procura anomalias sem exemplos suficientes?
Havia cerca de 30 casos públicos conhecidos, com oito grandes casos quando agrupados. Com tão poucos exemplos, ensinar o sistema a reconhecer corrupção não deu bom resultado, e os casos públicos apareciam espalhados no mapa, sem padrão.
Por isso a técnica PU Learning deu lugar a um modelo nulo. Ele descreve como seria o comportamento normal e calcula, para cada sinal, a chance de ser acaso, comparando com casos parecidos. Como são milhares de testes simultâneos, o sistema corrige pelo número de testes.
O sistema olha três frentes: fundos de investimento, verificando se os números se comportam como dinheiro real, campanhas, comparando como grupos recebem recursos, e o princípio do modelo nulo por trás de tudo.
Como a revisão humana e o registro protegem o resultado?
De uma saída de 80 casos, 64 são de alto risco e 16 são sorteados, uma regra de 20%. O sorteio permite ao sistema aprender com o próprio erro. Os 80 casos chegam à revisão humana de forma cega, sem indicar qual é de alto risco e qual foi sorteado.
Uma camada chamada cofre congela versões dos casos e detecta se algum arquivo foi alterado depois de gerado. Cada representação enviada ao Ministério Público recebe uma impressão digital, um código que deixa de bater se qualquer vírgula for mudada.
O vídeo reforça que a IA aponta anomalias, mas não dá a palavra final. Só o Ministério Público pode dizer se uma anomalia é indício.
O que aconteceu com as representações ao Ministério Público?
Até a véspera da gravação, foram enviadas 55 representações, com 53 confirmações de recebimento do MPF. Dessas, 21 tiveram andamento informado, 13 viraram notícia de fato, algumas foram enviadas a outros órgãos competentes e três foram arquivadas, com recurso em duas.
A maior parte das respostas chegou em dois dias úteis. Em 12 casos foi preciso pedir o andamento. O vídeo atribui o resultado a cidadão engajado de um lado e instituição fazendo seu trabalho de outro.
O painel mostra recortes por estado e por casa, sem recorte partidário. No Senado, o universo foi de 185 pessoas e 9,7% tiveram alguma anomalia. Na Câmara, de um universo de 1157, foram 7,5%. O vídeo alerta que estados com poucas pessoas geram taxas altas sem significado.
Por que não abrir todo o código?
Abrir um modelo treinado é quase abrir as regras, porque muitas consultas permitem extraí-las. Um site de nota por CNPJ exporia pessoas que podem não ter nada de errado e permitiria a alguém mal-intencionado testar o próprio CNPJ até deixar de ser marcado.
Será aberto o código que coleta e organiza os dados, com metodologia em alto nível e métricas de auditoria cega, como a taxa de arquivamento do MPF. O vídeo diferencia o projeto da Serenata de Amor, que olhava reembolsos passados de 513 deputados, enquanto este acompanha ajustes de comportamento daqui para frente.
Três perguntas fecham a série: o número é solto ou ligado a uma trajetória, qual é o denominador e qual é o erro do próprio algoritmo.
Conceitos do vídeo
- Vazamento temporal
- Uso, no treino ou avaliação, de informação posterior ao momento analisado, o que infla o desempenho aparente.
- Modelo nulo
- Modelo que descreve o comportamento normal esperado e permite calcular a chance de um padrão ser fruto do acaso.
- PU Learning
- Técnica que aprende com poucos exemplos positivos conhecidos e muitos não rotulados. Foi abandonada no projeto por haver poucos casos.
- Revisão cega
- Revisão humana em que o revisor não sabe quais casos foram marcados como alto risco e quais foram sorteados.
- Impressão digital do documento
- Código que prova que um documento é exatamente o original e deixa de bater se houver qualquer alteração.
Perguntas frequentes
Como saber se o resultado de um modelo é bom demais para ser verdade?
O vídeo recomenda testar o vazamento temporal antes de confiar no resultado. Isso exige guardar a data de cada informação e avaliar o modelo só com o que existia no momento do caso. Se o desempenho despencar ao retirar dados futuros, o resultado original estava inflado. Um algoritmo que só mostra acertos provavelmente não foi avaliado direito.
Por que sortear 20% dos casos para revisão?
O sorteio permite que o sistema aprenda com o próprio erro. Se casos sorteados também mostram indícios na investigação aprofundada, o modelo se ajusta. Na prática, de cada 80 casos, 64 vêm do alto risco e 16 do sorteio, e todos passam por revisão humana sem identificação da origem.
Uma anomalia apontada pelo algoritmo é prova de irregularidade?
Não. O vídeo insiste que o algoritmo só aponta o que não parece normal nos dados. Pode ser erro de preenchimento. Apenas o Ministério Público, como órgão competente, pode considerar uma anomalia como indício e decidir se ela justifica investigação.
Qualquer cidadão pode acompanhar o gasto público sem algoritmo?
Sim. O vídeo lembra que os dados são públicos e os portais são abertos. É possível digitar o nome de quem se elegeu e ver emendas, contratos e empresas, consultar o portal da transparência da cidade e usar o Transferegov para conferir emendas. Denúncias podem ser feitas por outras razões, não só por algoritmo.
Texto produzido a partir da transcrição do vídeo. O raciocínio completo, os exemplos e as ressalvas estão no vídeo.
Receba as próximas aulas por e-mail
Um e-mail quando sair conteúdo novo do Estúdio 68. Sem spam, cancelamento em um clique.