ESTÚDIO 68

Como treinar uma IA sem exemplos negativos para rastrear verba pública

Por Maria Alice Maia · · vídeo de 47 min

Resposta curta

Com duas técnicas. O PU learning trata os 31 casos públicos como positivos e o resto como amostra do mundo em geral, medindo a semelhança de cada caso novo com os problemas já conhecidos. O modelo nulo descreve o comportamento normal e calcula a chance de uma anomalia ser acaso. Embeddings de grafo mostram quem anda com quem.

Como treinar uma IA com sem exemplos: rastreando verbas públicas | Ep. 2: PU Learning e Null Model

Pontos principais

Para quem decide

Em fraude, crédito ou manutenção, quase nunca existe lista de casos normais certificados. O vídeo mostra como trabalhar com positivos raros sem fingir que o resto é negativo e como exigir avaliação sem vazamento.

Por que um banco de grafos para seguir dinheiro público?

O vídeo é o segundo de três sobre a ferramenta Rastro. Num banco de grafos, a ligação importa tanto quanto a coisa em si. Cada entidade vira um nó, como um parlamentar, uma empresa ou uma autarquia, e cada relação vira uma aresta, como pagou, doou ou contratou.

Bancos de tabelas guardam listas e cruzam quando necessário. O grafo já guarda tudo cruzado e brilha quando a pergunta é sobre caminho, como a rota do dinheiro. Para somas e médias simples, ele atrapalha.

A frase que guia o vídeo é que o computador não acusa crime. Ele levanta a mão e indica um desvio de padrão que vale ser olhado, por meio de uma pontuação.

Como funciona o PU learning?

PU learning significa aprendizado com positivos e não rotulados. A base se divide entre 31 casos que são sim e centenas de milhares de casos não sei. Muitas investigações correm em sigilo, então o resto não pode ser tratado como honesto.

O truque é tratar os casos públicos como positivos e o restante como amostra do mundo em geral. O modelo devolve uma régua de 0 a 100 que mede o quanto um caso novo lembra os casos ruins conhecidos. A técnica também serve para manutenção de peças, doenças raras e risco de crédito.

O risco é aprender só o tipo de caso que já foi pego. Como os casos vêm da imprensa, tendem a ser federais e de grande volume. Para reduzir esse viés, os 31 casos são só os que o Ministério Público acatou e a Polícia Federal investigou, e parte dos casos é sorteada para forçar o modelo a olhar onde não olharia.

O que é o modelo nulo e como ele evita falso alarme?

O modelo nulo faz o inverso do PU learning. Em vez de ensinar como é o problema, ensina como é o normal e mede a chance do que foi observado ser pura sorte. Casos confirmados são raros, mas comportamento normal pode ser estimado aos milhões.

Há dois caminhos. O teste de permutação embaralha as ligações mantendo o tamanho de cada ator e verifica com que frequência a coincidência aparece por acaso. Os controles retiram explicações conhecidas, como votar sempre com a bancada, e olham só o que sobra, como um voto contra a bancada logo após um evento específico.

Com milhares de testes, alguns darão raros por acaso. Por isso o vídeo usa a correção de Benjamini para controlar a taxa de falso alarme. O modelo nulo precisa de calibração: variáveis de menos fazem tudo parecer estranho, variáveis demais apagam o sinal verdadeiro.

O que os embeddings de grafo e os sinais mostram?

O embedding de grafo transforma a vizinhança de cada nó em números que funcionam como posição num mapa. A técnica usada faz rotas aleatórias pela rede e anota quem aparece junto de quem. É uma rede rasa, com poucas camadas, porque com 31 casos um modelo complexo decoraria em vez de aprender.

No mapa, os 31 casos públicos aparecem em vermelho e a fila do dia em azul. A cada dia saem 80 casos, 64 do topo da nota e 16 sorteados. Na curva de concentração, 10% dos executores com sinal concentram 55% do dinheiro com sinal de anomalia, cerca de 25 bilhões em 4.000 executores.

Um sinal determinístico é o fornecedor aberto pouco antes de receber verba. O limiar não é divulgado para não ser contornado. O vídeo cita 980 executores que pagaram cerca de 1.500 fornecedores nessa condição. Entre cerca de 170 mil grupos ligados por sócio, endereço ou contato, quase 3.000 mostraram coordenação no tempo.

Como avaliar o modelo com honestidade?

O modelo colava na prova. No treino, via fatos posteriores à data em que os casos se tornaram públicos, como a falência de uma empresa. Com o vazamento, os casos conhecidos pontuavam 66. Após incluir as datas, passaram a pontuar 36.

A avaliação inclui checagem de vazamento sempre que o tempo importa, auditoria cega de casos sorteados e um teste cego antes de qualquer envio ao Ministério Público. Se o modelo aponta alto risco onde a revisão humana vê baixo risco, a alteração é revertida ou os pesos são rebalanceados.

O vídeo resume que o dia mais importante de um projeto de IA é quando ele cai. Um sinal é só anomalia e nunca acusação.

Conceitos do vídeo

PU learning
Aprendizado com exemplos positivos e exemplos não rotulados, usado quando não existe lista confiável de casos negativos.
Modelo nulo
Descrição do comportamento normal que permite calcular a chance de um padrão observado ser fruto do acaso.
Teste de permutação
Embaralhamento das ligações, mantendo o tamanho de cada ator, para ver com que frequência uma coincidência surge por sorte.
Embedding de grafo
Conversão da vizinhança de cada nó numa posição numérica, de modo que entidades com vizinhanças parecidas fiquem próximas.
Rede rasa
Modelo com poucas camadas, adequado quando há poucos exemplos rotulados e um modelo profundo apenas decoraria.

Perguntas frequentes

Por que não usar os casos não investigados como exemplos de honestidade?

Porque não se sabe se são honestos. Muitas investigações correm em sigilo e o volume de casos não sei inclui provavelmente casos problemáticos ainda não descobertos. Tratá-los como honestos ensinaria ao modelo que certos desvios são normais. O PU learning trata esse conjunto como amostra do mundo em geral.

Qual é o principal viés do modelo descrito?

Os casos positivos vêm de notícias, que tendem a cobrir casos federais e de grande volume financeiro. O modelo pode então detectar o tipo de caso que a imprensa noticia, e não a corrupção em geral. O vídeo menciona o plano de usar decisões públicas da justiça para reduzir esse viés.

Por que não divulgar o limiar de empresa aberta há pouco tempo?

Porque o sistema funciona como um sistema de segurança. Se o limiar fosse público, seria fácil abrir empresas fora da janela considerada suspeita e escapar da regra. O vídeo lembra também que uma empresa nova pode ser apenas uma filial aberta para faturar em outro estado.

Ser agrupado com outras entidades é uma acusação?

Não. O grupo é só um recorte para investigar, formado por entidades que compartilham sócio, endereço, contato ou cota de fundo. O vídeo afirma que isso jamais é uma acusação de formação de quadrilha. Alguns critérios, como compartilhar o contador, deixaram de contar como sinal.

Texto produzido a partir da transcrição do vídeo. O raciocínio completo, os exemplos e as ressalvas estão no vídeo.

Receba as próximas aulas por e-mail

Um e-mail quando sair conteúdo novo do Estúdio 68. Sem spam, cancelamento em um clique.

Mais sobre Dados públicos e eleições

Todo o conteúdo do tema