Tema
Inferência causal e análise de dados
Como separar causa de coincidência: grupo controle, diff-in-diff, RDD, matching, controle sintético e indicadores.
25 conteúdos · séries: Análise de Dados do Zero, Arquitetos de Evidências, Machine Learning para Gestores
- O que é causal discovery e quando usar?Causal discovery, ou descoberta causal, é o conjunto de métodos de machine learning que tenta inferir dos próprios dados a direção de causa e efeito entre variáveis. Na inferência causal, a pessoa define as setas e a máquina mede o tamanho delas. Na descoberta causal, a máquina propõe as setas. O resultado é uma lista de hipóteses, não uma certeza.
- Por que projetos que funcionam no piloto morrem quando crescem?Projetos que funcionam no piloto costumam perder efeito na escala por três mecanismos. O efeito Hawthorne faz as pessoas se comportarem melhor quando sabem que estão sendo observadas. O spillover contamina o grupo controle e distorce a comparação. O efeito de equilíbrio elimina a vantagem quando todos recebem o mesmo benefício. Os três podem ser identificados antes de escalar.
- O que é Double Machine Learning e como medir o efeito de uma decisãoDouble Machine Learning é um método para estimar o efeito causal de uma decisão quando há muitas variáveis de confusão. Dois modelos de machine learning preveem o tratamento e o resultado a partir dessas variáveis. Os resíduos das duas previsões representam a variação pura de cada um, e uma regressão simples entre eles estima o efeito causal.
- O que é diferenças em diferenças e matching, na prática?Diferenças em diferenças mede o efeito de uma mudança comparando a evolução de quem mudou com a evolução de um grupo parecido que não mudou. Matching compara cada pessoa tratada com um gêmeo estatístico não tratado, por características idênticas ou pela mesma probabilidade de receber o tratamento. Os dois servem quando não é possível fazer um experimento.
- O que é PCA e RDD, explicado sem matemática?PCA comprime muitas variáveis em poucas, preservando o formato geral dos dados, e serve para acelerar modelos. A análise fatorial exploratória busca a causa oculta que faz variáveis se moverem juntas. A regressão descontínua mede o efeito de uma regra rígida comparando quem ficou logo acima e logo abaixo de uma linha de corte.
- O que é controle sintético e quando usar?Controle sintético é um método quase experimental para medir o efeito de uma intervenção aplicada em uma única unidade, como uma loja ou cidade. O algoritmo combina, com pesos positivos que somam 100%, unidades não tratadas até reproduzir a trajetória da unidade tratada antes da intervenção. A diferença depois da intervenção estima o efeito.
- O que é estudo de evento (event study) e como ler o gráfico?Estudo de evento é um gráfico que mostra, período a período, a diferença entre grupo tratado e controle antes e depois de uma intervenção. O lado esquerdo testa visualmente se os grupos andavam juntos. O lado direito revela se o efeito é passageiro, tardio ou gradual, algo que um número médio esconde.
- Por que o antes e depois engana? Como usar diferenças em diferençasComparar antes e depois mistura o efeito do projeto com tudo o que aconteceu no mesmo período, como a Black Friday. Diferenças em diferenças subtrai a variação de um grupo controle que andava junto com o grupo tratado. Quando a implantação é escalonada, é preciso comparar coortes limpas ou usar projeções locais.
- O que é governança semântica de dados e por que não é papel da TI?Governança semântica é a responsabilidade de definir o significado das variáveis coletadas. A TI cuida da tubulação, garantindo segurança e entrega. A área de negócios ou de políticas públicas é dona da água, isto é, do que é medido e de como. Essa governança não se terceiriza, porque o código não conserta o que ela não definiu.
- O que é p-valor, tamanho do efeito e intervalo de confiança?O p-valor indica a chance de um resultado tão bom aparecer por pura sorte se a iniciativa não tivesse efeito. Ele não mede o tamanho do resultado. Para isso serve o tamanho do efeito, como o d de Cohen. O intervalo de confiança mostra a faixa provável do resultado, e o pior cenário dessa faixa orienta a decisão.
- Por que o relatório do app ZenTech não prova nada? Resolução do casoO relatório do app ZenTech não prova que a meditação reduziu o burnout. As medidas não representam saúde mental nem produtividade, a pesquisa ouviu só quem ficou na empresa, as duas perguntas vieram da mesma fonte, a carga de trabalho explica uso e saúde, e o piloto na sede não se generaliza para fábrica e call center.
- Caso ZenTech: um app de meditação reduz burnout? Exercício práticoO caso ZenTech apresenta um relatório de People Analytics que pede R$ 10 milhões para expandir um app de meditação a 10.000 funcionários. O exercício pede que o aluno atue como time vermelho e procure falhas de validade de construto, validade interna e validade externa, além de quatro vieses, antes de aprovar o investimento.
- Quais são os vieses que mais enganam uma análise de dados?Quatro vieses estragam a maior parte das análises de dados em gestão. O viés de sobrevivência olha só quem chegou ao fim. A variável omitida é um fator oculto que causa a suposta causa e o efeito. A causalidade reversa inverte a seta. O viés do método comum mede causa e efeito na mesma fonte e cria correlação artificial.
- O que é validade de construto, validade interna e validade externa?Validade de construto verifica se o dado mede o conceito pretendido. Validade interna verifica se foi mesmo o tratamento que causou o resultado, o que exige grupo controle. Validade externa verifica se o resultado funciona fora do grupo testado. Os três testes ligam o mundo das ideias ao mundo da planilha antes da análise.
- Como criar um grupo controle com sorteio e lista de espera?Para criar um grupo controle real, compare voluntário com voluntário. Abra inscrições, sorteie quem faz o programa e coloque os demais numa lista de espera. Como os dois grupos têm a mesma motivação, a única diferença é o sorteio. Se os sorteados entregarem mais, o efeito pode ser atribuído ao programa.
- Treinamento voluntário aumenta a produtividade? Caso para analisarO caso apresenta um programa de aceleração da inovação feito por 200 gerentes voluntários, que entregaram 40% mais projetos no prazo do que os 800 que não participaram. O relatório pede R$ 5 milhões para tornar o curso obrigatório. O exercício pede avaliar se a comparação prova causa, se há viés e qual seria o mecanismo.
- O que é rastreamento de processo e mecanismo causal?Rastreamento de processo é mapear cada elo entre uma causa e seu resultado, ou seja, o mecanismo. Não basta provar que um projeto funcionou. É preciso saber como funcionou, porque o mecanismo revela se existe outra forma de obter o mesmo efeito com menos custo, menos tempo ou mais alcance.
- O que é estatística descritiva, inferencial e causal?A estatística pode ser vista como uma escada de três degraus. A descritiva fotografa a realidade. A inferencial descobre o todo a partir de uma amostra. A causal prova que uma coisa causa outra, comparando quem recebeu uma intervenção com um grupo controle parecido, que representa o que teria acontecido sem ela.
- Como criar um índice com pesos que não sejam arbitrários?Um índice robusto começa pelas dimensões, separa o requisito legal do esperado e do excepcional e trata o mínimo obrigatório como necessário, sem compensação. Os pesos não devem ser adivinhados. Técnicas como análise fatorial exploratória e análise de componentes principais agrupam variáveis, eliminam redundâncias e calculam pesos a partir dos dados.
- Por que as notas de transparência da CGU e de ESG da B3 enganam?Os índices de transparência da CGU e de sustentabilidade da B3 tratam dimensões diferentes como se uma compensasse a outra. Somar e tirar a média permite que uma nota alta esconda uma nota zero. Um prefeito que esconde gastos de uma obra pode sair com nota 5, e uma empresa pode compensar o social com governança.
- Como analisar a Escala Brasil Transparente e o ISE da B3? ExercícioO exercício pede para desconstruir dois índices brasileiros: a Escala Brasil Transparente, da CGU, e o Índice de Sustentabilidade Empresarial, da B3. O aluno define o conceito, as dimensões e as variáveis do zero e depois avalia a agregação, os pesos, o que é necessário ou substituível e o que é obrigatório por lei.
- Como medir conceitos intangíveis com indicadores no trabalho?Para medir algo intangível, como cultura ou sustentabilidade, é preciso passar por três níveis. Primeiro, o conceito básico. Depois, as dimensões, que dizem o que faz e o que não faz parte do conceito. Só então o indicador, que é a coluna na planilha. Pular as dimensões gera índices sem relação com o conceito.
- Como definir o problema e justificar uma análise de turnover?Uma boa definição de problema não contém a solução. No caso do RH, o que deve apresentar um conflito, como salários altos que deveriam reter pessoas e um turnover que sobe, e perguntar a causa. O porquê deve trazer um impacto tangível, como multas contratuais, atrasos e perda de clientes, de preferência mensurado.
- Prever quem vai pedir demissão reduz o turnover? O caso do RHNão necessariamente. No caso apresentado, uma empresa de tecnologia pagou R$ 400.000 por um modelo que previa com 95% de acerto quem pediria demissão. Seis meses depois, o turnover seguia em 22%. O modelo respondia bem à pergunta errada: identificava sintomas de quem já tinha decidido sair, sem revelar por que as pessoas saíam.
- O que é o erro tipo III e como resolver o problema certo?O erro tipo III é acertar o centro do alvo errado: dar uma resposta tecnicamente perfeita para uma pergunta que não muda a decisão. Para evitá-lo, a análise deve começar por dois parágrafos. O que descreve um enigma, com conflito entre o esperado e a realidade. O porquê quantifica a dor de não resolvê-lo.