ESTÚDIO 68

Tema

Segurança de IA e agentes

Incidentes reais com agentes e modelos, injeção de prompt, roubo de modelo e como proteger sistemas com IA.

8 conteúdos · séries: The Agentic Era, Análises de IA

  1. Como operar agentes de IA com segurança: contenção, evidência e paradaOperar agentes de IA com segurança exige três camadas. Contenção limita o pior resultado possível com menor privilégio, escopo de ferramentas e backup separado. Evidência registra o que aconteceu com logs externos ao agente. Interrupção para o agente a tempo com verificação independente e checagens determinísticas. System prompt e humano no circuito ajudam, mas não bastam sozinhos.
  2. Como parar um agente de IA autônomo? O caso OpenAI e Hugging FaceO botão de desligar é a última defesa contra um agente de IA autônomo, porque quando alguém percebe o erro o estrago já aconteceu. O que protege de verdade é o circuit breaker, que trava ações graves antes de acontecerem, e o blast radius reduzido, que limita o alcance do agente. Treinar com valores também reduz o risco.
  3. Como um agente de IA invadiu a Lilli, a IA interna da McKinsey?Um agente autônomo de segurança acessou a Lilli, IA interna da McKinsey, em 2 horas, sem credenciais, por uma variante de SQL injection. Além de conversas e arquivos, alcançou os 95 prompts de sistema que definem o comportamento da IA. Quem reescreve essas instruções controla o que milhares de consultores recebem, sem deixar rastro. A causa raiz é governança.
  4. Como roubar uma IA pela interface? O caso Alibaba contra a AnthropicUma IA pode ser copiada pela própria interface, sem invasão. Segundo o vídeo, operadores ligados ao Alibaba usaram 25.000 contas falsas para fazer 28,8 milhões de interações com o Claude em 44 dias e treinar outro modelo com as respostas. Empresas com IA exposta correm três riscos parecidos: destilação, engenharia reversa do system prompt e extração de dados via RAG.
  5. O que é um AI Gateway e por que o ban do Fable 5 mostrou sua função?AI Gateway é a camada intermediária entre a aplicação de uma empresa e os modelos de IA que ela usa. Ele escolhe o modelo de cada pedido com base em disponibilidade, custo e tipo de tarefa. Se o modelo principal cai, desvia para outro. Segundo o vídeo, o banimento do Fable 5 em menos de 72 horas mostrou esse risco.
  6. How can AI read confidential data without breaching compliance?AI can work with confidential data when the documents never leave the company. A local Model Context Protocol bridge inside the firewall uses a relational database to check access and a vector database to find relevant passages, so only small snippets reach the AI. Zero trust proxies, isolated sub-agents and a zero data retention agreement complete the protection.
  7. What are the risks of vibe coding for teams and skills?Vibe coding lets people build software by describing intent, but AI takes the path of least resistance and produces silent security flaws, monoliths and hidden debt. It also erodes skills. A randomized trial cited in the class found a 17% drop in knowledge scores for AI-assisted developers. Teams need a prompt zero and productive friction.
  8. How does prompt injection hijack AI agents?Prompt injection hijacks AI agents because a language model can read instructions and external data as one stream of text. A hidden line in a resume, email or web page can override the agent's goals and make it act with the company's own credentials. Defenses include input scanning, separation of instructions from data and split-brain architectures.