Uma avaliação de rotina de um modelo transformou-se num comprometimento total da infraestrutura, sem qualquer intervenção humana. Não poderíamos ter imaginado tal cenário há alguns meses. Agora, com um número crescente de agentes de IA à solta, começa a parecer banal.
Não têm faltado opiniões acesas no X sobre a razão pela qual isto continua a acontecer (Será apenas para credibilidade de relações públicas? Ou devemos temer o que aí vem?). O que nos chamou a atenção, para além de ambas as perspetivas, é o que isto significa relativamente ao nível de dependência que os defensores já têm de modelos que não controlam.
Na Black Hat, os próprios investigadores da OpenAI descreveram como o incidente realmente se desenrolou. Tudo começou quando agentes bloqueados em tarefas impossíveis começaram a deixar notas uns para os outros dentro de um gestor de pacotes partilhado — a única peça de infraestrutura a que todas as ejecções de modelos conseguiam aceder, apesar de estarem isoladas (sandboxed) sem acesso à internet. Outros agentes bloqueados tropeçaram nessas notas por acidente e formou-se um fórum de mensagens. Uma dessas mensagens revelou-se ser uma forma de contornar totalmente o isolamento (sandboxing), e todos os modelos que a leram puderam utilizá-la também.
Na fase final, os agentes transitaram da execução de código num único pod de trabalhador de conjuntos de dados na infraestrutura de produção da Hugging Face para o acesso de administrador de cluster em vários clusters da Hugging Face, em menos de 13 horas.
Para colocar isto em perspetiva, este trabalho poderia exigir semanas de esforço deliberado por parte de uma equipa de red team humana, mas tudo isto aconteceu como um efeito secundário não supervisionado, aleatório. É um pouco como estar numa missão do GTA para entregar um carro, mas, a meio do caminho, roubar um tanque, iniciar uma perseguição policial e acabar por causar o caos em toda a cidade.
Porque precisa de um plano B para o seu fornecedor de IA
Mas ainda mais pertinente é o que o investigador da OpenAI, Eric Wallace, afirmou em palco:
“O objetivo final que queremos alcançar como indústria é que as melhorias na inteligência dos modelos devem ser mais aditivas para a defesa do que para o ataque. Se não conseguirmos alcançar este estado final, cada aumento de inteligência favorece o atacante, e essa é uma posição insustentável.”
O investigador desafiou os intervenientes da indústria a abordar este problema específico como uma questão urgente (porque é!). Se a indústria não o resolver, o campo de jogo inclina-se ainda mais a favor de quem ataca em detrimento de quem defende.
E, no entanto, parece que todas as semanas há outro agente de IA à solta a atacar outra organização. Resolver isto vai muito além dos detalhes técnicos da sandbox e do mecanismo de execução (harness). A verdadeira questão é saber em quem é que uma empresa ou agência governamental pode realmente confiar. A suspensão do Fable por parte da Anthropic é um bom exemplo disto, onde, da noite para o dia, as ferramentas de um dos principais fornecedores respeitáveis de modelos de IA foram retiradas a todas as equipas que dependiam delas.
Segundo Alex Stamos, diretor de segurança da informação (CSO) da Corridor.dev: “Isto sinalizou que não se pode depender da infraestrutura de IA americana porque, a qualquer momento, uma justificação não escrita, caprichosa e juridicamente dúbia pode ser utilizada para puxar essa infraestrutura debaixo dos nossos pés.”
Isto abriu uma oportunidade para modelos concorrentes da China, incluindo modelos de pesos abertos (open-weights). O Kimi deixou um aviso severo à OpenAI e à Anthropic sobre o que aí vinha com um desempenho semelhante ao do Fable.
Mesmo após a remoção da suspensão do Fable, a nova versão introduzida pela Anthropic agravou o problema com novas salvaguardas. Quando os agentes da OpenAI atacaram a Hugging Face, esta última tentou utilizar o Fable e o Opus 4.8 da Anthropic para a investigação. No entanto, ambos tinham guardrails de cibersegurança rígidos que bloquearam os seus pedidos. Por isso, configuraram em alternativa o GLM 5.2, um modelo de pesos abertos (open-weight), para realizar a análise de rastreio no seu próprio hardware.

Tudo isto para dizer que o facto de os modelos dos EUA serem os mais amplamente conhecidos, os mais performantes (embora com concorrentes como o Kimi K3 a recuperar o atraso) e, portanto, acessíveis neste momento, não significa que serão sempre acessíveis. Estão disponíveis para serem utilizados, tendo sempre presente que surge um problema se não existir um plano B quando o acordo é alterado de acordo com a agenda de terceiros.
Então, qual deve ser a resposta da indústria ao problema?
De acordo com Wallace, da OpenAI, um dos desafios mais urgentes que a indústria deve começar a enfrentar é o "red teaming agentico contínuo":
“É necessário investir em red teaming com agentes de IA que permita aos defensores detetar e corrigir vulnerabilidades antes dos atacantes.”
No entanto, alertou que este ciclo tem de ser totalmente automatizado, desde a deteção de vulnerabilidades até à correção e remediação.
Stamos sugeriu que os modelos de pesos abertos serão um forte motor de inovação e negócio. Além da relação custo-eficácia, aponta a soberania de dados para o número crescente de jurisdições e empresas que não podem enviar o seu código ou dados para uma Cloud americana como um benefício significativo. Além disso, afirma:
“Existe uma procura real e legítima por modelos de alta velocidade, executados no local (on-premises) e desligados da rede.”
Junte estes três aspetos e a resposta da indústria ao aviso de Wallace salta à vista: defesa executada de forma contínua, com modelos que tornam isto acessível, numa infraestrutura que mais ninguém lhe pode retirar.
Onde isto nos deixa
Se não controla a sua infraestrutura de segurança, está a depender da decisão de outra pessoa para mantê-la disponível para si. A violação da Hugging Face demonstrou até onde um ataque pode escalar quando ninguém precisa de aprovar o passo seguinte. O relato de Stamos sobre a suspensão da Fable evidenciou o mesmo problema a partir do ângulo oposto: as ferramentas de um fornecedor de confiança ficaram indisponíveis para as equipas que delas dependiam, por motivos totalmente alheios ao facto de essas ferramentas funcionarem ou não.
No entanto, trazer agentes de IA para a sua própria infraestrutura não resolve isso por si só. Um agente sem contenção tentará todas as portas a que conseguir aceder, esteja a ser executado na sua rede ou na Cloud de terceiros. Mudar o agente para o seu próprio hardware só ajuda se o sistema impedir que ele vagueie livremente. Os testes devem ser executados de forma contínua, numa infraestrutura que realmente possui. E os agentes que os realizam necessitam de limites impostos pelo próprio sistema.
Se a sua equipa precisa daquilo que este artigo defende, o Aikido Machine é executado inteiramente nas suas instalações (on-premises), com acesso opcional ao seu código (whitebox/blackbox), e pode operar totalmente isolado (air-gapped) quando nada precisa de sair do edifício. Segue a mesma abordagem de imposição de âmbito que criámos para o Aikido Attack: contenção integrada na arquitetura do sistema em vez de delegada em instruções. No Aikido Machine, essa contenção estende-se também à camada de rede. Dois bancos europeus já o estão a utilizar. Reserve aqui uma sessão técnica briefing.
.png)


