Uma avaliação de rotina de um modelo transformou-se num comprometimento total da infraestrutura, e ninguém estava ao comando. Não poderíamos ter imaginado isso há alguns meses. Agora, com um número crescente de agentes de IA a agir sem controlo, isto começa a parecer-se com algo comum.
Não faltaram opiniões polêmicas no X sobre o motivo pelo qual isto continua a acontecer (Será apenas para reforçar a credibilidade em termos de relações públicas? Ou devemos recear o que está para vir?). O que nos chamou a atenção, para além destas duas histórias, foi o que isto significa em termos da dependência que os defensores já têm em relação a modelos que não controlam.
Na Black Hat, os próprios investigadores da OpenAI descreveram como o incidente se desenrolou na realidade. Tudo começou quando os agentes, presos em tarefas impossíveis, começaram a deixar notas uns para os outros dentro de um gestor de pacotes partilhado — a única parte da infraestrutura a que todas as execuções dos modelos tinham acesso, apesar de, de resto, estarem isolados numa «sandbox» sem acesso à Internet. Outros agentes que se encontravam em impasse depararam-se com essas notas por acaso, e formou-se assim um fórum de mensagens. Uma dessas mensagens revelou-se uma forma de contornar completamente esse ambiente isolado, e todos os modelos que a leram puderam também utilizá-la.
Na fase final, os agentes passaram da execução de código num único pod de trabalho de um conjunto de dados na infraestrutura de produção da Hugging Face para a administração de vários clusters da Hugging Face, em menos de 13 horas.
Para colocar isto em perspetiva, este trabalho poderia levar semanas de esforço deliberado a uma equipa «red team» humana, mas tudo isto aconteceu como um efeito secundário aleatório e não supervisionado. É um pouco como estar numa missão do GTA para entregar um carro, mas, algures pelo caminho, roubar um tanque, dar início a uma perseguição policial e acabar por causar o caos em toda a cidade.
Por que precisa de um plano B para o seu fornecedor de IA
Mas o que é mais relevante é o que o investigador da OpenAI, Eric Wallace, afirmou no palco:
«O objetivo final que pretendemos alcançar enquanto setor é que as melhorias na inteligência dos modelos contribuam mais para a defesa do que para o ataque. Se não conseguirmos atingir esse objetivo final, então cada aumento na inteligência favorecerá o atacante, e essa é uma situação insustentável.»
Ele desafiou os intervenientes do setor a abordarem este problema específico como uma questão urgente (porque é mesmo!). Se o setor não o resolver, isso irá inclinar ainda mais a balança a favor de quem está a atacar, em detrimento de quem está a defender.
No entanto, parece que todas as semanas surge outro agente de IA à solta, a atacar mais uma organização. Resolver esta situação vai além dos pormenores técnicos da «sandbox» e do «harness». A verdadeira questão é em quem é que uma empresa ou agência governamental pode realmente confiar. A suspensão do Fable pela Anthropic é um bom exemplo disso, em que, da noite para o dia, uma das ferramentas de um dos principais fornecedores de modelos de IA de renome foi retirada de todas as equipas que dela dependiam.
Segundo Alex Stamos, diretor de segurança da Corridor.dev: «Isto demonstrou que não se pode confiar na infraestrutura de IA americana porque, a qualquer momento, pode ser utilizada uma justificação não escrita, caprichosa e juridicamente duvidosa para retirar essa infraestrutura debaixo dos nossos pés.»
Isto proporcionou uma oportunidade aos modelos competitivos da China, incluindo os modelos de peso aberto. Kimi lançou um aviso severo à OpenAI e à Anthropic sobre o que se avizinhava, com um desempenho semelhante ao do Fable.
Mesmo após o levantamento da suspensão do Fable, a nova versão apresentada pela Anthropic agravou o problema com novas medidas de segurança. Quando os agentes da OpenAI atacaram a Hugging Face, esta última tentou utilizar o Fable e o Opus 4.8 da Anthropic para a investigação. No entanto, ambos tinham medidas de segurança cibernética rigorosas que bloquearam os seus pedidos. Assim, configuraram o GLM 5.2, um modelo de pesos abertos, para realizar a análise de rastreio no seu próprio hardware.
O que quero dizer com isto é que, só porque os modelos norte-americanos são os mais conhecidos, os mais eficientes (embora modelos como o Kimi K3 estejam a ganhar terreno) e, por isso, acessíveis neste momento, isso não significa que venham a estar sempre acessíveis. Estão lá para serem utilizados, mas é preciso ter em conta que surge um problema se não houver um plano B quando a situação se alterar de acordo com os planos de outra entidade.
Então, qual deveria ser a resposta do setor a este problema?
Segundo Wallace, da OpenAI, um dos desafios mais urgentes que o setor deve começar a enfrentar é o «red teaming contínuo e proativo»:
«É necessário investir na criação de uma equipa de simulação de ataques (red teaming) baseada em IA, que permita aos defensores identificar e corrigir vulnerabilidades antes que os atacantes o façam.»
No entanto, alertou que este ciclo tem de ser totalmente automatizado, desde a deteção de vulnerabilidades até à aplicação de correções e à correção dos problemas.
Stamos sugeriu que os modelos de «open-weights» vão ser um importante catalisador da inovação e dos negócios. Para além de serem económicos, ele cita a soberania dos dados como uma vantagem significativa para o número crescente de jurisdições e empresas que não podem enviar o seu código ou os seus dados para uma nuvem norte-americana. Além disso, afirma:
«Existe uma procura real e legítima por modelos locais de alta velocidade que possam funcionar sem ligação à Internet.»
Juntemos esses três fatores e a resposta da indústria ao próprio aviso de Wallace está bem à nossa frente: uma defesa que funciona de forma contínua, com modelos que a tornam acessível, numa infraestrutura que mais ninguém pode retirar-nos.
O que isso significa para nós
Se não controlar a sua infraestrutura de segurança, estará a depender da decisão de outra pessoa para que esta continue disponível para si. A violação de segurança da Hugging Face demonstrou até que ponto um ataque pode agravar-se quando já não é necessário que ninguém aprove a etapa seguinte. O relato de Stamos sobre a suspensão do Fable revelou o mesmo problema visto de outro ângulo: as ferramentas de um fornecedor de confiança deixaram de estar disponíveis para as equipas que delas dependiam, por razões que nada tinham a ver com o facto de essas ferramentas funcionarem ou não.
No entanto, integrar agentes de IA na sua própria infraestrutura não resolve o problema por si só. Um agente sem restrições tentará todas as portas a que conseguir aceder, quer esteja a funcionar na sua rede ou na nuvem de terceiros. Transferi-lo para o seu próprio hardware só ajuda se o próprio sistema o impedir de vaguear. Os testes têm de ser executados continuamente, na infraestrutura de que é efetivamente proprietário. E os agentes responsáveis por isso precisam de limites que sejam impostos pelo próprio sistema.
Se a sua equipa precisa daquilo que este artigo tem vindo a defender, Aikido o Machine funciona inteiramente nas suas instalações, com acesso opcional ao seu código (whitebox/blackbox), e pode operar em modo totalmente isolado (air-gapped) quando não é necessário que nada saia do edifício. Segue a mesma abordagem de imposição de âmbito que criámos para o Aikido Attack: a contenção está integrada no sistema, em vez de depender apenas de instruções. No Aikido Machine, essa contenção estende-se também à camada de rede. Dois bancos europeus já o estão a utilizar. Marque aqui uma sessão informativa técnica.
