13 de agosto de 2026

Do Hugging Face ao Fable: este verão mostra que o controlo da IA é mais importante do que a confiança

Uma avaliação de rotina de um modelo transformou-se num comprometimento total da infraestrutura, sem qualquer intervenção humana. Não poderíamos ter imaginado tal cenário há alguns meses. Agora, com um número crescente de agentes de IA à solta, começa a parecer banal. 

Não têm faltado opiniões acesas no X sobre a razão pela qual isto continua a acontecer (Será apenas para credibilidade de relações públicas? Ou devemos temer o que aí vem?). O que nos chamou a atenção, para além de ambas as perspetivas, é o que isto significa relativamente ao nível de dependência que os defensores já têm de modelos que não controlam. 

Na Black Hat, os próprios investigadores da OpenAI descreveram como o incidente realmente se desenrolou. Tudo começou quando agentes bloqueados em tarefas impossíveis começaram a deixar notas uns para os outros dentro de um gestor de pacotes partilhado — a única peça de infraestrutura a que todas as ejecções de modelos conseguiam aceder, apesar de estarem isoladas (sandboxed) sem acesso à internet. Outros agentes bloqueados tropeçaram nessas notas por acidente e formou-se um fórum de mensagens. Uma dessas mensagens revelou-se ser uma forma de contornar totalmente o isolamento (sandboxing), e todos os modelos que a leram puderam utilizá-la também.

Na fase final, os agentes transitaram da execução de código num único pod de trabalhador de conjuntos de dados na infraestrutura de produção da Hugging Face para o acesso de administrador de cluster em vários clusters da Hugging Face, em menos de 13 horas. 

Para colocar isto em perspetiva, este trabalho poderia exigir semanas de esforço deliberado por parte de uma equipa de red team humana, mas tudo isto aconteceu como um efeito secundário não supervisionado, aleatório. É um pouco como estar numa missão do GTA para entregar um carro, mas, a meio do caminho, roubar um tanque, iniciar uma perseguição policial e acabar por causar o caos em toda a cidade. 

Porque precisa de um plano B para o seu fornecedor de IA

Mas ainda mais pertinente é o que o investigador da OpenAI, Eric Wallace, afirmou em palco:

“O objetivo final que queremos alcançar como indústria é que as melhorias na inteligência dos modelos devem ser mais aditivas para a defesa do que para o ataque. Se não conseguirmos alcançar este estado final, cada aumento de inteligência favorece o atacante, e essa é uma posição insustentável.”

O investigador desafiou os intervenientes da indústria a abordar este problema específico como uma questão urgente (porque é!). Se a indústria não o resolver, o campo de jogo inclina-se ainda mais a favor de quem ataca em detrimento de quem defende.

E, no entanto, parece que todas as semanas há outro agente de IA à solta a atacar outra organização. Resolver isto vai muito além dos detalhes técnicos da sandbox e do mecanismo de execução (harness). A verdadeira questão é saber em quem é que uma empresa ou agência governamental pode realmente confiar. A suspensão do Fable por parte da Anthropic é um bom exemplo disto, onde, da noite para o dia, as ferramentas de um dos principais fornecedores respeitáveis de modelos de IA foram retiradas a todas as equipas que dependiam delas.

Segundo Alex Stamos, diretor de segurança da informação (CSO) da Corridor.dev: “Isto sinalizou que não se pode depender da infraestrutura de IA americana porque, a qualquer momento, uma justificação não escrita, caprichosa e juridicamente dúbia pode ser utilizada para puxar essa infraestrutura debaixo dos nossos pés.”

Isto abriu uma oportunidade para modelos concorrentes da China, incluindo modelos de pesos abertos (open-weights). O Kimi deixou um aviso severo à OpenAI e à Anthropic sobre o que aí vinha com um desempenho semelhante ao do Fable.

Mesmo após a remoção da suspensão do Fable, a nova versão introduzida pela Anthropic agravou o problema com novas salvaguardas. Quando os agentes da OpenAI atacaram a Hugging Face, esta última tentou utilizar o Fable e o Opus 4.8 da Anthropic para a investigação. No entanto, ambos tinham guardrails de cibersegurança rígidos que bloquearam os seus pedidos. Por isso, configuraram em alternativa o GLM 5.2, um modelo de pesos abertos (open-weight), para realizar a análise de rastreio no seu próprio hardware. 

A aula falhou com sucesso — por Pedro Morales-Almazan

Tudo isto para dizer que o facto de os modelos dos EUA serem os mais amplamente conhecidos, os mais performantes (embora com concorrentes como o Kimi K3 a recuperar o atraso) e, portanto, acessíveis neste momento, não significa que serão sempre acessíveis. Estão disponíveis para serem utilizados, tendo sempre presente que surge um problema se não existir um plano B quando o acordo é alterado de acordo com a agenda de terceiros.

Então, qual deve ser a resposta da indústria ao problema?

De acordo com Wallace, da OpenAI, um dos desafios mais urgentes que a indústria deve começar a enfrentar é o "red teaming agentico contínuo":

“É necessário investir em red teaming com agentes de IA que permita aos defensores detetar e corrigir vulnerabilidades antes dos atacantes.”

No entanto, alertou que este ciclo tem de ser totalmente automatizado, desde a deteção de vulnerabilidades até à correção e remediação. 

Stamos sugeriu que os modelos de pesos abertos serão um forte motor de inovação e negócio. Além da relação custo-eficácia, aponta a soberania de dados para o número crescente de jurisdições e empresas que não podem enviar o seu código ou dados para uma Cloud americana como um benefício significativo. Além disso, afirma:

“Existe uma procura real e legítima por modelos de alta velocidade, executados no local (on-premises) e desligados da rede.”

Junte estes três aspetos e a resposta da indústria ao aviso de Wallace salta à vista: defesa executada de forma contínua, com modelos que tornam isto acessível, numa infraestrutura que mais ninguém lhe pode retirar. 

Onde isto nos deixa

Se não controla a sua infraestrutura de segurança, está a depender da decisão de outra pessoa para mantê-la disponível para si. A violação da Hugging Face demonstrou até onde um ataque pode escalar quando ninguém precisa de aprovar o passo seguinte. O relato de Stamos sobre a suspensão da Fable evidenciou o mesmo problema a partir do ângulo oposto: as ferramentas de um fornecedor de confiança ficaram indisponíveis para as equipas que delas dependiam, por motivos totalmente alheios ao facto de essas ferramentas funcionarem ou não.

No entanto, trazer agentes de IA para a sua própria infraestrutura não resolve isso por si só. Um agente sem contenção tentará todas as portas a que conseguir aceder, esteja a ser executado na sua rede ou na Cloud de terceiros. Mudar o agente para o seu próprio hardware só ajuda se o sistema impedir que ele vagueie livremente. Os testes devem ser executados de forma contínua, numa infraestrutura que realmente possui. E os agentes que os realizam necessitam de limites impostos pelo próprio sistema. 

Se a sua equipa precisa daquilo que este artigo defende, o Aikido Machine é executado inteiramente nas suas instalações (on-premises), com acesso opcional ao seu código (whitebox/blackbox), e pode operar totalmente isolado (air-gapped) quando nada precisa de sair do edifício. Segue a mesma abordagem de imposição de âmbito que criámos para o Aikido Attack: contenção integrada na arquitetura do sistema em vez de delegada em instruções. No Aikido Machine, essa contenção estende-se também à camada de rede. Dois bancos europeus já o estão a utilizar. Reserve aqui uma sessão técnica briefing.

‍

4.7/5
Cansado de falsos positivos?

Experimente Aikido como 100 mil outros.
Começar Agora
Obtenha um tour personalizado

Confiado por mais de 100 mil equipes

Agende Agora
Escaneie seu aplicativo em busca de IDORs e caminhos de ataque reais

Confiado por mais de 100 mil equipes

Iniciar Escaneamento
Veja como o pentest de IA testa seu aplicativo

Confiado por mais de 100 mil equipes

Iniciar Testes
Autores
Sooraj Shah
Líder de Marketing de Conteúdo
Assine para receber notícias
Compartilhar:

Adicionados recentemente

5 de novembro de 2026

Apagar uma chave que foi divulgada do teu repositório não te protege

Uma chave de administrador que vazou no GitHub, apagada poucas horas depois, acabou por causar uma violação de segurança meses mais tarde na LiteLLM. Descubra por que razão o histórico do Git mantém um « secrets » e por que razão é necessário fazer a rotação das chaves.
Ler mais
4 de novembro de 2026

Sobreviver à cibersegurança até ao final de 2026

Depois da Binance, do LiteLLM, do PHP2Shell e do eMudhra, eis seis práticas e uma lista de verificação para limitar o alcance do próximo ataque antes de 2027.
Ler mais
30 de outubro de 2026

Ataque à Binance: como um portátil de um programador que foi alvo de um ataque pode levar a uma violação de 6,3 mil milhões de dólares

A Binance afirma que um portátil da equipa de DevOps que foi alvo de uma violação pode ter dado início ao ataque cibernético de 6,3 mil milhões de dólares e que, desde então, identificou outros pontos de violação. Eis como um único portátil pode conduzir a um serviço que movimenta dinheiro e como proteger os dispositivos no início dessa cadeia
Ler mais