Aikido

Metamorfose da segurança: uma lista de verificação da arquitetura preparada para o Mythos, para ataques de IA autónoma

Escrito por
Mike Wilkes

A iniciativa Glasswing da Anthropic reúne a Amazon Web Services, a Apple, Broadcom, a Cisco, CrowdStrike, a Google, o JPMorganChase, a Linux Foundation, a Microsoft, a NVIDIA e a Palo Alto Networks como parceiros de lançamento. É possível encontrar muitas publicações e reações nas redes sociais, uma vez que é, sem dúvida, um acontecimento de grande importância o facto de a Anthropic manter o seu modelo Mythos Preview fora do acesso geral. Aparentemente, isto tem como objetivo proporcionar às principais empresas de software e segurança acesso prioritário para ajudar a resolver milhares de vulnerabilidades descobertas e verificadas em navegadores web, sistemas operativos e áreas de risco igualmente «complexas». Quer acredite que a Anthropic desenvolveu um grande avanço nas capacidades do modelo ou que se tratou de uma brilhante tática de marketing, não pode simplesmente evitar a pressão de ter algo relevante e sensato a dizer sobre o tema.

Crédito da imagem: Gemini (modificada) Greta_oto.jpg por David Tiller, CC BY-SA 3.0

Pela minha parte, tive a honra de ter cunhado o termo «Mythos-ready» ao analisar e contribuir para o documento publicado pela CSA e seus parceiros (mais de 250 CISOs e autores, o que, por si só, constitui um esforço de colaboração extraordinário e uma demonstração da resiliência da comunidade) a 12 de abril. Pretendia um termo que fosse motivador e, ao mesmo tempo, capaz de indicar claramente que nenhuma organização está preparada para o Mythos neste momento. Nem mesmo a própria Anthropic. 

Esta publicação no blogue, no entanto, segue uma abordagem diferente da do documento da CSA e procura delinear as bases de um quadro de segurança abrangente para as organizações que se preparam para o «Mythos», à medida que entramos numa nova era de ameaças de IA autónoma capazes de descobrir e explorar vulnerabilidades à velocidade de uma máquina. 

O objetivo ao elaborar e partilhar este mapa da estrutura de segurança é promover a transição de uma segurança baseada em simples avisos para controlos arquitetónicos robustos, defendendo uma segmentação rigorosa, o princípio do privilégio mínimo e ambientes de execução isolados, de modo a limitar o potencial «alcance» de uma violação por parte de um agente malicioso. É assim que concebemos a nossa arquitetura para fazer face a ameaças autónomas.

Para manter a vantagem defensiva, as empresas são encorajadas a implementar testes adversários antes do lançamento e a «atacar-se a si próprias primeiro» através de pipelines automatizados de red teaming. As próprias orientações da Anthropic sobre o impacto nas equipas de segurança destacam a importância do discernimento e da priorização das vulnerabilidades (EPSS v4.1), e não apenas colocá-las em fila para correção. Nem sequer precisa de ter acesso ao Mythos Preview para começar a fazer isto hoje mesmo. Pode utilizar qualquer um dos seus modelos de ponta favoritos e, na verdade, também modelos de pesos abertos gratuitos. 

Em última análise, pretendemos apresentar uma primeira versão de um modelo de maturidade e uma lista de verificação prática para garantir que os sistemas internos sejam resilientes face a modelos avançados de IA, capazes de encadear ataques em várias etapas e de detetar vulnerabilidades tanto em código com mais de 20 anos como em código com apenas 20 minutos.

Antes de apresentar uma lista exaustiva de medidas que as pessoas devem tomar para preparar a sua organização para análises e ataques do tipo Mythos, devemos procurar implementar:

  • Aprovações com intervenção humana para ações sensíveis
  • Manter um registo de alta fidelidade de todas as interações das ferramentas autónomas
  • Limites do raio de ação (privilégio mínimo, tokens com âmbito definido)
  • Interruptores de emergência e detecção de anomalias
  • Melhor segmentação entre sistemas e dados
  • Camadas de validação de entrada/saída (em particular, a Agentic)
  • Separação entre os ambientes de raciocínio e de execução

Portanto, se o consenso geral é que já passámos da questão «devemos dispor de capacidades de defesa contra agentes autônomos?» para «qual a melhor forma de implementar essas capacidades», há alguns princípios e pressupostos axiomáticos que devem ser destacados.

Nos sistemas baseados em agentes, a sua superfície de ataque = tudo aquilo a que o agente tem acesso.

Não estás preparado para o Mythos se alguma destas situações se aplicar a ti:

  • Os agentes podem aceder à produção com amplos privilégios permanentes.
  • Uma única credencial dá acesso a vários ambientes.
  • A utilização das ferramentas é mal registada ou nem sequer é registada.
  • A publicação externa ou o acesso à rede externa estão abertos por predefinição.
  • Os testes de segurança centram-se nas solicitações, em vez de na arquitetura e nos percursos de execução.
  • O seu plano de resposta a incidentes pressupõe apenas atacantes com capacidade humana.

A ficha do sistema «Anthropic Mythos Preview» defende a premissa de que os agentes de fronteira podem descobrir vulnerabilidades de forma autónoma, desenvolver exploits e, ocasionalmente, tomar medidas arriscadas, raras mas de grande impacto, o que torna os controlos ao nível da arquitetura extremamente importantes.

Aqui está uma lista de verificação prática sobre arquitetura de segurança para a Era dos Mitos. Trata-se de um primeiro rascunho e provavelmente terá de ser revisto com base no feedback e em discussões futuras, mas centra-se em ataques por agentes, maior frequência de violações e na preservação da vantagem do defensor, que advém do facto de conhecer a sua própria arquitetura, integrações e calendário de lançamentos melhor do que qualquer atacante. Pode descarregá-la no final deste blogue.

«... acreditamos que os modelos linguísticos avançados irão
beneficiar mais os defensores do que os atacantes, aumentando
a segurança geral do ecossistema de software.»

O Projeto Glasswing não é apenas mais um capítulo na evolução da defesa baseada em IA. Parece mais um choque elétrico num sistema que tinha entrado silenciosamente em paragem cardíaca sob o peso da complexidade, do ruído e do pensamento reativo. Durante anos, a segurança das aplicações tem vacilado face ao aumento da velocidade e da escala exigidos pelo desenvolvimento de software moderno. O que o Glasswing representa é uma mudança da monitorização passiva para a reanimação ativa: um desfibrilador cibernético que não se limita a detetar ameaças, mas restaura o ritmo, a clareza e a intenção na forma como defendemos o software.

Com alguma apreensão, é seguro presumir que, numa próxima «Patch Tuesday» não muito distante, os resultados da análise do Mythos Preview aos repositórios de código do Microsoft Windows nos revelarão um novo recorde em termos de vulnerabilidades. Pelo que me lembro, um dos piores resultados até agora foi de 400 vulnerabilidades e 10 «zero days». Aposto que podemos aumentar esse número para 4.000 vulnerabilidades e 400 zero days, dado que o Firefox incluiu 271 vulnerabilidades na versão 150, lançada a 21 de abril.

Ao injetar inteligência diretamente na corrente sanguínea AppSec, a IA deixa de ser uma funcionalidade adicional e torna-se o próprio pulso: contínua, adaptável e responsiva. É uma disciplina reanimada, capaz finalmente de funcionar à mesma velocidade que os sistemas que protege. Se a última década de segurança se centrou na sobrevivência, esta próxima era, impulsionada por iniciativas como o Project Glasswing, trata-se de renascer, mais forte, mais perspicaz e pronta para o que está por vir.

Se quiser ainda mais recursos para se preparar para as ameaças da IA agênica, Aikido também Aikido uma lista de verificação de segurança pronta para o Mythos destinada a diretores de tecnologia. Confira.

Preencha este formulário para descarregar o meu Guia de Segurança da Mythos Architecture

Compartilhar:

https://www.aikido.dev/blog/metamorphosis-mythos-era

Assine para receber notícias sobre ameaças.

4.7/5
Cansado de falsos positivos?

Experimente Aikido como 100 mil outros.
Começar Agora
Obtenha um tour personalizado

Confiado por mais de 100 mil equipes

Agende Agora
Escaneie seu aplicativo em busca de IDORs e caminhos de ataque reais

Confiado por mais de 100 mil equipes

Iniciar Escaneamento
Veja como o pentest de IA testa seu aplicativo

Confiado por mais de 100 mil equipes

Iniciar Testes

Fique seguro agora

Proteja seu código, Cloud e runtime em um único sistema centralizado.
Encontre e corrija vulnerabilidades rapidamente de forma automática.

Não é necessário cartão de crédito | Resultados da varredura em 32 segundos.