pentest de IA é ainda uma categoria relativamente nova, e o termo abrange produtos muito diferentes, apresentados sob a mesma designação. Algumas ferramentas funcionam mais como scanners automatizados (DAST com um «toque» de LLM), enquanto outras exploram fluxos de trabalho de aplicações, tentam ataques em várias etapas e validam as descobertas num sistema em funcionamento. Por isso, é importante ir além da terminologia e avaliar o que o produto realmente faz na prática.
No nosso relatório «O Estado da IA nos Testes de Penetração », realizámos um inquérito a 200 CISOs e 200 responsáveis de engenharia. 76% afirmaram que implementam alterações significativas semanalmente ou com maior frequência, mas apenas 21% validam a segurança em cada lançamento. É para isso que servem os testes de penetração com IA.
Esta lista de verificação abrange as áreas que consideramos mais importantes na avaliação de um fornecedor depentest de IA , incluindo validação e qualidade do sinal, profundidade dos testes, acesso ao código, fiabilidade operacional, integração, medidas de segurança técnicas, flexibilidade do modelo e a forma como os testes se integram no seu fluxo de trabalho de desenvolvimento existente.
Uma forma simples de tornar a avaliação mais significativa é solicitar acesso direto a cada fornecedor e acompanhar a execução dos testes em tempo real, em vez de se limitar a comparar apenas os relatórios finais. Mantenha o âmbito dos testes comparável, perceba quanto esforço foi necessário para pôr cada teste em funcionamento e tenha em conta quanto orçamento ou capacidade de teste cada fornecedor consumiu. Isso permite-lhe fazer uma comparação muito mais justa, em condições equivalentes.
pentest de IA resumo dos critérios de avaliação
- Validação e qualidade do sinal: os resultados vêm acompanhados de evidências que pode utilizar diretamente
- Profundidade do « pentest de IA »: os agentes testam os limites das autorizações e os fluxos de várias etapas em toda a aplicação
- Visibilidade e relatórios: pode ver o que foi testado e como
- Rapidez e adaptação ao fluxo de trabalho: os resultados chegam a tempo de serem relevantes
- Fiabilidade operacional: os testes são realizados sem supervisão constante
- Controlo do âmbito e segurança: a aplicação das regras ocorre no próprio sistema
- Configuração e integração: um teste real decorre sem um longo período de preparação
- Flexibilidade em termos de modelos: não está limitado a um único modelo ou fornecedor
pentest de IA lista de verificação para avaliação
A maioria dos fornecedores apresenta-se bem numa demonstração. Os critérios que se seguem centram-se no desempenho do produto na prática.
Validação e qualidade do sinal
- Os resultados incluem provas claras e podem ser reproduzidos
- Os problemas são validados num sistema em produção
- Os resultados podem ser utilizados diretamente, sem necessidade de triagem adicional
- As conclusões refletem os percursos reais de exploração
Profundidade de pentest de IA
- Os testes abrangem fluxos de trabalho, funções e o estado da aplicação
- É possível detetar e confirmar problemas que envolvem várias etapas
- Os testes adaptam-se ao comportamento da aplicação
- Pode utilizar o código-fonte ou o contexto interno para melhorar a cobertura?
O acesso ao código influencia o resultado, neste caso, mais do que qualquer outro fator desta lista. Em mais de 1 000 testes de penetração baseados em IA, os testes que incluíram acesso ao código revelaram, em média, 7 vezes mais vulnerabilidades de gravidade elevada e crítica do que os testes sem esse acesso, com um custo por agente cerca de metade do custo dos testes sem acesso ao código.
Visibilidade e elaboração de relatórios
- Pode ver o que foi testado e como o sistema reagiu
- Existe um registo claro das medidas tomadas durante os testes
- Os relatórios contêm detalhes suficientes para reproduzir os problemas
Velocidade e adaptação ao fluxo de trabalho
- É possível executar um teste significativo sem uma configuração demorada
- Os resultados chegam a tempo de se poder agir em conformidade com eles
- As correções podem ser testadas novamente e confirmadas
- Os testes integram-se na forma como a sua equipa lança software
A rapidez com que um teste é executado influencia a extensão do sistema que este efetivamente abrange. Uma plataforma de serviços financeiros realizou um teste de penetração manual de 120 horas que não revelou quaisquer resultados. A mesma aplicação, testada com agentes d pentest de IA , que tinham acesso ao código-fonte, demorou pouco mais de duas horas e revelou 13 problemas válidos, incluindo três resultados de gravidade elevada que o teste manual não detectou de todo. Peça aos fornecedores que lhe apresentem tempos comparáveis juntamente com o relatório final.
Fiabilidade operacional
- Os testes são concluídos sem reinícios frequentes
- Os erros são compreensíveis quando ocorrem
- As corridas não exigem supervisão constante
- O sistema funciona de forma consistente no uso diário
Todos os sistemas falham ocasionalmente. O que importa é a frequência com que isso acontece e o esforço necessário para recuperar o funcionamento.
Controlo do âmbito e segurança
- O âmbito é aplicado durante a execução
- As restrições de âmbito são aplicadas no próprio sistema, independentemente de instruções ou políticas
- O acesso está limitado a domínios definidos
- A produção só é incluída quando configurada explicitamente
- Os pedidos fora do âmbito são bloqueados automaticamente
- As verificações prévias à execução validam a configuração do âmbito e do ambiente antes do início dos testes
Pergunte como é que um fornecedor lida com os agentes que não se comportam de forma previsível. Como afirma Philippe Dourassov, responsável pelos testes de penetração com IA d Aikido: «Haverá 5 % de agentes que nem sempre agem de forma sensata, e é por isso que nos certificamos de que lidamos com esses 5 %.» Um fornecedor que não tenha uma resposta clara a esta questão está a depender do julgamento do modelo, em vez de uma barreira de proteção ao nível do sistema.
Para mais informações sobre como garantir a segurança dos agentes de testes de penetração de IA desde a fase de conceção, leia isto.
Isolamento e proteção de dados
- O acesso de saída e a exfiltração de dados são restringidos durante a execução
- Os dados permanecem em ambientes aprovados
- Os ambientes de execução estão isolados uns dos outros
- Os testes podem ser monitorizados, pausados e interrompidos imediatamente
Configuração e integração
- É possível iniciar um teste sem um longo processo de integração
- A configuração é simples
- A autenticação e a configuração do âmbito estão estáveis
É frequentemente durante a configuração que os problemas surgem logo no início. Se for difícil começar a utilizar o sistema, isso costuma refletir-se na utilização quotidiana.
Flexibilidade do modelo e profundidade da validação
- O produto não está limitado a um único modelo de IA ou fornecedor
- Podem ser utilizados diferentes modelos para diferentes tarefas de teste
- Vários agentes podem explorar e testar em simultâneo
- Os agentes podem adaptar-se em função do comportamento da aplicação durante os testes
- Os testes não se limitam a assinaturas de vulnerabilidades predefinidas
- Os agentes podem seguir percursos de ataque com várias etapas e encadear pontos fracos entre si
- Os resultados são confirmados através da sua aplicação num sistema em funcionamento, pelo que nada é inferido apenas a partir dos resultados do modelo
- O comportamento do modelo é limitado por restrições técnicas durante a execução
Se um fornecedor não conseguir cumprir claramente estes critérios, os resultados acabarão por exigir uma validação manual para serem considerados fiáveis, o que contraria o objetivo do pentest de IA.
Sinais de alerta a ter em conta
- Os testes não são concluídos de forma fiável
- A configuração demora demasiado tempo
- As conclusões não estão comprovadas
- Os resultados não conduzem a soluções
- Sem repetição de testes integrada
- Apenas testa o comportamento a nível superficial
- O âmbito não é imposto tecnicamente
- Fica bem numa demonstração, mas tem dificuldades na prática
Lista rápida de itens a verificar junto dos fornecedores
- É executado quando se efetua uma expedição
- Oferece a opção de acesso ao código para uma análise mais aprofundada
- Identifica problemas reais e comprovados
- Deteta falhas de lógica e de autorização
- Fácil de pôr a funcionar
- Mantém-se dentro do âmbito definido
- É suficientemente rápido para se adequar ao seu calendário de lançamentos
- Resultados que se podem reproduzir
- As correções são verificadas
- Adapta-se à forma como a sua equipa lança e corrige código
- Funciona de forma fiável
Evidências recolhidas no terreno
A Tyro, empresa australiana de pagamentos financeiros, realizou um teste de viabilidade para comparar a « pentest de IA » com os seus testadores humanos habituais, no âmbito de um novo produto de saúde, antes do seu lançamento.
«Os nossos testadores de penetração internos demoraram cerca de 15 dias. Fizemos o mesmo com o teste de penetração baseado em IA d Aikido. Demorou cinco horas e meia e detetou cerca de 30 falhas, nove delas de gravidade elevada, enquanto os testadores humanos detetaram cinco falhas, uma delas de gravidade elevada», afirmou Arun Singh, antigo responsável pela segurança da informação da Tyro.
O plano para o futuro mantém os revisores humanos e incorpora a IA para alargar a cobertura: «O nosso plano é um modelo híbrido, que inclui testes de penetração com IA e auditoria de código com IA, acompanhados por uma revisão humana realizada pelos nossos parceiros de testes de penetração. Os custos são significativamente inferiores aos que pagávamos, pelo que podemos fazer muito mais com os recursos de que dispomos.»
Põe à prova
A forma mais rápida de aplicar esta lista de verificação é observar como os próprios fornecedores trabalham. Solicite acesso à plataforma, realize um teste comparável com cada um deles e avalie-os de acordo com as secções acima enquanto o teste está a decorrer.
Veja como estes critérios se aplicam numa plataforma ativa ou leia o Guia do Comprador para Testes de Penetração com IA na íntegra para conhecer a investigação completa subjacente a esta lista de verificação.
