pentest de IA agentes de IA para testar aplicações da mesma forma que um testador humano experiente o faria. Na melhor das hipóteses, identifica IDORs, falhas de autorização e caminhos de abuso lógico: os bugs difíceis de detetar que os scanners automatizados não detectam e que surgem em violações no mundo real. As alegações de marketing estão a ultrapassar as evidências.
A Doyensec é uma consultora independente de segurança de aplicações. Pedimos-lhes que realizassem um teste comparativo: duas aplicações reais, escolhidas aleatoriamente de um conjunto de 442, testadas no mesmo nível de preço com as mesmas credenciais, cada descoberta validada manualmente por dois investigadores com revisão por pares.
O que os números realmente revelam
O teste de desempenho avaliou duas aplicações: o Fider, uma plataforma de feedback de utilizadores de código aberto, e o Photoview, uma aplicação de galeria de fotos em TypeScript/Next.js com controlo de acesso baseado em funções.
Aikido 49 vulnerabilidades verificadas. XBOW 31. Isso representa mais 58 % pelo mesmo preço.
Fonte: Doyensec
As taxas de falsos positivos são praticamente idênticas. Isto significa que a diferença não se deve ao facto de uma das ferramentas ser mais «ruidosa» ou menos precisa. Ambas as ferramentas estão calibradas praticamente da mesma forma, mas Aikido deteta um número substancialmente maior de vulnerabilidades.
A estatística de sobreposição revela a verdadeira realidade: apenas 3 resultados coincidentes no Fider, 4 no Photoview. De um total de 49 e 31 resultados, respetivamente, as duas ferramentas concordaram em menos de 10% das vulnerabilidades. Não se trata de uma variação menor. Duas ferramentas que analisaram as mesmas aplicações encontraram resultados quase totalmente diferentes. A escolha da ferramenta tem consequências reais sobre os riscos de que está efetivamente ciente.
Fonte: Doyensec
Um contexto melhor produz melhores resultados
Aikido a base de código antes do início dos testes. Cada teste é orientado pelo que o código deve fazer. Para os pentesters humanos, esse tipo de preparação leva dias. Para um sistema de IA, leva segundos. O custo adicional é efetivamente nulo.
Isso é mais importante para as classes de vulnerabilidades que os scanners automatizados não detectam. IDORs, falhas de autorização e caminhos de abuso de lógica só se tornam visíveis quando se compreende como uma aplicação deve funcionar. Uma ferramenta que sonda um terminal de utilizador não tem como saber que esse terminal pode ser acedido com a identificação de um utilizador diferente, a menos que compreenda o que a lógica de autorização deve impor. Ela só consegue ver o que está visível. Não consegue raciocinar sobre o que deveria estar invisível, mas não está.
A Doyensec também observou que XBOW menos um falso positivo e pode ter permitido uma validação de resultados ligeiramente mais rápida em alguns casos.
Aquilo em que os compradores só pensam quando se torna um problema
A cobertura é o destaque. O que acontece depois de clicar em «Iniciar» também é importante.
Aikido e a implementação Aikido em ambas as aplicações demoraram menos de 20 minutos. Autoatendimento.
XBOW a aprovação de um representante de vendas antes de a verificação poder começar. Depois, um contrato DocuSign. Quando finalmente começou a funcionar, foram necessários 22 e-mails de suporte, três reinícios da verificação após falhas, uma conta de teste eliminada e duas interrupções na infraestrutura que exigiram atualizações do EC2 a meio do projeto. O relatório da Fider chegou cinco dias após a conclusão da verificação, onze dias após o início do projeto.
As equipas de segurança realizam testes de penetração sob pressão. Onze dias para obter resultados e falhas a meio do projeto não são aceitáveis.
XBOW um novo teste no prazo de 30 dias. Aikido retestes ilimitados durante 90 dias, sem custos adicionais, com resultados em minutos. O objetivo de encontrar uma vulnerabilidade é corrigi-la e confirmar a correção. Se confirmar cada correção implicar um novo projeto, isso está a atrasar o ciclo de correção ou a adicionar custos não previstos no orçamento.
Os testes realizados por um único utilizador não são suficientes para aplicações baseadas em funções
XBOW suporta testes com múltiplos utilizadores nem o início de sessão através de redes sociais. Para quem testa aplicações com controlo de acesso baseado em funções, isto constitui um grande problema e cria percursos não testados.
Existem categorias inteiras de vulnerabilidades de autorização que exigem testes em várias funções de utilizador. As vulnerabilidades de IDOR, a escalada de privilégios e as falhas na autorização ao nível do objeto só se tornam visíveis quando se consegue testar o que uma função consegue aceder em comparação com outra. Se só for possível testar como um único utilizador, essas vulnerabilidades ficam fora do âmbito do teste.
Conclusões de Doyensec
«Aikido vantagens no processo de configuração, na velocidade global dos testes e da geração de relatórios, bem como na forma como a sua abordagem de testes afetou a aplicação alvo e o ambiente circundante. Identificou também um número mais elevado de falsos positivos e apresentou uma qualidade de relatórios ligeiramente superior.»
Encomendámos este teste de desempenho porque achámos que iria demonstrar Aikido bom Aikido . E assim foi. Só vale a pena encomendar uma investigação independente se se publicar os resultados obtidos.
O relatório completo, incluindo a metodologia, todas as conclusões e a folha de cálculo com os dados brutos, está disponível na nossa página de relatórios.
Leia o relatório completo da Doyensec →
Quer ver o que Aikido para lhe oferecer? Marque uma demonstração →
