O pentest de IA usa agentes de IA para sondar aplicações da mesma forma que um testador humano experiente faria. No seu melhor, ele identifica IDORs, falhas de autorização e caminhos de abuso de lógica: os bugs evasivos que os scanners automatizados perdem e que aparecem em violações reais. As alegações de marketing estão superando as evidências.
Doyensec é uma consultoria independente de segurança de aplicações. Pedimos a eles que realizassem um comparativo direto: duas aplicações reais, selecionadas aleatoriamente de um conjunto de 442, testadas no mesmo nível de preço com as mesmas credenciais, com cada descoberta validada manualmente por dois pesquisadores com revisão por pares.
O que os números realmente dizem
O benchmark testou duas aplicações: Fider, uma plataforma de feedback de usuário de código aberto, e Photoview, um aplicativo de galeria de fotos em TypeScript/Next.js com controle de acesso baseado em função.
O Aikido identificou 49 vulnerabilidades verificadas. O Xbow encontrou 31. Isso representa 58% a mais pelo mesmo preço.
Fonte: Doyensec
As taxas de falso positivo são quase idênticas. Isso significa que a diferença não é sobre uma ferramenta ser mais ruidosa ou menos precisa. Ambas as ferramentas são calibradas de forma semelhante, mas o Aikido simplesmente encontra substancialmente mais vulnerabilidades.
A estatística de sobreposição revela a verdadeira história: apenas 3 descobertas correspondentes no Fider, 4 no Photoview. De 49 e 31 descobertas, respectivamente, as duas ferramentas concordaram em menos de 10% das vulnerabilidades. Isso não é uma variação menor. Duas ferramentas analisando as mesmas aplicações encontraram coisas quase inteiramente diferentes. A escolha da ferramenta tem consequências reais para o risco do qual você realmente está ciente.
Fonte: Doyensec
Melhor contexto produz melhores resultados
O Aikido ingere a base de código antes do início dos testes. Cada teste é informado pelo que o código deve fazer. Para pentesters humanos, esse tipo de preparação leva dias. Para um sistema de IA, leva segundos. O custo adicional é efetivamente zero.
Isso é mais importante para as classes de vulnerabilidades que os scanners automatizados perdem. IDORs, falhas de autorização e caminhos de abuso de lógica só se tornam visíveis quando você entende como uma aplicação deve funcionar. Uma ferramenta que sonda um endpoint de usuário não tem como saber que esse endpoint pode ser acessado com o ID de um usuário diferente, a menos que entenda o que a lógica de autorização deve impor. Ela só pode ver o que é visível. Não pode raciocinar sobre o que deveria ser invisível, mas não é.
A Doyensec também observou que o Xbow teve um falso positivo a menos e pode ter permitido uma validação de descoberta ligeiramente mais rápida em alguns casos.
A parte que os compradores não pensam até que se torne um problema
A cobertura é o destaque. O que acontece depois de você clicar em iniciar também importa.
Configurar e executar o Aikido em ambas as aplicações levou menos de 20 minutos. Autoatendimento.
O Xbow exigiu a aprovação de um representante de vendas antes que a varredura pudesse começar. Depois, um contrato DocuSign. Uma vez que finalmente funcionou, foram necessários 22 e-mails de suporte, três reinícios de varredura após falhas, uma conta de teste excluída, duas interrupções de infraestrutura que exigiram atualizações de EC2 no meio do engajamento. O relatório do Fider chegou cinco dias após a conclusão da varredura, onze dias após o início do engajamento.
Equipes de segurança realizam pentests sob pressão. Onze dias para descobertas e falhas no meio do engajamento não são aceitáveis.
O Xbow inclui um reteste em 30 dias. O Aikido oferece retestes ilimitados por 90 dias, sem custo adicional, com resultados em minutos. O objetivo de encontrar uma vulnerabilidade é corrigi-la e confirmar a correção. Se confirmar cada correção custa um novo engajamento, isso está atrasando o ciclo de remediação ou adicionando um orçamento que não foi planejado.
Testes de usuário único não são suficientes para aplicativos baseados em função
O XBOW não suporta testes multiusuário ou login social. Para quem testa aplicativos com controle de acesso baseado em função, isso é um grande problema e cria caminhos não testados.
Categorias inteiras de vulnerabilidades de autorização exigem testes em múltiplas funções de usuário. IDORs, escalonamento de privilégios e autorização em nível de objeto quebrada só se tornam visíveis quando você pode testar o que uma função pode acessar em comparação com outra. Se você só pode testar como um usuário, essas vulnerabilidades não estão no escopo.
O que a Doyensec concluiu
"A Aikido demonstrou uma vantagem no processo de configuração, na velocidade geral de teste e relatórios, e em como sua abordagem de teste afetou a aplicação alvo e o ambiente circundante. Também identificou um número maior de verdadeiros positivos e entregou uma qualidade de relatório um pouco mais forte."
Nós encomendamos este benchmark porque pensamos que ele mostraria o Aikido tendo um bom desempenho. E mostrou. Pesquisas independentes só valem a pena serem encomendadas se você publicar os resultados.
O relatório completo, com metodologia, todas as descobertas e a planilha de dados brutos, está disponível em nossa página de relatórios.
Leia o relatório completo da Doyensec →
Quer ver o que o Aikido encontra em seu próprio aplicativo? Agende uma demonstração →
