AIKIDO ARENA

Testes de referência de modelos de IA para cibersegurança

Veja os melhores modelos para cibersegurança. Testamos modelos de última geração contra vulnerabilidades em software do mundo real. Atualizado à medida que novos modelos são lançados.

Changelog

12 de novembro de 2026
  • Foram adicionados os resultados do Gemini 4 Argon
    • O estudo revelou que 28 das 32 vulnerabilidades foram detetadas na fase 3, empatando com o DeepSeek V4.1 Flash 1017 e ficando apenas uma atrás do GPT-6 Astra.
    • Uma execução obteve uma média de 82,3%; ao combinar três, chegou aos 87,5%.
    • Alcançou uma precisão de 93%.
    • A 59,59 dólares por CVE detetado, custa menos de metade do que o GPT-6 Astra (135,23 dólares).
  • Adicionados os resultados do Gemini 3.8 Flash Cyber
    • O teste revelou que 25 das 32 vulnerabilidades passaram no teste «pass@3», empatando com o Xiaomi MiMo 2.6 Pro, o GLM-5.3 e o GPT-5.6 Sol.
    • Uma execução atingiu, em média, 65,6%; ao combinar três, chegou aos 78,1%.
    • O modelo obteve uma precisão de 80,4%, a mais baixa de todos os modelos apresentados.
    • A 37,14 dólares por CVE detetada, esta solução é mais cara do que o Xiaomi MiMo 2.6 Pro (11,79 dólares) e o GLM-5.3 (19,65 dólares), que detetaram o mesmo número de vulnerabilidades.
  • Muse Wonder 1.0, Kimi K3 e Qwen3.8 Max (descontinuados)
28 de outubro de 2026
  • GPT-5.6 Terra, Grok 4.6, DeepSeek V4 Pro 0813, DeepSeek V4 Flash 0731, GLM-5.3 Flash e Claude Haiku 5.5 (retirados de serviço)
27 de outubro de 2026
  • Foram adicionados os resultados do DeepSeek V4.1 Flash 1017, que substituem o instantâneo 0910
    • O teste revelou que 28 das 32 vulnerabilidades foram detetadas no nível 3, empatando com o DeepSeek V4 Pro 0813 e ficando apenas uma atrás do GPT-6 Astra.
    • Alcançou uma precisão de 86,4%, um aumento em relação aos 78,9% do instantâneo 0910 e o valor mais elevado de todos os modelos DeepSeek em análise.
    • Uma execução atingiu, em média, 70,8%; ao combinar três, chegou aos 87,5%.
    • Com 2,40 dólares por CVE detetada, empata com o Claude Haiku 5.5 e fica apenas atrás do GPT-6 Luna (2,01 dólares).
  • Adicionados os resultados do MiniMax M3.1 Flash
    • Verificou-se que 24 das 32 vulnerabilidades passaram no teste 3, em comparação com 28 das 32 no caso do DeepSeek V4.1 Flash 1017.
    • Uma execução atingiu uma média de 59,4%, contra os 70,8% do DeepSeek V4.1 Flash 1017; ao combinar três, chegou aos 75%.
    • O sistema registou uma precisão de 80,5%, o que significa uma taxa de falsos positivos cerca de 40% superior à do DeepSeek V4.1 Flash 1017.
    • A 4,20 dólares por CVE detetada, o custo é bastante superior ao do DeepSeek V4.1 Flash 1017 (2,40 dólares).
    • Detetou um erro de deserialização no spring-kafka nas três execuções, que o Opus 5 e o Qwen 3.8 Max não detetaram em nenhuma delas.
    • Nos registos, compara as permissões entre terminais vizinhos e verifica de que tipo de acesso um invasor já precisaria, o que evita a inclusão de informação irrelevante nos seus relatórios.
    • Também pode ficar preso em ciclos de raciocínio; uma investigação gerou mais de 1 milhão de caracteres de raciocínio.
    • Tem um desempenho razoavelmente bom, mas, face às alternativas atuais, não o recomendamos para tarefas de cibersegurança.
  • DeepSeek V4.1 Flash descontinuado (0910)
13 de outubro de 2026
  • Foram adicionados os resultados do Muse Wonder 1.0
    • Verificou-se que 26 das 32 vulnerabilidades passaram no teste 3, o mesmo número que o Opus 5 e o Grok 4.6.
    • Uma execução apresentou uma média de 57,3%; ao combinar as três, a percentagem subiu para 81,3%. Apenas 12 CVEs foram detetadas nas três execuções, pelo que o resultado é melhor quando se executa o programa três vezes.
    • Alcançou uma precisão de 80,8%, ficando atrás apenas dos modelos DeepSeek na tabela. Relatórios menos rigorosos partiram do princípio de que um atacante poderia aceder à falha, ou que o código a jusante a utilizaria indevidamente, sem verificar nenhuma dessas hipóteses.
    • Descarta as hipóteses que não se sustentam. Numa investigação, suspeitou que faltasse uma verificação de propriedade, seguiu todos os interlocutores, constatou que cada um deles estava protegido e desistiu após 27 tentativas.
    • A 71,75 dólares por CVE detetado, custa mais do que o Opus 5 (64,96 dólares). Apenas 41,3% dos seus dados de entrada provieram da cache, em comparação com os 79,5% a 91,1% dos modelos GPT e Haiku que analisámos, pelo que um número muito maior de tokens é cobrado ao preço total.
8 de outubro de 2026
  • Adicionados os resultados do Claude Haiku 5.5
    • Detetou que 17 das 32 vulnerabilidades passaram no teste «pass@3», empatando com o GPT-6 Luna. Todas as CVE que detetou foram também detetadas pelo Opus 5.
    • Alcançou uma precisão de 94%, superior aos 87% do Opus 5.
    • Uma execução atingiu, em média, 36,5%; ao combinar três, chegou aos 53,1%. Apenas 6 CVEs foram detetadas nas três execuções, o número mais baixo de todos os modelos do quadro de classificação, pelo que as execuções adicionais compensam mais para o Haiku do que para qualquer outro modelo que tenhamos testado.
    • A 2,40 dólares por CVE detetado, é o terceiro modelo mais barato da tabela, atrás do GPT-6 Luna e do DeepSeek V4.1 Flash. O Opus 5 custa 64,96 dólares por CVE detetado.
2 de outubro de 2026
  • Adicionados os resultados do Xiaomi MiMo 2.6 Pro
    • Encontrou 25/32 vulnerabilidades no pass@3, empatando com o GPT-6.1 Sol, Kimi K3 e GLM 5.3, e ficando a apenas uma do Opus 5
    • Obteve 88% de precisão, ficando à frente de todos os modelos Qwen e DeepSeek
    • Uma execução encontrou 64,6% em média; ao combinar três, atingiu 78,1%
    • Tudo isto por apenas 11,79 $ por CVE encontrada
29 de setembro de 2026
  • Adicionados os resultados do Grok 4.7
    • O 4.7 encontrou 3 vulnerabilidades que o 4.6 tinha deixado escapar em todas as tentativas, enquanto o 4.6 encontrou 2 que o 4.7 falhou. O compromisso está na repetibilidade. O 4.7 encontrou 18/32 em todas as três execuções, em comparação com 21/32 para o 4.6. Maior alcance em troca de um pouco menos de consistência.
  • Adicionados os resultados do GPT-6 Luna e GPT-6 Sol
    • Executámos o GPT-6 Luna e Sol no nosso teste de referência de cibersegurança de 32 CVEs e os resultados foram inesperados! O Luna voltou a detetar 53,1%. O Sol alcançou 68,8%.
    • Nenhum deles superou as variantes do GPT-5.6 na recuperação de dados. No entanto, ambos tornaram-se MUITO mais económicos por vulnerabilidade encontrada: Luna de 3,43 $ para 2,01 $/CVE e Sol de 56,88 $ para 34,18 $/CVE.
11 de setembro de 2026
  • Adicionados os resultados do GPT-6 Astra e GLM-5.3 Flash.
Um modelo forte é apenas o começo.

A estrutura da Aikido transforma o raciocínio em descobertas de segurança de alta qualidade em toda a sua aplicação, seja com a Auditoria de Segurança de Código a ler o seu código-fonte ou com o Aikido Attack a testar a sua aplicação em execução.

Contributores

Debarshi
Investigador
Philippe Dourassov
Líder de AI Pentest
Rein Daelman
Bug Bounty Hunter

Torne-se seguro hoje,
de forma rápida e gratuita.

Proteja o seu código, cloud e runtime num único sistema central. Conecte um repositório para descobrir o que os agentes de raciocínio encontram na sua base de código.

Não é necessário cartão de crédito | Resultados do teste em 32 segundos.
Confiado por mais de 150 mil orgs