Queimámos 11,7 mil milhões de tokens para avaliar as capacidades cibernéticas de 10 modelos de IA, com três tentativas cada, tendo como objetivo a redescoberta de 32 vulnerabilidades recentes e prontas a usar.
Este teste de desempenho é uma evolução do nosso anterior teste de desempenho com CVEs conhecidos, com um conjunto de dados novo e mais complexo, mais modelos e uma análise mais aprofundada dos resultados obtidos, da fiabilidade com que os encontram, bem como das suas peculiaridades e compromissos.
Com isto, adicionamos o GLM-5.3, o DeepSeek V4 Pro 0813, o DeepSeek V4 Flash 0731, o Qwen3.8-Max, o Kimi K3 e o Grok 4.6 à gama.
TL;DR:
- O DeepSeek V4 Pro 0813 deteta o maior número de vulnerabilidades. A combinação dos resultados de três execuções permite identificar 28 das 32 vulnerabilidades.
- Não é necessário o modelo mais caro. Três execuções do DeepSeek Pro custam cerca de 295 dólares e apresentam um desempenho superior ao do Opus 5, do Grok 4.6 ou do Sol. Três execuções do Flash custam 108 dólares e atingem 24 correspondências, igualando a melhor passagem individual do Grok por menos de um quarto do custo.
- Os modelos apresentam inconsistências na taxa de recuperação; a repetição corrige essa situação. As execuções isoladas não abrangem a totalidade dos resultados, mas a agregação dos resultados de várias execuções colmata essa lacuna. O DeepSeek Pro deteta 17 vulnerabilidades na primeira execução, mas 28 ao longo de três execuções.
- Os modelos de código aberto superam agora o desempenho da fronteira pública. O DeepSeek V4 Pro superou todos os modelos fechados públicos que testámos no que diz respeito à taxa de recuperação agregada de vulnerabilidades. O Qwen, o Kimi e o GLM-5.3 seguiram-se, apresentando uma forte consistência nos resultados sem perderem a taxa de recuperação. Quando utilizados corretamente, os modelos de código aberto podem agora competir diretamente com a fronteira dos modelos fechados.
- O preço de uma cobertura barata é o ruído. Os modelos abertos alcançaram a fronteira a taxas muito mais baratas, mas também produziram o maior número de pistas falsas que o pipeline teve de rejeitar.
Como o benchmark funciona
Selecionámos 32 vulnerabilidades em repositórios reais e pedimos a cada modelo que as redescobrisse a partir da fonte.
Cada modelo executou o conjunto completo de 32 casos três vezes, num total de 96 execuções. Isto permite-nos avaliar quantas vulnerabilidades um modelo consegue detetar e quantas consegue detetar de forma fiável.
A configuração consistia numa versão limitada do «harness» descrito no nosso artigo « análise de código com IA ». Substituímos o modelo do estágio primário, responsável pela exploração do código e pelo raciocínio com cada um dos nossos concorrentes, e atribuímos ao agente um máximo de 30 turnos. Além disso, os modelos não têm qualquer acesso à Internet.
Fomos cuidadosos quanto à atualidade do conjunto de dados. As 32 vulnerabilidades foram selecionadas a partir de CVEs divulgados recentemente, para reduzir a probabilidade de os modelos já terem sido expostos à vulnerabilidade, à descrição da mesma ou à correção durante o treino. O objetivo era testar o raciocínio sobre vulnerabilidades, em vez da memorização de bugs bem conhecidos. Os casos, os prompts, as ferramentas e a política de avaliação foram todos mantidos inalterados ao longo das execuções.
É necessário definir primeiro alguns conceitos, que iremos utilizar ao longo deste artigo:
- Recall — Quantas vulnerabilidades o modelo encontrou efetivamente
- Precisão — Quantos dos resultados comunicados foram aceites
- Passagem - Uma execução completa de um modelo no nosso conjunto de dados com 32 vulnerabilidades
Como tirar partido da variância dos resultados dos modelos
O desempenho dos LLMs depende, em grande medida, do problema em questão. Geralmente, os problemas penalizam a variância dos resultados do modelo quando é necessária a reprodutibilidade ou a fiabilidade dos resultados.
Se atribuirmos a um agente a mesma tarefa em três sessões distintas, este poderá resolvê-la de três formas diferentes. Nenhuma dessas abordagens tem necessariamente de estar «errada», mas a variação torna o sistema imprevisível, o que, em geral, não é bom, uma vez que, para a mesma entrada e o mesmo sistema, o resultado pode ser diferente.
No entanto, a deteção de vulnerabilidades é um problema em que é possível fazer com que esta característica dos LLMs funcione a nosso favor, em vez de contra nós. Fundamentalmente, trata-se de um problema de espaço de pesquisa, e os problemas de pesquisa podem beneficiar desta variância. Nas auditorias de segurança, a agregação dos resultados de várias execuções pode — e, como verão, tem levado — a melhores resultados.
A inconsistência entre modelos gera diversidade, o que, por sua vez, pode potencialmente resultar num melhor recall. Se uma execução detetar erros que outra não deteta, pode ficar com ambas.
O DeepSeek Pro detetou 17 vulnerabilidades na sua primeira análise. Se essa fosse a única análise, esse seria o resultado final.
No entanto, a segunda e a terceira execuções identificaram vulnerabilidades que as execuções anteriores não tinham detetado. Ao somar os resultados das três, o DeepSeek atingiu 28/32, conquistando o primeiro lugar no nosso teste de desempenho.
O mesmo aconteceu noutros casos. O Qwen passou de 19 na sua primeira ronda para 26 no total. O Kimi passou de 17 para 25. O Grok passou de 24 para 26.
Os modelos exploratórios beneficiaram enormemente da repetição, uma vez que as diferentes execuções exploraram diferentes caminhos úteis. O Grok beneficiou muito menos, porque já estava a encontrar, grosso modo, as mesmas vulnerabilidades em cada execução.
Todos os modelos identificaram 17 casos, pelo menos uma vez. Um deles superou os dez. Os restantes 14 são aqueles em que os modelos deixaram de parecer intercambiáveis.
O DeepSeek apresentou o maior recall agregado. O Grok foi o mais consistente
O DeepSeek foi o que detetou mais, mas não de forma muito consistente de uma execução para a outra. Ao longo de três execuções, o V4 Pro 0813 acabou por detetar 28 das 32 CVEs, o que lhe conferiu o melhor resultado global no teste de desempenho. No entanto, apenas 10 dessas foram detetadas em todas as execuções.
O Grok revelou-se mais conservador. Detetou um número ligeiramente inferior de vulnerabilidades no total, 26 em 32, mas, quando detetava algo, era muito mais provável que o detetasse novamente. Detetou 21 CVEs nas três execuções, o que o tornou o modelo mais consistente que testámos, superando todos os outros.
O Opus 5 também detetou 26 em 32 e registou a melhor passagem individual, com 25, mantendo uma consistência de 19 casos em três passagens. O Sol detetou 25 em 32, com a mesma consistência de 19 casos, e produziu alguns dos relatórios mais precisos.
Os modelos DeepSeek também produziram muito mais resultados potenciais do que os outros modelos. Essa exploração agressiva contribuiu para a sua taxa de recuperação, mas também significou mais pistas falsas que o resto do processo teve de filtrar.
Existe um padrão claro, em que o preço mais elevado das técnicas de ponta se traduz numa redução dos custos com a triagem pós-execução e numa maior consistência.
Por dentro das pistas da investigação
O DeepSeek Pro foi o modelo que mais «consumiu» no teste de desempenho. Foi o que utilizou mais orçamento de investigação, com uma mediana de 24 turnos, do limite máximo de 30 turnos que atribuímos aos nossos agentes.
O Opus foi a mais implacável de todas as fronteiras fechadas. As investigações que não resultaram em nenhum candidato demoraram, em média, 29 turnos, mas as que produziram um candidato demoraram 19.
A Sol registou uma média de cerca de 2,74 problemas potenciais por investigação e apresentou algumas das conclusões mais claras que observámos, mantendo, na maioria das vezes, um percurso fácil de seguir desde a entrada controlada pelo atacante até ao impacto na segurança.
Qwen, ufa. Este modelo deu-me uma sensação de déjà vu em relação ao CVE.
Em 95 dos 96 registos de execução, após reconhecer a base de código, o sistema dedicou algumas iterações a analisar CVEs mais antigas, já divulgadas anteriormente, presentes na base de código, com base no seu conjunto de dados de treino.
Essas vulnerabilidades já tinham sido corrigidas na versão do código-fonte que utilizámos para os testes de desempenho, pelo que grande parte deste orçamento para investigação foi desperdiçado, antes de se voltar, por fim, à análise do código.
Às vezes, é um déjà vu que serve de pista. Outras vezes, é apenas uma observação casual, mas, seja como for, a Qwen estava a fazer algo muito mais próximo de uma análise autónoma de variantes do que de uma simples correspondência de padrões, sem que lhe tivesse sido pedido.
Apesar desta peculiaridade, subiu bastante na tabela de classificação, igualando o Opus e o Grok no recall agrupado do pass@3, ficando logo atrás do DeepSeek, que lidera.
De todos, o Kimi apresentou o perfil de exploração mais curto, com uma mediana de 12 voltas. Os seus traçados convergiam frequentemente de forma explícita, descartavam teorias menos sólidas e tomavam decisões muito mais cedo na investigação do que os seus pares.
Apresentou ainda uma precisão agregada de 92,3%, superior à de todos os outros modelos de peso aberto que testámos. Menos resultados falsos e menos falsos positivos.
A GLM colmata a lacuna nas regiões fronteiriças
Não, não nos esquecemos do GLM-5.3. Na verdade, ficámos acordados a noite toda por causa dele (literalmente!).
Graças à Z.AI, tivemos a oportunidade de trabalhar em estreita colaboração com a sua equipa enquanto parceiro de avaliação inicial do GLM-5.3, submetendo-o ao nosso teste de desempenho em cibersegurança e partilhando o nosso feedback ao longo de todo o processo de pré-lançamento.
Durante a avaliação, testámos dois checkpoints do GLM-5.3: um checkpoint de pré-visualização pré-lançamento e a versão final lançada.
O GLM-5.3-preview superou o GPT 5.6 Terra em termos de relação custo-desempenho no pass@3. Redescobriu 75% dos CVEs, com um custo 40% inferior, e foi também o mais consistente dos modelos de peso aberto, com 14/32 detetados nas três execuções.
A versão final do GLM melhorou esta base e registou um aumento de vários pontos em termos de recall e consistência, mantendo, ao mesmo tempo, aproximadamente a mesma precisão.
Era visivelmente mais persistente do que a versão anterior, o que levou a um aumento da mediana do número de voltas utilizadas, de 18 para 23.
No geral, os resultados revelam uma exploração mais ampla e profunda. A taxa de recuperação melhorou de 24/32 para 25/32, ficando a par do GPT Sol, apesar de ser 65,5% mais barato. Também superou o GPT-5.6 Terra, o GPT-5.6 Luna e o DeepSeek Flash 0731, terminando apenas 1 CVE atrás do Opus 5, mantendo-se 69,8% mais barato.
A sua consistência também aumentou de 14/32 para 18/32, valor observado de forma consistente em todas as execuções. Estas melhorias tiveram como contrapartida um aumento do custo por CVE detetado, que passou de 14,77 $ para 19,65 $. Ainda assim, continua a ser consideravelmente mais barato do que o Sol, o Opus e o Grok, ao mesmo tempo que apresenta um desempenho competitivo. Além disso, apresentou o maior valor de recall no pass@1 de todos os modelos abertos.
Os pesos abertos acabaram de ultrapassar a fronteira pública
No nosso último teste comparativo, verificou-se que as estratégias de ponderação aberta estavam a recuperar terreno rapidamente. Desta vez, fizeram mais do que recuperar o atraso. Quando bem aplicadas, tiveram um desempenho equivalente e chegaram mesmo a superar o índice de referência.
O DeepSeek apresentou a melhor cobertura agregada entre todos os modelos, à frente do Opus, do Sol e do Grok. O GLM 5.3 equiparou-se em termos de consistência entre execuções e o Qwen manteve a sua posição na precisão e na recuperação agregadas.
Os modelos fechados continuavam a ter as suas próprias características, mas a antiga hierarquia — com um modelo de fronteira fechada no topo e tudo o resto por baixo — não resistiu a este teste comparativo.
Este teste de desempenho avalia apenas o desempenho das versões publicamente disponíveis dos modelos «closed frontier». Não incluímos os modelos Mythos nem os da classe GPT 5.6 Daybreak nos nossos testes.
Isso significa que se pode retirar o Sol/Opus dos vossos sistemas e substituí-lo por qualquer um dos modelos de peso variável?
Não é.
Referimo-nos a «utilizado corretamente» e fazemo-lo com ênfase. Os modelos de peso aberto são formidáveis, mas ainda não têm o calibre necessário para substituir uma fronteira sem um sistema de fixação cuidadosamente concebido.
À medida que os modelos de fronteira melhoram, observamos a tendência de que uma utilização mínima de recursos equivale a um melhor desempenho. O grupo dos modelos de peso aberto ainda está a alguns passos de atingir esse mínimo.
Então, que modelo iríamos contratar?
Depois de cerca de 11,7 mil milhões de tokens, «Qual é o melhor modelo?» já não é a pergunta certa.
É melhor perguntar onde é que um modelo se deve encaixar no seu sistema. Qual dos investigadores envia primeiro, qual envia em segundo lugar e quem verifica o trabalho de quem?
Não é necessário optar logo pelo modelo mais caro. Três execuções do DeepSeek V4 Pro 0813 custaram cerca de 295 dólares e detetaram 28 das 32 vulnerabilidades, mais do que qualquer execução isolada do Opus 5, do Grok 4.6 ou do Sol, apesar de cada uma dessas execuções custar entre 450 e 590 dólares, aproximadamente.
Mesmo três execuções do Flash custam apenas 108 dólares e atingem 24 correspondências, igualando o melhor resultado do Grok numa única passagem por menos de um quarto do preço. Repetir um modelo eficiente pode proporcionar uma cobertura maior do que uma única tentativa dispendiosa, mas traz consigo os seus próprios inconvenientes. O custo é transferido para as fases posteriores do pipeline.
É precisamente na procura do equilíbrio entre a capacidade de recuperação e a precisão que entra em jogo a engenharia de cablagens.
Estamos entusiasmados com as novidades! Vale a pena sacrificar o sono. Até à próxima!
.png)
Este teste de desempenho avalia modelos em bruto. Aikido transforma-os em deteções de vulnerabilidades fiáveis. O Code Security Audit aplica esse raciocínio a todo o seu código-fonte. Pense nisso como IA com capacidade de ação autónoma SAST . Aikido O Attack envia agentes autónomos para a sua aplicação em execução, agrupando resultados válidos e descartando pistas falsas, tal como o pipeline aqui as rejeitou. Aproveite o poder dos modelos mais recentes e proteja os seus sistemas. Veja em aikido.dev.
P.S. Também estamos a recrutar. Venha trabalhar connosco.
