Como testamos
Os benchmarks valem tanto quanto a sua configuração. Eis como medimos se um modelo consegue detetar vulnerabilidades reais e quanto custa.
-
1
Escolher vulnerabilidades reais
Utilizamos CVEs conhecidos da base de dados de avisos do GitHub, abrangendo vários linguagens e tipos de projetos.
-
2
Fixar o commit vulnerável
Cada repositório é obtido num commit de pouco antes de ter sido corrigido.
-
3
Executar dentro do ambiente de produção
Os modelos são executados no mesmo ambiente de IA que fornecemos com o Code Security Audit e o Aikido Attack.
-
4
Apontar para o excerto vulnerável
Como sabemos onde reside cada vulnerabilidade, os agentes investigadores são direcionados para o código vulnerável. Uma falha reflete o raciocínio — e não desperdício de orçamento a vaguear pelo canto errado do repositório. Os prompts mantêm-se curtos e agnósticos em relação ao modelo.
-
5
Executar três vezes e consolidar os resultados
Os modelos são não determinísticos. Executamos cada um três vezes e contamos uma CVE como detetada se esta surgir em qualquer uma das execuções. A agregação recupera bugs que uma única execução perderia e reflete de forma mais realista a forma como implementaria estes agentes.
-
6
Avalie a cobertura e o custo em conjunto
Registamos quantas CVEs cada modelo volta a detetar e qual foi o custo para o conseguir, porque o modelo mais potente raramente é o que oferece a melhor relação qualidade/preço. Também comparamos os níveis de raciocínio quando o fornecedor os disponibiliza.
Sobre a configuração do harness
Um harness é o que transforma um modelo de linguagem num auditor. Um assistente de programação de uso geral foi concebido para uma tarefa diferente: aceitar uma tarefa e produzir código funcional. Se o apontar a um repositório e lhe perguntar se é seguro, ele comporta-se como um programador a passar os olhos à procura de algo obviamente avariado, parando assim que encontra algo plausível. A auditoria de segurança de código do Aikido foi concebida de forma diferente. Examina a base de código em busca de potenciais pontos de entrada, investiga em profundidade cada fluxo suspeito e faz a triagem dos resultados para que obtenhamos apenas vulnerabilidades reais.
Como sabíamos onde cada vulnerabilidade residia, direcionamos cada agente investigador diretamente para o trecho de código vulnerável. Dessa forma, uma falha reflete o raciocínio, e não o orçamento desperdiçado vagando pelo canto errado da base de código. O modelo ainda precisa entender o fluxo, julgar a explorabilidade e reportá-la corretamente. Os prompts foram mantidos curtos e agnósticos ao modelo para que nenhum fornecedor seja beneficiado pela formulação.
Quer o harness que executa estes modelos?
O mesmo motor de auditoria de segurança de código com IA que testamos aqui analisa a sua base de código em busca de vulnerabilidades em várias etapas antes de estas chegarem a produção.
Explorar a Auditoria de Segurança de Código ↗