Como realizamos os testes — Classificação dos modelos de IA por Aikido
aikido/investigação
← Voltar à tabela classificativa

Como testamos

Os benchmarks valem tanto quanto a sua configuração. Eis como medimos se um modelo consegue detetar vulnerabilidades reais e quanto custa.

  1. 1

    Escolher vulnerabilidades reais

    Utilizamos CVEs conhecidos da base de dados de avisos do GitHub, abrangendo vários linguagens e tipos de projetos.

  2. 2

    Fixar o commit vulnerável

    Cada repositório é obtido num commit de pouco antes de ter sido corrigido.

  3. 3

    Executar dentro do ambiente de produção

    Os modelos são executados no mesmo ambiente de IA que fornecemos com o Code Security Audit e o Aikido Attack.

  4. 4

    Apontar para o excerto vulnerável

    Como sabemos onde reside cada vulnerabilidade, os agentes investigadores são direcionados para o código vulnerável. Uma falha reflete o raciocínio — e não desperdício de orçamento a vaguear pelo canto errado do repositório. Os prompts mantêm-se curtos e agnósticos em relação ao modelo.

  5. 5

    Executar três vezes e consolidar os resultados

    Os modelos são não determinísticos. Executamos cada um três vezes e contamos uma CVE como detetada se esta surgir em qualquer uma das execuções. A agregação recupera bugs que uma única execução perderia e reflete de forma mais realista a forma como implementaria estes agentes.

  6. 6

    Avalie a cobertura e o custo em conjunto

    Registamos quantas CVEs cada modelo volta a detetar e qual foi o custo para o conseguir, porque o modelo mais potente raramente é o que oferece a melhor relação qualidade/preço. Também comparamos os níveis de raciocínio quando o fornecedor os disponibiliza.


Sobre a configuração do harness

Um harness é o que transforma um modelo de linguagem num auditor. Um assistente de programação de uso geral foi concebido para uma tarefa diferente: aceitar uma tarefa e produzir código funcional. Se o apontar a um repositório e lhe perguntar se é seguro, ele comporta-se como um programador a passar os olhos à procura de algo obviamente avariado, parando assim que encontra algo plausível. A auditoria de segurança de código do Aikido foi concebida de forma diferente. Examina a base de código em busca de potenciais pontos de entrada, investiga em profundidade cada fluxo suspeito e faz a triagem dos resultados para que obtenhamos apenas vulnerabilidades reais.

Como sabíamos onde cada vulnerabilidade residia, direcionamos cada agente investigador diretamente para o trecho de código vulnerável. Dessa forma, uma falha reflete o raciocínio, e não o orçamento desperdiçado vagando pelo canto errado da base de código. O modelo ainda precisa entender o fluxo, julgar a explorabilidade e reportá-la corretamente. Os prompts foram mantidos curtos e agnósticos ao modelo para que nenhum fornecedor seja beneficiado pela formulação.


Quer o harness que executa estes modelos?

O mesmo motor de auditoria de segurança de código com IA que testamos aqui analisa a sua base de código em busca de vulnerabilidades em várias etapas antes de estas chegarem a produção.

Explorar a Auditoria de Segurança de Código ↗