Claude Mythos é, sem dúvida, o modelo de cibersegurança mais potente que a Anthropic já criou. Mas sabemos que a capacidade do modelo é apenas uma das variáveis que determinam o desempenho de um produto de deteção de vulnerabilidades de IA.
Para testar isso, comparámos lado a lado o Claude Security da Anthropic, que funciona no Mythos, e o Code Security Audit dAikido , utilizando exatamente o mesmo alvo, para verificar qual das ferramentas consegue oferecer a melhor cobertura e a que custo. O Code Security Audit faz parte da suíte análise de código com IA dAikido. Também testámos o Codex Security.
Testámos os três produtos num aplicativo de benchmark privado, no qual tinham sido previamente identificadas 89 vulnerabilidades conhecidas.
Os resultados? A Claude Security, com o Mythos, detetou 60 das 89 vulnerabilidades (67 %) por um custo de 157 dólares, enquanto a Code Security Audit da Aikidodetetou 68 das 89 (76 %) por 75 dólares. A Codex Security detetou 58 das 89 por 125 dólares.
Aikido detetou mais 8 vulnerabilidades do que a Claude Security com o Mythos, incluindo 1 problema crítico e 3 de gravidade elevada, tendo custado menos de metade do preço. O Aikido detetou mais dez do que a Codex Security. Estes resultados são mais um exemplo de que o desempenho e a eficiência dependem do sistema em torno do modelo e que, mesmo com o modelo mais capaz, o desempenho pode ainda assim ficar aquém.
O arnês continua a fazer a diferença
Como já referimos anteriormente, a deteção de vulnerabilidades é, no fundo, um problema de pesquisa. Uma ferramenta tem de decidir onde procurar, que hipóteses investigar, até que ponto as aprofundar e quando é que uma descoberta apresenta provas suficientes para ser comunicada.
A Claude Security utiliza um processo sofisticado que envolve mapeamento de repositórios, agentes de análise e verificação em várias fases. O « Aikido » tem o seu próprio processo sofisticado, mas difere na forma como distribui esse trabalho, recorrendo a modelos mais pequenos e de menor custo, selecionados especificamente para as tarefas em que têm melhor desempenho. Estes modelos mais pequenos podem explorar um leque mais vasto de hipóteses independentes, enquanto o raciocínio de ponta, mais dispendioso, é reservado para as fases em que é mais provável que faça a diferença no resultado.
Foi essa afetação de recursos que permitiu que esta execução gastasse o seu orçamento na amplitude da investigação, em vez de aplicar o modelo mais dispendioso a tudo, e foi isso que resultou num recall substancialmente mais elevado.
Esta recolha mais abrangente incluiu vários problemas com impacto no mundo real que a rede de agentes do Aikidodetetou, mas que o Mythos não identificou. Uma delas foi uma falha crítica de autorização entre inquilinos que permitia aos utilizadores atualizar as definições das suas próprias contas e alterar a sua atribuição organizacional para se adicionarem a outra organização, concedendo-lhes acesso aos dados dessa organização. O Aikido também identificou problemas mais subtis e fáceis de passar despercebidos, incluindo uma incompatibilidade no formato do carimbo temporal entre a aplicação e a base de dados que permitia que chaves API expiradas continuassem válidas.
A informação de ponta torna-se rapidamente dispendiosa
O Mythos tem um custo inicial de 10 dólares por milhão de tokens de entrada e 50 dólares por milhão de tokens de saída. Este valor aumenta rapidamente quando uma revisão abrange centenas de trajetórias de agentes num repositório de grande dimensão.
A dificuldade reside no facto de as auditorias de código agênico não terem um volume de trabalho fixo. Dependendo de fatores como a dimensão do repositório e a complexidade da aplicação, o número de pistas a investigar e o raciocínio necessário tendem a variar de um repositório para outro.
A Claude Security deixa essa variabilidade a cargo do utilizador. Os utilizadores estão a agir às cegas, porque a Claude Security só revela o custo da análise depois de esta já ter terminado. Assim, quando tudo se acalmar, pode acabar por ter de arcar com um custo muito mais elevado do que esperava.
Aikido faz uma escolha diferente. Assumimos nós próprios essa incerteza. Antes do início da análise, calculamos dinamicamente o seu custo com base no tamanho do repositório, no código passível de revisão e na complexidade, e apresentamos essa estimativa ao utilizador.
Enquanto utilizador, pode aumentar ou diminuir o nível de cobertura para se adequar a essa estimativa antes de se comprometer com ela. A nossa execução no repositório de referência teria custado 75 dólares com a profundidade recomendada, enquanto o Claude Security teria custado um valor fixo de 157,06 dólares.
E se considerar que o repositório merece uma cobertura ainda mais exaustiva do que a que estimámos automaticamente, tem toda a liberdade para aumentar esse valor.
Na nossa experiência com a Claude Security, não nos foi fornecida qualquer estimativa de custos antecipadamente, e o valor total só ficou claro após a conclusão da análise.
O repositório que utilizámos para a análise tem cerca de ~15 000 linhas de código. A ausência de uma opção para visualizar uma estimativa de custos antecipada ou ajustar o nível de esforço da análise ao seu orçamento é algo que se consegue gerir num repositório deste tamanho. No entanto, torna-se um problema muito maior à medida que os custos da pesquisa de vulnerabilidades aumentam com o tamanho do repositório, o tipo de aplicação e a complexidade do pipeline.
Se utilizar um modelo dispendioso num monorepo, ou se o executar em cada pedido de integração, a falta de uma estimativa prévia da análise pode resultar em custos substancialmente mais elevados do que os esperados.
O que isto significa
Há já algum tempo que defendemos que a conceção do ambiente de teste determina os resultados em termos de segurança mais do que o modelo subjacente. Este teste comparativo dá-nos uma primeira ideia dos resultados diretos, ao testar o Mythos 5 e o Codex Security em comparação com o Code Security Audit nos mesmos repositórios, e o ambiente de teste continuou a fazer a diferença.
É claro que um único teste de desempenho não encerra o debate, mas fornece provas de que a «teoria do arnês em detrimento do modelo» já não se baseia apenas em afirmações.
