precisão

Como medimos a precisão.

Um alerta falso custa tempo do time e confiança na ferramenta. Por isso a precisão é a primeira medida da codafort: dos alertas que ela dá, quantos são problemas reais. Cada versão é medida antes de ser publicada.

o que medimos

Duas medidas, nesta ordem.

Precisão

Dos alertas que a codafort dá, quantos são problemas reais. É a medida que não pode piorar de uma versão para outra.

Recall

Das falhas que existem no código, quantas a codafort encontra. Cresce de versão em versão, e só entra o que não custa precisão.

onde medimos

Em casos que outras pessoas escreveram, com a resposta já conhecida.

Testes públicos

Conjuntos de teste mantidos pela comunidade de segurança, em que cada caso já diz se tem falha ou não, separados por linguagem.

Casos guardados

Uma parte dos casos nunca é usada para ajustar a codafort. Ela mostra se uma melhora vale fora dos casos que já conhecemos.

Falhas reais já corrigidas

O código de vulnerabilidades públicas de projetos reais, antes e depois da correção.

quando medimos

A cada versão, antes de sair.

As medições rodam sobre a versão inteira. Se a precisão cair em qualquer conjunto, a versão não é publicada até a causa ser corrigida.

o que o número não diz

Teste com resposta conhecida não é o seu código. Em código real, toda ferramenta de análise acerta menos do que nesses testes, e nenhuma prova que não há vulnerabilidade. A codafort mostra o que encontrou e diz o que não conseguiu verificar.

Precisão medida a cada versão.

Pré-lançamento: a codafort ainda não está disponível para instalar. Entre na lista de espera →