Qual é a diferença entre precisão e recordação

Precisão, recall e pontuação F1 são parâmetros para medir o desempenho de um modelo de classificação.

Por exemplo, se queremos implementar

Regressão logística

modelo em um

conjunto de dados desequilibrado

gostaríamos de calcular precisão, recall e pontuação F1, pois a precisão pode não ser uma boa medida do desempenho do modelo nesse caso.

Precisão: a precisão mede quando o modelo prevê doenças para um grupo de pessoas (por exemplo), com que frequência está correto.

Para mais detalhes, consulte a publicação abaixo.

O que é Precisão, Recordação e Pontuação F1

Vamos dar um exemplo: -

Você esqueceu o aniversário da sua namorada

Gf: - Baby, quando é meu aniversário?

Você: -Opa !!

Você: - Para salvar o relacionamento, você começa a recordar datas e faz 5 previsões. Dos quais 1 data está correta.Obrigado a Deus !!

Aqui,

A retirada é 100%

Precisão é 20%

Eu não acho que o recall de 100% seja útil até que você seja mais preciso em problemas do mundo real.

Precisão = tp / (tp + fp)

a precisão de uma classe é o número de verdadeiros positivos dividido pelo número total de elementos rotulados como pertencentes à classe positiva

Rechamada = tp / (tp + fn)

Lembre-se, neste contexto, é definido como o número de verdadeiros positivos dividido pelo número total de elementos que realmente pertencem à classe positiva

Wikipedia

possui um diagrama interessante para explicar esses conceitos:

O quadrado cinza indica o conjunto de todos os objetos. Você tem um algoritmo que prevê quais dos objetos têm uma propriedade específica. Digamos que ele selecione todos os elementos do círculo [enquanto a resposta verdadeira é o retângulo cinza escuro].

Agora, a precisão informa quantos objetos selecionados estavam corretos. Essa é a parte verde dentro do círculo, dividida por tudo dentro do círculo. Lembre-se informa quantos objetos que deveriam ter sido selecionados foram realmente selecionados. Essa é a parte verde dentro do círculo, dividida pela parte cinza escura.

Como pode ser visto na imagem, isso está intimamente relacionado a verdadeiros / falsos positivos / negativos.

A precisão e o recall se contrapõem, ou seja, aumentar um deles reduz o outro. Vejamos os casos extremos: se você selecionar quase tudo, a precisão é muito baixa, enquanto o recall é muito alto; se você selecionar quase nada, a precisão é muito alta, enquanto a recuperação é muito baixa. Portanto, o objetivo é ter algum tipo de equilíbrio entre os dois. A maneira mais comum de fazer isso é usar a pontuação F-1, que é a média harmônica de precisão e recuperação, para que, se a precisão ou recuperação for muito baixa, a pontuação F-1 seja muito baixa. O objetivo de maximizar a pontuação do F-1 garante uma precisão e um recall razoavelmente altos. [A pontuação F-1 pesa precisão e recordação igualmente, mas algumas aplicações podem exigir a pesagem de uma delas mais que a outra. Mais sobre isso aqui - é melhor ter muitos falsos positivos ou muitos falsos negativos?]

Esta explicação é baseada principalmente nos conceitos do Natural Language Processing (NLP), no entanto, você acredita que também pode usar essa analogia em outros campos do Machine Learning.

No contexto da verificação gramatical automatizada (ou seja, identificação e classificação automáticas de erros gramaticais), a precisão é uma relação entre todos os erros adequadamente identificados e todos os erros identificados, enquanto a recuperação pode ser definida como uma proporção de todos os erros identificados e todos os erros existentes em um ambiente. texto fornecido.

Agora, vamos tentar entender essa explicação no seguinte texto de exemplo:

A rápida raposa marrom pula sobre o cachorro preguiçoso. No entanto, o cachorro preguiçoso era preguiçoso para ficar de pé e perseguir a raposa.

As palavras marcadas em negrito são sinalizadas como contendo erros quando você coloca esse texto em um verificador gramatical comercial (por exemplo, Grammarly).

Então, como determinamos a precisão / recall do verificador gramatical fornecido?

Bem, em termos de recall, examinamos o número de erros que ele sinalizou (6) e o número de todos os erros que existem neste texto (6). Como resultado, podemos dizer que o recall deste verificador gramatical é 100% (das 6 palavras existentes com erros, 6 palavras foram marcadas corretamente como contendo erros; 6/6 = 1; expresso em porcentagem como 100%).

Para adicionar uma terminologia relevante aqui, notei que os termos verdadeiros e falsos positivos foram usados ​​em outra resposta a esta pergunta. Vamos explicar esses dois termos no contexto da recordação.

Portanto, um verdadeiro positivo indica um erro real que existe no texto (no nosso caso, essa seria uma das palavras em negrito, por exemplo, pular -> a forma correta seria saltos). Um falso positivo marca uma frase que foi identificada como um erro, embora não seja um erro real (no nosso caso, isso significaria identificar uma das palavras como contendo um erro, por exemplo, se foi sinalizada como um erro sugerindo que deveria ser alterado para eram).

No que diz respeito à precisão, precisamos verificar quais erros foram classificados na categoria de erro correta e quais palavras foram atribuídas a uma categoria de erro incorreta.

No nosso caso, o verificador gramatical classificou apenas 1 erro corretamente (contração é em vez de pronome possessivo), enquanto nenhuma sugestão de correção foi fornecida em outros casos (para: salto; no entanto; para; obtém; persegue; provavelmente é porque eu usou a versão web de teste do verificador gramatical; para os fins desta explicação, trataremos essas classificações de erro inexistentes como classificações de erro incorretas).

Portanto, se fizermos as contas agora (1 classificação de erro correta versus 5 classificações de erro incorretas), podemos ver que a precisão do verificador gramatical é bastante baixa (1/6 = cerca de 0,17, expresso em porcentagem como 17 %)

Agora, da teoria à prática (interpretação dos resultados): o que a relação precisão / recordação nos diz sobre esse verificador gramatical?

Bem, ele nos diz que esse verificador gramatical é muito bom em localizar / reconhecer erros em um texto (recuperação de 100%), mas apresenta um desempenho ruim em termos de classificação de erros (apenas 17% dos erros foram classificados corretamente em categorias de erros).

Em outras palavras, pode ajudar pessoas que possuem habilidades gramaticais consideráveis, mas tendem a ignorar os erros. Por outro lado, não pode ajudar pessoas que possuem apenas habilidades básicas de gramática, porque estas precisam de um verificador gramatical que classifique corretamente os erros e forneça sugestões corretas.

Espero que esta explicação o ajude a entender os princípios básicos por trás da precisão e recall;)

(Fonte: Domeij, R., Knutsson, O. e Severinson Eklundh, K., 2002, pág. 263)