Precisão e Revocação

Parte da seção Aprendizado supervisionado do Journey de Machine Learning da Coddy. Lição 22 de 58.

Duas perguntas avaliam as respostas de um teste de gripe. Dos alarmes de gripe, quantos estavam corretos? Dos casos reais de gripe, quantos ele detectou?

A matriz de confusão do teste de gripe, desenhada duas vezes. À esquerda, intitulada Precisão 42 / 45 = 0.933, a coluna da gripe está destacada: 3 alarmes falsos e 42 casos detectados. À direita, intitulada Revocação 42 / 47 = 0.894, a linha da gripe está destacada: 5 casos não detectados e 42 casos detectados

Precisão responde à primeira: 42 de 45 alarmes. Revocação responde à segunda: 42 de 47 casos.

from sklearn.metrics import precision_score, recall_score

print(f"{precision_score(y_test, pred):.3f}")
print(f"{recall_score(y_test, pred):.3f}")

:.3f sempre mostra 3 casas decimais, então 0.9 seria exibido como 0.900. Isso exibe:

0.933
0.894

Escolha com base no erro mais custoso. Um caso de gripe não detectado se espalha, então este teste precisa de recall. Um filtro de spam que enterra e-mails legítimos precisa de precisão.

Desafio

Médio

O filtro de uma loja oculta avaliações que parecem falsas. O código inicial cria duas versões a partir de um modelo, strict_pred e eager_pred, e lê qual erro causa mais prejuízo: missed (uma avaliação falsa continua visível) ou hidden (uma avaliação real desaparece).

Imprima a precisão e a revocação de cada filtro, com 3 casas decimais.
Imprima o filtro que comete menos erros desse tipo, como abaixo (para missed: Fewer fakes missed: ...).

Para outra loja e hidden:

Strict: precision 0.900, recall 0.450
Eager: precision 0.640, recall 0.800
Fewer real reviews hidden: strict

Experimente você mesmo

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score

# Qual erro prejudica mais: deixar passar (uma avaliação falsa continua visível) ou ocultar (uma avaliação verdadeira é ocultada)
worse = input()

# Uma linha por avaliação: 1 em fake significa que a avaliação foi escrita sob encomenda
reviews = pd.read_csv("reviews.csv")
features = ["words", "exclamations", "account_days", "user_reviews", "stars", "photo"]
X_train, X_test, y_train, y_test = train_test_split(reviews[features], reviews["fake"], test_size=0.25, random_state=0)
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)
proba = model.predict_proba(X_test)[:, 1]

# Dois filtros do mesmo modelo: strict oculta uma avaliação quando a probabilidade de ser falsa é de 0.7; eager, quando é de 0.3
strict_pred = proba >= 0.7
eager_pred = proba >= 0.3

# Escreva seu código abaixo