Um primeiro olhar

Parte da seção Estatística para ML do Journey de Machine Learning da Coddy. Lição 56 de 64.

Todo modelo começa com alguém examinando seus dados de perto. Este capítulo termina com uma imagem como esta: duas medidas que dividem os tumores por classe.

Amostras de tecido mamário como pontos, média dos pontos côncavos na horizontal e perímetro médio na vertical: amostras benignas se concentram no canto inferior esquerdo, enquanto as malignas se espalham para cima e para a direita

Comece com quatro verificações: tamanho, valores ausentes, intervalos e classes. No conjunto de dados de vinhos:

wine = load_wine(as_frame=True)
df = wine.frame
print(df.shape)
print(df.isna().sum().sum())

Isso imprime:

(178, 14)
0

13 características mais target, e .sum().sum() não encontrou nenhuma lacuna em lugar algum. df.describe() fornece o intervalo de cada característica.

Por último, as classes. normalize=True transforma as contagens em proporções:

shares = df["target"].value_counts(normalize=True)

Barras das três classes de vinho: class_0 33%, class_1 40%, class_2 27%, com uma linha tracejada em 40% marcada como sempre class_1: 40% correto

Responder sempre class_1 está certo 40% das vezes: a linha de base que um modelo real precisa superar.

Desafio

Médio

Faça uma primeira análise de load_breast_cancer, antes que qualquer modelo aprenda com esses dados. O código inicial carrega os dados em df e lê o nome de uma característica. Imprima:

O tamanho e as células ausentes.
O mínimo, o máximo e a mediana da característica, usando describe().
A proporção de cada classe, em porcentagem inteira, na ordem das classes.
A linha de base: a maior proporção e sua classe.

Para as flores de íris e a entrada petal length (cm), ele imprime:

Size: 150 samples, 4 features
Missing cells: 0
petal length (cm): 1.0 to 6.9, median 4.35
setosa: 33%
versicolor: 33%
virginica: 33%
Baseline: 33% by always answering setosa

Os dados de íris estão perfeitamente equilibrados. E os dados de tecido?

Experimente você mesmo

from sklearn.datasets import load_breast_cancer

feature = input()
cancer = load_breast_cancer(as_frame=True)
df = cancer.frame

# Escreva seu código abaixo

Teste seus conhecimentos

Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.

Todas as lições de Estatística para ML

2Distribuições

Histogramas de densidade Formatos dos dados A curva normal A regra 68-95-99,7 Escores Z Recapitulando: duração da bateria

5Valores atípicos

Diagramas de caixa A regra do IQR A regra do Z-score Como lidar com valores atípicos Revisão: falhas nos sensores

8Comparando grupos

Gráficos de caixa por grupo Diferença entre médias Pode ser acaso?Valores-p O teste t Revisão: teste A/B

11Explorando um conjunto de dados

Um primeiro olharTodos os atributos de uma vez Atributos em relação ao rótulo Os dois melhores atributos Revisão: dados de diabetes

Pratique por conta própria: Compilador de Python online