A distribuição amostral
Parte da seção Estatística para ML do Journey de Machine Learning da Coddy. Lição 21 de 64.
As sessões de vídeo têm assimetria à direita: a maioria dura alguns minutos, e algumas chegam a duas horas. Ainda assim, as médias de 1000 amostras de 40 sessões formam uma curva em sino:
O histograma de muitas médias amostrais é a distribuição amostral. Com valores suficientes em cada amostra, ele tem formato de sino centrado na média da população, mesmo para dados assimétricos:
means = sample_means(sessions, 40, 1000) # sua função de Sample Means Vary
ax.hist(means, bins=12)Esse é o teorema central do limite. Ele torna as médias previsíveis: o erro médio de um modelo em um conjunto de teste também é aproximadamente normal.
Desafio
MédioOs tamanhos dos 6000 arquivos de um drive na nuvem em files (MB) têm assimetria à direita: muitos documentos e alguns vídeos. O programa lê um tamanho de amostra; o código inicial tem sample_means e dois gráficos.
- Obtenha 500 médias amostrais desse tamanho.
- Imprima a média menos a mediana dos arquivos e, em seguida, das médias (2 casas decimais).
- Crie um histograma dos arquivos em
axs[0]e das médias emaxs[1], combins=12, e exiba os gráficos.
Para outro drive e 60:
Files: mean - median = 25.28 MB
Sample means: mean - median = 0.55 MBEm seguida, Coddy relata cada gráfico. Uma diferença próxima de 0 significa que a assimetria desapareceu.
Experimente você mesmo
import numpy as np
import matplotlib.pyplot as plt
size = int(input())
# Não altere as linhas abaixo: o tamanho em MB de cada arquivo na unidade
rng = np.random.default_rng(21)
files = np.round(rng.random(6000) ** 4 * 300 + 5, 2)
# Sua função de Sample Means Vary: as médias de count amostras
def sample_means(data, size, count):
means = []
for i in range(count):
sample = rng.choice(data, size=size, replace=False)
means.append(sample.mean())
return np.array(means)
fig, axs = plt.subplots(1, 2)
axs[0].set_title("All Files")
axs[0].set_xlabel("File size (MB)")
axs[1].set_title("Sample Means")
axs[1].set_xlabel("Mean file size (MB)")
# Escreva seu código abaixo
Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.
Todas as lições de Estatística para ML
1Centro e dispersão
Média e medianaPercentis e quartisVariância e desvio padrãoAmostra ou população?O valor mais frequenteRevisão: tempos de entrega4Amostras e Populações
População e AmostraAs médias amostrais variamA distribuição amostralAmostras maiores, menos ruídoRevisão: pesquisa de opinião em uma cidade7Linhas de tendência
ResíduosAjuste por mínimos quadradosTraçando o ajusteFazendo previsões com uma linhaQuão bom é o ajuste?Revisão: horas de prática10Codificação de Categorias
Categorias como NúmerosCodificação One-HotAgrupamento de Números em FaixasRecapitulação: Anúncios de Carros2Distribuições
Histogramas de densidadeFormatos dos dadosA curva normalA regra 68-95-99,7Escores ZRecapitulando: duração da bateria5Valores atípicos
Diagramas de caixaA regra do IQRA regra do Z-scoreComo lidar com valores atípicosRevisão: falhas nos sensores8Comparando grupos
Gráficos de caixa por grupoDiferença entre médiasPode ser acaso?Valores-pO teste tRevisão: teste A/B11Explorando um conjunto de dados
Um primeiro olharTodos os atributos de uma vezAtributos em relação ao rótuloOs dois melhores atributosRevisão: dados de diabetes3Probabilidade por Simulação
Probabilidade como frequênciaA Lei dos Grandes NúmerosSomas de dadosValor esperadoProbabilidade condicionalRevisão: chances na barraca de dados6Relações
Lendo gráficos de dispersãoCorrelaçãoMatriz de correlaçãoMapas de calor de correlaçãoCorrelação não é causalidadeRevisão: sorvete e sol9Escalonamento de Recursos
Por que escalar os recursosEscalonamento Min-MaxPadronizaçãoStandardScalerRevisão: Parceiros de escaladaPratique por conta própria: Compilador de Python online