Revisão: falhas nos sensores

Parte da seção Estatística para ML do Journey de Machine Learning da Coddy. Lição 28 de 64.

Desafio

Médio

Lembra dos pontos solitários do gráfico de caixa? O sensor da sala de armazenamento de um museu registra a umidade a cada 15 minutos em readings, e de vez em quando apresenta falhas.

Imprima quantas leituras cada regra sinaliza: as que estão fora dos limites do IQR e as que têm escore-z acima de 3 em qualquer direção.
Limite as leituras aos limites do IQR e, em seguida, imprima a média antes e depois, arredondada para 2 casas decimais.
Desenhe gráficos de caixa lado a lado, intitulados Before (as leituras) e After (limitadas), ambos com o rótulo do eixo y Humidity (%).

Para o registro de outro dia, o programa imprime:

IQR glitches: 3
Z-score glitches: 2
Mean before: 51.69
Mean after: 51.89

e desenha esta figura (o Coddy descreve a sua em seguida):

Dois gráficos de caixa lado a lado. Antes: uma caixa comprimida perto de 52 por cento, com pontos atípicos em 0, 31.5 e 99.9. Depois, as leituras limitadas: uma caixa completa de cerca de 50.7 a 53.2, com bigodes de cerca de 47 a 57 e sem pontos

Experimente você mesmo

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

log = pd.read_csv("humidity.csv")
readings = log["humidity"]

# Escreva seu código abaixo

Todas as lições de Estatística para ML

2Distribuições

Histogramas de densidade Formatos dos dados A curva normal A regra 68-95-99,7 Escores Z Recapitulando: duração da bateria

5Valores atípicos

Diagramas de caixa A regra do IQR A regra do Z-score Como lidar com valores atípicosRevisão: falhas nos sensores

8Comparando grupos

Gráficos de caixa por grupo Diferença entre médias Pode ser acaso?Valores-p O teste t Revisão: teste A/B

11Explorando um conjunto de dados

Um primeiro olhar Todos os atributos de uma vez Atributos em relação ao rótulo Os dois melhores atributos Revisão: dados de diabetes

Pratique por conta própria: Compilador de Python online