Valores Ausentes

Parte da seção Dados e gráficos do Journey de Machine Learning da Coddy. Lição 45 de 60.

Dados reais têm lacunas: um sensor falha, uma prova não é feita. pandas marca cada célula vazia como NaN, “não é um número”:

Uma tabela com quatro estudantes e duas provas, com três células vazias marcadas como NaN: Ben não fez quiz1, Cy e Dee não fizeram quiz2. Abaixo, as lacunas contadas por coluna: 0, 1 e 2

A maioria dos modelos não aceita NaN, então conte as lacunas primeiro. .isna() marca cada uma como True, e .sum() conta quantas são:

scores = pd.DataFrame({
    "name": ["Ana", "Ben", "Cy", "Dee"],
    "quiz1": [8, np.nan, 7, 9],  # np.nan é um valor ausente
    "quiz2": [6, 5, np.nan, np.nan],
})
print(scores.isna().sum())

Isso imprime:

name     0
quiz1    1
quiz2    2
dtype: int64

Em seguida, escolha: dropna() remove cada linha com uma lacuna; fillna(0) insere 0 em cada uma. Ambos retornam uma nova tabela, então armazene-a.

As estatísticas ignoram NaN: a média de quiz1 é 8.0, calculada a partir de suas três notas conhecidas.

Desafio

Médio

Um rastreador de atividades deixou de registrar algumas leituras em tracker.csv. Antes do treino, veja como cada maneira de lidar com os dados ausentes altera a média de sleep. O código inicial lê hours, um valor para preencher os dados ausentes.

Imprima os dados ausentes em cada coluna.
Imprima a média de sono, arredondada para 2 casas decimais, de três maneiras: ignorando os dados ausentes, considerando os dias sem dados ausentes em nenhuma coluna e preenchendo os dados ausentes com hours.

Para outro rastreador e 8:

day      0
steps    1
sleep    2
water    0
dtype: int64
Skipping gaps: 6.9
Complete days only: 7.0
Gaps filled with 8.0: 7.21

Experimente você mesmo

import pandas as pd

tracker = pd.read_csv("tracker.csv")
hours = float(input())

# Escreva seu código abaixo

Teste seus conhecimentos

Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.

Todas as lições de Dados e gráficos

1Introdução

Olá, Machine Learning O que é um modelo?Importando bibliotecas Seu primeiro gráfico

4Moldando dados

Remodelando arrays Unindo arrays Números aleatórios Revisão: simulação de dados

7DataFrames do pandas

Series DataFrames Lendo arquivos CSV Inspecionando os dados Selecionando colunas Revisão: avaliações de filmes

10Plotando DataFrames

Plotando um DataFrame Dispersão a partir de colunas Uma cor por grupo Histograma de uma coluna Revisão: vendas do café

2Arrays do NumPy

Criando arrays Forma e tamanho Intervalos de números Indexação e fatiamento Revisão: grade de temperaturas

5Gráficos de Linhas e Dispersão

Rótulos e Títulos Gráficos de Dispersão Várias Linhas e Legendas Cores e Marcadores Figuras e Eixos Revisão: Passos Semanais

8Filtragem e Ordenação

Selecionando Linhas Filtrando Linhas Ordenando Valores Novas Colunas Revisão: Principais Produtos

11Conjuntos de dados para ML

Conjuntos de dados integrados Atributos e rótulos Explorando por classe Visualizando as classes Revisão: conjunto de dados Wine

3Matemática com Arrays

Operações matemáticas em arrays inteiros Estatísticas resumidas Estatísticas por eixo Broadcasting Máscaras booleanas Revisão: notas das provas

6Gráficos para Dados

Gráficos de barras Histogramas Vários gráficos em um só Imagens como arrays Revisão: Relatório de chuvas

9Agrupamento e Limpeza

Contagem de Valores Agrupamento de Dados Vários ResumosValores AusentesRevisão: Resultados da Pesquisa

12Desafios Finais

Relatório de Vendas Leituras do Sensor Dígitos de Relance Explorador de Pinguins

Pratique por conta própria: Compilador de Python online