Valores faltantes

Parte de la sección Datos y gráficos del Journey de Machine Learning de Coddy. Lección 45 de 60.

Los datos reales tienen lagunas: un sensor falla, no se realiza un cuestionario. pandas marca cada celda vacía como NaN, «no es un número»:

Una tabla de cuatro estudiantes y dos cuestionarios con tres celdas vacías marcadas como NaN: Ben no realizó quiz1, Cy y Dee no realizaron quiz2. Debajo, las lagunas contadas por columna: 0, 1 y 2

La mayoría de los modelos no aceptan NaN, así que primero cuenta los valores faltantes. .isna() marca cada uno como True, y .sum() los cuenta:

scores = pd.DataFrame({
    "name": ["Ana", "Ben", "Cy", "Dee"],
    "quiz1": [8, np.nan, 7, 9],  # np.nan es un valor faltante
    "quiz2": [6, 5, np.nan, np.nan],
})
print(scores.isna().sum())

Esto imprime:

name     0
quiz1    1
quiz2    2
dtype: int64

Después elige: dropna() elimina cada fila que tenga un valor faltante; fillna(0) escribe 0 en cada una. Ambas devuelven una tabla nueva, así que guárdala.

Las estadísticas omiten NaN: la media de quiz1 es 8.0, a partir de sus tres puntuaciones conocidas.

Desafío

Intermedio

A un monitor de actividad física le faltaron algunas lecturas en tracker.csv. Antes de entrenar, observa cómo cambia el promedio de sleep con cada forma de manejar los datos faltantes. El código inicial lee hours, un valor para rellenarlos.

Imprime los datos faltantes de cada columna.
Imprime la media de sueño, redondeada a 2 decimales, de tres maneras: omitiendo los datos faltantes, usando los días sin datos faltantes en ninguna columna y rellenando los datos faltantes con hours.

Para otro monitor y 8:

day      0
steps    1
sleep    2
water    0
dtype: int64
Skipping gaps: 6.9
Complete days only: 7.0
Gaps filled with 8.0: 7.21

Pruébalo tú mismo

import pandas as pd

tracker = pd.read_csv("tracker.csv")
hours = float(input())

# Escribe tu código a continuación

Ponte a prueba

Esta lección incluye un breve cuestionario. Empieza la lección para responderlo y registrar tu progreso.

Todas las lecciones de Datos y gráficos

1Introducción

Hola, Machine Learning ¿Qué es un modelo?Importar bibliotecas Tu primer gráfico

4Dar forma a los datos

Cambiar la forma de los arrays Unir arrays Números aleatorios Repaso: simulación de dados

7DataFrames de pandas

Series DataFrames Lectura de archivos CSV Inspección de datos Selección de columnas Repaso: calificaciones de películas

10Graficar DataFrames

Graficar un DataFrame Gráfico de dispersión a partir de columnas Un color por grupo Histograma de una columna Repaso: ventas del café

2Arrays de NumPy

Creación de arrays Forma y tamaño Rangos de números Indexación y segmentación Repaso: cuadrícula de temperaturas

5Gráficos de líneas y de dispersión

Etiquetas y títulos Gráficos de dispersión Varias líneas y leyendas Colores y marcadores Figuras y ejes Repaso: pasos semanales

8Filtrado y ordenación

Selección de filas Filtrado de filas Ordenación de valores Nuevas columnas Repaso: productos principales

11Conjuntos de datos para ML

Conjuntos de datos integrados Características y etiquetas Explorar por clase Representar las clases Repaso: conjunto de datos Wine

3Matemáticas con arrays

Operaciones matemáticas con arrays completos Estadísticas resumidas Estadísticas por eje Difusión Máscaras booleanas Repaso: calificaciones de exámenes

6Gráficos para datos

Gráficos de barras Histogramas Varios gráficos en uno Imágenes como matrices Repaso: informe de precipitaciones

9Agrupar y limpiar

Contar valores Agrupar datos Varios resúmenesValores faltantesRepaso: resultados de la encuesta

12Desafíos finales

Informe de ventas Lecturas de sensores Dígitos de un vistazo Explorador de pingüinos

Practica por tu cuenta: Compilador de Python online