Очистка данных — пропущенные значения

Обычно CSV-файлы содержат пропущенные данные, неверные имена столбцов, дубликаты, некорректные значения и неверные типы данных. Модуль Pandas обладает всеми инструментами для решения этих проблем.

Пропущенные данные

Чтобы узнать, является ли значение пропущенным или нет:

df.isna()

Чтобы узнать, сколько пропущенных значений в каждом столбце:

df.isna().sum()

Функция isna() преобразует все значения в true или false (пропущено или нет), затем применяется метод. sum() будет рассматривать true как 1, а false как 0.

Чтобы перебрать столбцы и количество пропущенных в них значений, используйте метод items() так же, как в словаре (хотя это объект Pandas series):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Чтобы заполнить все эти пропущенные значения для всего датафрейма, используйте метод fillna():

df = df.fillna("some value")

Чтобы заполнить пропущенные значения только для одного столбца, используйте функцию fillna() для этого столбца:

df["some_column"] = df["some_column"].fillna("some value")

Также есть возможность удалить все строки с пропущенными значениями:

df = df.dropna()