Data Cleaning - Missing data

通常、CSVファイルには欠損データ、誤ったカラム名、重複、誤った値、および誤ったデータ型が含まれています。Pandasモジュールには、これらの問題を処理するためのすべてのツールが備わっています。

欠損データ

値が欠損しているかどうかを確認するには：

df.isna()

各カラムにいくつ欠損値があるかを知るには：

df.isna().sum()

isna() 関数はすべての値を true または false（欠損しているかどうか）に変換し、その後適用されます。sum() は true を 1、false を 0 として扱います。

カラムとその欠損値の数を反復処理するには、辞書と同じように items() メソッドを使用します（ただし、これは Pandas の Series オブジェクトです）：

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

データフレーム全体のすべての欠損値を埋めるには、fillna() メソッドを使用します：

df = df.fillna("some value")

特定のカラムのみの欠損値を埋めるには、そのカラムに対して fillna() 関数を使用します：

df["some_column"] = df["some_column"].fillna("some value")

欠損値のあるすべての行を削除するオプションもあります：

df = df.dropna()