Очистка данных — дополнительные инструменты
Урок 7 из 19 курса Аналитика в pandas на Coddy.
Удаление дубликатов
Дублирующиеся строки абсолютно идентичны. Если есть хотя бы одно различие, строка не будет считаться дубликатом.
df = df.drop_duplicates()Переименование столбцов
Обычно мы хотим придерживаться единого соглашения для имен столбцов. Для этого мы можем переименовать столбцы вручную:
df = df.rename(columns={"old_name": "new_name"})Изменение типов данных
df["column name"] = df["column name"].astype(bool)
df["column name"] = df["column name"].astype(int)
Задание
ЛегкоCSV-файл missing.csv содержит «грязные» данные.
Вот первые 5 строк файла:
ID,COUNTRY,COLOR,SKILL,SKILL_POINTS,UTILIZATION,IS_VALID
1,France,Signal violet,marksmanship,14,0.1924,1
1,France,Signal violet,marksmanship,14,0.1924,1
2,Solomon Islands,Pearl violet,,4,,1
3,Germany,,calligraphy,12,0.88646,0Очистите данные:
- Удалите дубликаты строк.
- Переименуйте все столбцы, приведя их названия к нижнему регистру.
- Столбцы с единицами и нулями (изучите датафрейм, чтобы найти нужные столбцы) преобразуйте в логический тип (Boolean).
Для итерации по всем столбцам вы можете использовать свойство .columns:
for column in columns:
# ваш код здесьЧтобы отслеживать свой прогресс, выведите df на печать: print(df)
Сохраните итоговый результат в переменной df.
Не выводите df на печать в финальном решении, чтобы пройти тесты!
Попробуйте сами
# pandas as pd уже импортирован
df = pd.read_csv("./missing.csv")
# Напишите свой код ниже
Все уроки раздела Аналитика в pandas
4Анализ данных с Pandas
Описательная статистикаГруппировка и агрегация данныхРазличные агрегацииMerge и Concat2Работа с DataFrame
Знакомство с DataFrameДоступ к даннымОчистка данных — пропущенные значенияОчистка данных — дополнительные инструменты3Манипуляции с данными в Pandas
Возврат нужного результатаФильтрация данныхДобавление и удалениеИзменение данныхИзменение строкПользовательские изменения