Làm sạch dữ liệu: Các công cụ khác
Bài học 7 trên 19 trong khóa học Phân tích dữ liệu với pandas của Coddy.
Xóa các giá trị trùng lặp
Các hàng trùng lặp giống hệt nhau. Nếu có dù chỉ một điểm khác biệt, hàng đó sẽ không được xem là trùng lặp.
df = df.drop_duplicates()Đổi tên cột
Thông thường, chúng ta muốn dùng một quy ước thống nhất cho tên cột. Để làm vậy, bạn có thể đổi tên cột theo cách thủ công:
df = df.rename(columns={"old_name": "new_name"})Thay đổi kiểu dữ liệu
df["column name"] = df["column name"].astype(bool)
df["column name"] = df["column name"].astype(int)
Thử thách
DễTệp CSV missing.csv có dữ liệu lộn xộn.
Dưới đây là 5 dòng đầu tiên của tệp:
ID,COUNTRY,COLOR,SKILL,SKILL_POINTS,UTILIZATION,IS_VALID
1,France,Signal violet,marksmanship,14,0.1924,1
1,France,Signal violet,marksmanship,14,0.1924,1
2,Solomon Islands,Pearl violet,,4,,1
3,Germany,,calligraphy,12,0.88646,0Làm sạch dữ liệu:
- Xóa các hàng trùng lặp.
- Đổi tên tất cả các cột thành chữ thường.
- Chuyển các cột có giá trị 1 và 0 thành cột Boolean. (Kiểm tra dataframe để tìm đúng các cột.)
Để duyệt qua tất cả các cột, bạn có thể dùng thuộc tính .colunms:
for column in columns:
# your code hereĐể theo dõi tiến độ, hãy in df: print(df)
Lưu kết quả cuối cùng vào biến df.
Đừng in df nếu muốn vượt qua test case!
Tự làm thử
# pandas đã được nhập với tên pd
df = pd.read_csv("./missing.csv")
# Viết code của bạn bên dưới
Tất cả bài học trong Phân tích dữ liệu với pandas
4Phân tích dữ liệu với Pandas
Thống kê mô tảNhóm và tổng hợp dữ liệuCác phép tổng hợp khác nhauHợp nhất và nối2Làm việc với DataFrame
Tìm hiểu về DataFrameTruy cập dữ liệuLàm sạch dữ liệu: Dữ liệu bị thiếuLàm sạch dữ liệu: Các công cụ khácTự luyện tập: Trình biên dịch Python online