בדיקת נתונים

חלק מהיחידה נתונים ותרשימים במסלול ה-Machine Learning של Coddy. שיעור 34 מתוך 60.

מערך נתונים חדש ארוך מדי להדפסה. כמה בדיקות מהירות יגלו לך את הגודל שלו, את העמודות שלו ואת הערכים שלו.

טבלה גבוהה של 24 שירים עם העמודות song, seconds ו-plays, המוצגת כרשת; 3 השורות הראשונות שלה מודגשות ומסומנות head(3), וסוגר לאורך הצד מציין 24 שורות

songs = pd.read_csv("songs.csv")
print(songs.head(3))   # 3 השורות הראשונות; head() לבדה מחזירה 5
print(songs.shape)     # (שורות, עמודות)
for name in songs.columns:
    print(name)

זה מדפיס:

         song  seconds  plays
0   Blue Hour      210   5169
1  Paper Moon      176   6689
2        Tide      272   2739
(24, 3)
song
seconds
plays

.describe() מסכמת כל עמודה מספרית ומשמיטה את עמודת הטקסט song. print(songs.describe()) מדפיסה:

          seconds        plays
count   24.000000    24.000000
mean   212.708333  5116.333333
std     42.367419  2189.610898
min    151.000000  1289.000000
25%    175.250000  3626.250000
50%    213.000000  5051.000000
75%    232.250000  6711.500000
max    290.000000  8992.000000

25%, 50% ו-75% הם הערכים שנמצאים ברבע, בחצי ובשלושה רבעים של העמודה הממוינת.

גם הסיכום הוא טבלה: "plays" in songs.describe().columns הוא True, כי in בודק אם שם נמצא שם.

אתגר

בינוני

מודל לומד רק מעמודות מספריות, לכן חברת מוניות בודקת תחילה את יומן הנסיעות שלה. התוכנית טוענת את taxi_trips.csv לתוך trips וקוראת מספר n.

הדפס Trips: ואת מספר השורות.
עבור כל עמודה, לפי הסדר, הדפס את שמה, נקודתיים, ואת numbers אם .describe() מסכם אותה, אחרת text.
הדפס את n השורות הראשונות.

עבור טבלה של 30 השכרות אופניים ו־n = 2:

Trips: 30
bike: text
km: numbers
station: text
   bike    km  station
0  B-12   4.6     Pier
1  B-07  11.2  Central

נסו בעצמכם

import pandas as pd

trips = pd.read_csv("taxi_trips.csv")
n = int(input())

# כתבו את הקוד שלכם למטה

בחנו את עצמכם

השיעור הזה כולל חידון קצר. התחילו את השיעור כדי לענות עליו ולעקוב אחרי ההתקדמות.

כל השיעורים ביחידה נתונים ותרשימים

1מבוא

שלום, למידת מכונה מהו מודל?ייבוא ספריות התרשים הראשון שלך

4עיצוב נתונים

שינוי מבנה של מערכים חיבור מערכים מספרים אקראיים חזרה: סימולציית קוביות

7DataFrames של pandas

Series DataFrames קריאת קובצי CSVבדיקת נתוניםבחירת עמודות סיכום: דירוגי סרטים

10הצגת נתונים של DataFrame בגרפים

הצגת DataFrame בגרף תרשים פיזור מעמודות צבע אחד לכל קבוצה היסטוגרמה של עמודה סיכום: מכירות בית הקפה

2מערכי NumPy

יצירת מערכים צורה וגודל טווחי מספרים אינדוקס וחיתוך סיכום: רשת טמפרטורות

5תרשימי קווים ופיזור

תוויות וכותרות תרשימי פיזור כמה קווים ומקרא צבעים וסמנים איורים וצירים סיכום: צעדים שבועיים

8סינון ומיון

בחירת שורות סינון שורות מיון ערכים עמודות חדשות סיכום: המוצרים המובילים

11מערכי נתונים ללמידת מכונה (ML)

מערכי נתונים מובנים תכונות ותוויות חקירה לפי מחלקה הצגת המחלקות בגרף סיכום: מערך הנתונים Wine

3חישובים מתמטיים על מערכים

חישובים מתמטיים על מערכים שלמים סטטיסטיקות מסכמות סטטיסטיקה לפי ציר שידור (Broadcasting)מסכות בוליאניות סיכום: ציוני מבחנים

6תרשימים לנתונים

תרשימי עמודות היסטוגרמות כמה תרשימים בתרשים אחד תמונות כמערכים סיכום: דוח משקעים

9קיבוץ וניקוי

ספירת ערכים קיבוץ נתונים כמה סיכומים ערכים חסרים סיכום: תוצאות הסקר

12אתגרים אחרונים

דוח מכירות קריאות חיישנים הספרות במבט חטוף חוקר הפינגווינים

תרגלו בעצמכם: קומפיילר Python אונליין