קבוצות אימון ובדיקה

חלק מהיחידה למידה מונחית במסלול ה-Machine Learning של Coddy. שיעור 2 מתוך 58.

מודל יכול לשנן את השורות שלמד, ולכן בדיקה שלו עליהן לא מוכיחה דבר. במקום זאת, מסתירים כמה שורות: קבוצת הבדיקה מייצגת נתונים חדשים.

שתים־עשרה שורות ממוספרות לפי הסדר מעורבבות ומחולקות: תשעה תאים כחולים, 10 2 8 1 7 9 3 0 5, המסומנים לאימון, ושלושה תאים כתומים, 6 11 4, המסומנים לבדיקה

המודל הראשון במסלול הזה למד 112 פרחי אירוס ושיים 38. השורה הזאת חילקה אותם:

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

iris = load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
print(X_train.shape, X_test.shape)

הפעולה הזו מדפיסה (112, 4) (38, 4). ארבעת החלקים מופיעים תמיד בסדר הזה, ו-random_state=0 גורם לכך שהערבוב יחזור על עצמו.

אמן על קבוצת האימון. פתח את קבוצת הבדיקה פעם אחת, בסוף.

אתגר

קל

מצלמת לילה ביער צילמה 200 בעלי חיים, כל אחד מהם שועל או גירית, בקובץ camera.csv. האם החלוקה תיצור בדיקה הוגנת? קוד הפתיחה יוצר את X ואת y וקורא את test_size.

חלקו באמצעות test_size הזה ועם random_state=0.
הדפיסו את הגדלים כמו בדוגמה שלהלן.
הדפיסו את שיעור השועלים בכל חלק, באחוזים שלמים.

עבור יער אחר ועם 0.25:

Train: 90 snapshots
Test: 30 snapshots
Foxes: 52% of train, 47% of test

נסו בעצמכם

import pandas as pd

# שורה אחת לכל תמונת מצב ממצלמת הלילה
camera = pd.read_csv("camera.csv")
X = camera[["minutes_after_sunset", "length_cm", "speed_kmh"]]
y = camera["animal"]
test_size = float(input())

# כתבו את הקוד שלכם למטה