יותר מדי תכונות

חלק מהיחידה למידה בלתי מונחית במסלול ה-Machine Learning של Coddy. שיעור 24 מתוך 51.

הפרק הזה דוחס תכונות רבות לתוך כמה שורות. בסופו, 13 מדידות של יין הופכות למפה אחת:

178 יינות על מפה אחת עם שתי תכונות חדשות בציר האופקי והאנכי: שלוש קבוצות, זן 1 מימין, זן 2 למטה במרכז, זן 3 משמאל

למה לצמצם? קשה לשרטט מאפיינים רבים, ההתאמה שלהם איטית, ולעיתים קרובות הם חוזרים זה על זה, כמו שני אלה:

סך הפנולים עולה יחד עם הפלבנואידים ב-178 יינות: הנקודות מטפסות יחד מהפינה השמאלית התחתונה לפינה הימנית העליונה, עם r = 0.86

תאומים נושאים רעיון אחד פעמיים. מטריצת המתאם מזהה אותם, עם r קרוב ל־1 או ל־-1:

wine = load_wine(as_frame=True).frame
corr = wine.corr()
print(round(corr.loc["flavanoids", "total_phenols"], 2))

פעולה זו מדפיסה 0.86. שמרו אחד מכל זוג, או מזגו אותם: המיזוג הוא מה שהפרק הזה בונה.

אתגר

בינוני

סדנת סבון מודדת 10 דברים בכל אצווה של סבון, והדוחות מתארכים. מצאו את הזוגות. התוכנית קוראת סף; קוד הפתיחה בונה את corr.

עברו על כל זוג של עמודות שונות פעם אחת.
הדפיסו כל זוג שעבורו הגודל של r הוא לפחות הסף, ללא תלות בסימן, עם r בשתי ספרות אחרי הנקודה העשרונית.
הדפיסו כמה זוגות מצאתם.

עבור סדנה אחרת וסף 0.85:

lye_g and oil_g: 0.91
cure_days and water_left_pct: -0.88
Twin pairs: 2

נסו בעצמכם

import pandas as pd

# סדנה לייצור סבון: 10 מדידות לכל אחת מ-60 אצוות סבון
batches = pd.read_csv("soaps.csv")
limit = float(input())
corr = batches.corr()
cols = corr.columns

# כתבו את הקוד שלכם למטה