Menu

VACUUM ו-Autovacuum ב-PostgreSQL: שורות מתות ו-bloat

VACUUM מסיר את גרסאות השורות המתות ש-UPDATE ו-DELETE משאירים, כדי שאפשר יהיה להשתמש שוב במקום שלהן. Autovacuum מריץ אותו בשבילכם; הדף מראה מתי, איך מכווננים אותו, ומתי VACUUM FULL שווה את הנעילה שלו.

בדף הזה יש עורכים שאפשר להריץ. לערוך, להריץ ולראות את הפלט מיד.

VACUUM מסיר גרסאות שורה מתות, העותקים הישנים ש-UPDATE ו-DELETE משאירים בטבלה, ומסמן את המקום שלהן כפנוי לשורות חדשות. VACUUM ANALYZE גם מרענן את הסטטיסטיקות שה-planner משתמש בהן. VACUUM FULL כותב מחדש את כל הטבלה כדי להחזיר מקום למערכת ההפעלה. Autovacuum, שפועל כברירת מחדל, מריץ בשבילכם VACUUM ו-ANALYZE ברקע.

אחרי ה-DELETE, בטבלה יש 700 שורות חיות ו-300 מתות; אחרי VACUUM, ‏0 שורות מתות. תצוגות הסטטיסטיקה מתעדכנות באיחור; pg_stat_force_next_flush() ‏(PostgreSQL 15+) גורם להן להתעדכן מיד לצורך ההדגמה.

למה PostgreSQL משאיר שורות מתות

PostgreSQL שומר גרסאות ישנות של שורות כדי שכל טרנזקציה תראה תמונת מצב עקבית (MVCC). UPDATE כותב גרסה חדשה של השורה ומסמן את הישנה כפגת תוקף; DELETE רק מסמן אותה. הגרסה הישנה נשארת עד שאף טרנזקציה שרצה לא יכולה להזדקק לה, ואז VACUUM יכול להסיר אותה. ctid, המיקום הפיזי של שורה, מראה את המעבר:

שורה 1 מתחילה ב-(0,1), דף 0 משבצת 1, ואחרי העדכון היא נמצאת ב-(0,3). משבצת 1 עדיין מחזיקה את הגרסה הישנה עד שמנקים אותה. טבלה שמתעדכנת הרבה ממשיכה לייצר שורות מתות, ולכן autovacuum חוזר אליה שוב ושוב.

VACUUM מול VACUUM FULL

VACUUM רגיל משאיר את הקובץ באותו גודל: המקום הפנוי נשאר בטבלה להכנסות עתידיות. VACUUM FULL כותב עותק חדש וקומפקטי ומוחק את הקובץ הישן.

VACUUMVACUUM FULL
נעילהמאפשר קריאות וכתיבותחוסם כל גישה
מקוםמשמש שוב באותה טבלהמוחזר למערכת ההפעלה
דיסק נוסף נדרשלאמקום לעותק מלא של הטבלה
מתיבאופן שגרתי (autovacuum עושה את זה)לעיתים רחוקות, אחרי מחיקה של רוב טבלה גדולה

אפשרויות נכתבות בסוגריים:

  • VACUUM (VERBOSE, ANALYZE) items; מדפיס מה נעשה ומרענן סטטיסטיקות.
  • VACUUM (PARALLEL 4) ‏(PostgreSQL 13+) מבצע vacuum לאינדקסים עם workers שרצים במקביל.
  • VACUUM (SKIP_LOCKED) מדלג על טבלאות שהוא לא יכול לנעול מיד.

איך autovacuum מחליט מתי לרוץ

Autovacuum בודק כל טבלה בכל autovacuum_naptime. הוא מבצע vacuum לטבלה כשהשורות המתות שלה עוברות את autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor * table rows: עם ברירות המחדל, 50 שורות ועוד 20 אחוז מהטבלה. הוא מנתח את הטבלה כשהשורות שהשתנו מאז הניתוח האחרון עוברות 50 ועוד 10 אחוזים. מאז PostgreSQL 13, גם הכנסות לבדן מפעילות vacuum. ברירות המחדל ב-postgresql.conf:

autovacuum = on
autovacuum_naptime = 1min
autovacuum_max_workers = 3
autovacuum_vacuum_threshold = 50
autovacuum_vacuum_scale_factor = 0.2
autovacuum_vacuum_insert_threshold = 1000
autovacuum_vacuum_insert_scale_factor = 0.2
autovacuum_analyze_threshold = 50
autovacuum_analyze_scale_factor = 0.1

בטבלה עם 100 מיליון שורות, 20 אחוז פירושו 20 מיליון שורות מתות לפני ש-vacuum מתחיל. הורידו את ה-scale factor רק לטבלאות גדולות ועמוסות:

ALTER TABLE events RESET (autovacuum_vacuum_scale_factor); מחזיר את הטבלה להגדרה של כל השרת. פרק ה-vacuum השגרתי מסביר את שאר ההגדרות.

לבדוק מה autovacuum עשה

pg_stat_user_tables מציג שורות מתות ואת ה-vacuum הידני והאוטומטי האחרונים של כל טבלה:

SELECT relname, n_live_tup, n_dead_tup, last_vacuum, last_autovacuum, last_autoanalyze
FROM pg_stat_user_tables
ORDER BY n_dead_tup DESC
LIMIT 10;

אם השורות המתות ממשיכות לגדול למרות ש-autovacuum רץ, חפשו טרנזקציות ישנות שפתוחות, שמונעות ממנו להסיר כל דבר חדש יותר מתמונת המצב שלהן:

SELECT pid, state, xact_start, query
FROM pg_stat_activity
WHERE xact_start < now() - interval '10 minutes'
ORDER BY xact_start;

הקפאה ו-transaction ID wraparound

מזהי טרנזקציה הם מונים של 32 ביט שמתגלגלים חזרה להתחלה. כדי ששורות ישנות יישארו גלויות, vacuum מקפיא אותן ומסמן אותן כישנות יותר מכל טרנזקציה. כשהמזהה הישן ביותר שלא הוקפא בטבלה עובר את autovacuum_freeze_max_age ‏(200 מיליון טרנזקציות כברירת מחדל), ‏autovacuum רץ עליה גם אם autovacuum כבוי.

אם ההקפאה עדיין מפגרת בהרבה, PostgreSQL מפסיק להקצות מזהי טרנזקציה חדשים, וכתיבות נכשלות עד ש-vacuum משלים את הפער. השאילתה הזו מראה כמה כל מסד נתונים קרוב לכך:

SELECT datname, age(datfrozenxid) FROM pg_database ORDER BY 2 DESC;

שאלות נפוצות

האם VACUUM נועל את הטבלה?

VACUUM רגיל לוקח נעילה שעדיין מאפשרת SELECT, ‏INSERT, ‏UPDATE ו-DELETE; היא מתנגשת רק עם שינויי סכמה, בניית אינדקסים, ANALYZE ו-vacuums אחרים. ‏VACUUM FULL לוקח נעילת ACCESS EXCLUSIVE, שחוסמת כל שאילתה על הטבלה עד שהוא מסתיים.

כדאי לכבות את autovacuum?

לא. בלעדיו שורות מתות נערמות, הסטטיסטיקות מתיישנות, ובסוף מסד הנתונים נאלץ להפסיק לקבל כתיבות כדי למנוע transaction ID wraparound. במקום זה, כווננו את הספים שלו לכל טבלה.

למה הטבלה שלי לא קטנה אחרי VACUUM?

VACUUM רגיל מסמן את המקום של שורות מתות כפנוי לשורות חדשות באותה טבלה; הוא מחזיר מקום למערכת ההפעלה רק כשהדפים הריקים נמצאים בסוף הקובץ. ‏VACUUM FULL כותב מחדש את הטבלה ומחזיר את המקום.

למה VACUUM לא מסיר שורות מתות?

אפשר להסיר שורה רק כשאף טרנזקציה שרצה לא עשויה להזדקק לה. טרנזקציה שפתוחה הרבה זמן (לעיתים קרובות session במצב idle שהריץ BEGIN), ‏replication slot ישן או prepared transaction נטושה מעכבים אותן.

איור של שפות התכנות ב-Coddy

ללמוד תכנות עם Coddy

להתחיל