מה זה מסד נתונים (Database)?

כשנכנסים לאתר, האתר צריך למצוא את החשבון שלכם מבין מיליוני חשבונות אחרים, לבדוק את הסיסמה ולטעון את ההגדרות שלכם, והכול תוך כמה אלפיות שנייה. הוא לא פותח קובץ טקסט וקורא אותו שורה אחרי שורה. הוא שולח בקשה כמו SELECT * FROM users WHERE email = 'ana@example.com' למסד נתונים, ומסד הנתונים קופץ ישר לשורה הנכונה בעזרת אינדקס, בדומה למפתח שבסוף ספר.

איך מסד נתונים עובד

שני חלקים עובדים יחד. מסד הנתונים הוא הנתונים, מאורגנים במבנה קבוע. המערכת לניהול מסדי נתונים (DBMS) היא התוכנית ששומרת את הנתונים בקבצים, שומרת על העקביות שלהם ועונה לבקשות. PostgreSQL, MySQL ו-SQLite הן מערכות DBMS; רשימת הלקוחות שלכם היא מסד הנתונים.

במסד נתונים רלציוני, הנתונים נמצאים בטבלאות. לכל טבלה יש עמודות (שם, מדינה, נקודות) ושורות (אחת לכל משתמש). בקשה עוברת את השלבים האלה:

1. התוכנית שלכם שולחת שאילתה, בדרך כלל כתובה ב-SQL (Structured Query Language).
2. ה-DBMS מנתח את השאילתה ומתכנן איך לענות עליה: אילו טבלאות לקרוא והאם אינדקס יכול לדלג על רוב השורות.
3. הוא קורא את הנתונים מהדיסק בדפים בגודל קבוע (4,096 בייטים כברירת מחדל ב-SQLite, 8 KB ב-PostgreSQL), ומחזיק בזיכרון דפים שמשתמשים בהם לעתים קרובות.
4. הוא מסנן, ממיין ומשלב שורות, ואז מחזיר את התוצאה.

Python מגיעה עם SQLite, כך שאפשר להריץ כאן מסד נתונים אמיתי:

import sqlite3

db = sqlite3.connect(":memory:")   # a database that lives in RAM
db.execute("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT, country TEXT, points INTEGER)")

rows = [("Ana", "BR", 120), ("Kenji", "JP", 340), ("Lea", "DE", 90), ("Omar", "EG", 340)]
db.executemany("INSERT INTO users (name, country, points) VALUES (?, ?, ?)", rows)

# Ask a question in SQL: who has more than 100 points, highest first?
query = "SELECT name, points FROM users WHERE points > 100 ORDER BY points DESC, name"
for name, points in db.execute(query):
    print(name, points)

total = db.execute("SELECT COUNT(*), AVG(points) FROM users").fetchone()
print("users:", total[0], "average points:", total[1])

Kenji 340
Omar 340
Ana 120
users: 4 average points: 222.5

התוכנית אף פעם לא אומרת איך לחפש. היא מתארת את התוצאה שהיא רוצה, וה-DBMS מחליט איך להשיג אותה. זה ההבדל העיקרי בין לשאול מסד נתונים לבין לכתוב לולאה על רשימה.

סוגי מסדי נתונים

כל מה שאינו רלציוני מקובץ לעתים קרובות תחת השם NoSQL. מסדי נתונים רלציוניים נשארים ברירת המחדל לרוב האפליקציות, כי טבלאות, אילוצים ו-SQL מכסים היטב מגוון רחב של בעיות. מוצרים רבים גם משלבים סוגים: PostgreSQL שומר מסמכי JSON, ו-pgvector מוסיף לו חיפוש וקטורי.

טרנזקציות: הכול או כלום

העברת כסף מאנה לבן דורשת שני שינויים: להוסיף לבן, להוריד מאנה. אם התוכנית קורסת ביניהם, כסף מופיע משום מקום. טרנזקציה מקבצת שינויים כך שכולם נשמרים או שאף אחד מהם לא נשמר. כאן השינוי השני שובר כלל (יתרה לא יכולה לרדת מתחת לאפס), ולכן מסד הנתונים מבטל גם את הראשון:

import sqlite3

db = sqlite3.connect(":memory:")
db.execute("CREATE TABLE accounts (name TEXT PRIMARY KEY, balance INTEGER CHECK (balance >= 0))")
db.executemany("INSERT INTO accounts VALUES (?, ?)", [("ana", 50), ("ben", 0)])
db.commit()

def transfer(amount):
    try:
        with db:  # one transaction: commit on success, roll back on error
            db.execute("UPDATE accounts SET balance = balance + ? WHERE name = 'ben'", (amount,))
            db.execute("UPDATE accounts SET balance = balance - ? WHERE name = 'ana'", (amount,))
        print("transfer", amount, "done")
    except sqlite3.IntegrityError as err:
        print("transfer", amount, "failed:", err)
    print(dict(db.execute("SELECT name, balance FROM accounts")))

transfer(30)
transfer(40)

transfer 30 done
{'ana': 20, 'ben': 30}
transfer 40 failed: CHECK constraint failed: balance >= 0
{'ana': 20, 'ben': 30}

ה-40 של בן נוספו ואז נלקחו בחזרה, כך שהסכומים עדיין מסתדרים. מסדי נתונים רלציוניים מבטיחים לטרנזקציות ארבע תכונות, שנקראות ACID: אטומיות (הכול או כלום), עקביות (כללים כמו CHECK תמיד מתקיימים), בידוד (שני משתמשים שמריצים טרנזקציות בו זמנית לא רואים את העבודה החלקית זה של זה) ועמידות (ברגע ששינוי נשמר, הוא שורד קריסה או הפסקת חשמל).

מסד נתונים מול גיליון אלקטרוני מול קובץ

גיליון אלקטרוני הוא כלי טוב לאדם אחד שמסתכל על כמה אלפי שורות. ברגע שכמה תוכניות או משתמשים כותבים נתונים בו זמנית, או שהנתונים צריכים לציית לכללים, מסד נתונים הוא הכלי הנכון.

איך מסדי נתונים מגינים על הנתונים

DBMS כותב כל שינוי ליומן לפני שהוא נוגע בקובצי הנתונים (write-ahead log), כך שאחרי קריסה הוא יכול להריץ שוב או לבטל עבודה שלא הסתיימה. PostgreSQL יכול לשמור checksum על כל דף של 8 KB ולדווח על כשל checksum כשדיסק כושל מחזיר נתונים פגומים. משתמשים והרשאות קובעים מי רשאי לקרוא או לשנות אילו טבלאות, ושכפול (replication) שומר עותקים על שרתים אחרים. תוכניות חייבות גם להעביר קלט של משתמשים כפרמטרים, כמו מצייני המקום ? שלמעלה, ולעולם לא להדביק אותו לתוך טקסט ה-SQL, כי כך קורות מתקפות SQL injection.

תפיסות שגויות נפוצות

• "SQL הוא מסד נתונים." SQL היא השפה. PostgreSQL, MySQL ו-SQLite הם מסדי נתונים שמבינים אותה.
• "NoSQL פירושו בלי SQL בכלל." בדרך כלל קוראים את המונח כ-"not only SQL", ולכמה מסדי נתונים NoSQL יש שפות שאילתה שנראות כמו SQL, למשל CQL של Cassandra.
• "מסד נתונים הוא תמיד שרת גדול." SQLite הוא קובץ יחיד שתוכנית פותחת ישירות, בלי שום שרת. הוא רץ בתוך כל טלפון Android ו-iOS.
• "נתונים במסד נתונים בטוחים לנצח." מסד נתונים מגן מפני קריסות, לא מפני מישהו שמריץ DELETE בטעות. עדיין צריך גיבויים.

לאן ממשיכים מכאן

קורס SQL מלמד שאילתות מה-SELECT הראשון. התיעוד של SQLite מכסה את הצעדים הבאים: מה זה SQLite, יצירת טבלה, אינדקסים ומניעת SQL injection. כדי לראות איך הנתונים מסודרים בדיסק, קראו מה זה בייט, וchecksum מסביר איך מזהים דפים פגומים.