データベースとは？

Webサイトにログインするとき、サイトは何百万件もの中からあなたのアカウントを見つけ、パスワードを確認し、設定を読み込みます。しかもそれを数ミリ秒で行います。テキストファイルを開いて1行ずつ読んでいるわけではありません。SELECT * FROM users WHERE email = 'ana@example.com' のような要求をデータベースに送り、データベースはインデックスを使って目的の行に直接たどり着きます。本の巻末にある索引とよく似た仕組みです。

データベースの仕組み

2つの要素が協力して動いています。データベースは、決まった構造で整理されたデータです。データベース管理システム（DBMS）は、そのデータをファイルに保存し、一貫性を保ち、要求に答えるプログラムです。PostgreSQL、MySQL、SQLiteはDBMSで、あなたの顧客の一覧がデータベースです。

リレーショナルデータベースでは、データはテーブルに入っています。各テーブルには列（名前、国、ポイント）と行（ユーザー1人につき1行）があります。要求は次のステップを経て処理されます。

1. プログラムがクエリを送ります。ふつうはSQL（Structured Query Language）で書かれています。
2. DBMSはクエリを解析し、どう答えるかの計画を立てます。どのテーブルを読むか、インデックスを使ってほとんどの行を飛ばせるか、といったことです。
3. DBMSは決まった大きさのページ単位でディスクからデータを読みます（SQLiteのデフォルトは4,096バイト、PostgreSQLは8 KB）。よく使うページはメモリに置いておきます。
4. 行を絞り込み、並べ替え、組み合わせてから、結果を返します。

PythonにはSQLiteが付属しているので、ここで本物のデータベースを動かせます。

import sqlite3

db = sqlite3.connect(":memory:")   # a database that lives in RAM
db.execute("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT, country TEXT, points INTEGER)")

rows = [("Ana", "BR", 120), ("Kenji", "JP", 340), ("Lea", "DE", 90), ("Omar", "EG", 340)]
db.executemany("INSERT INTO users (name, country, points) VALUES (?, ?, ?)", rows)

# Ask a question in SQL: who has more than 100 points, highest first?
query = "SELECT name, points FROM users WHERE points > 100 ORDER BY points DESC, name"
for name, points in db.execute(query):
    print(name, points)

total = db.execute("SELECT COUNT(*), AVG(points) FROM users").fetchone()
print("users:", total[0], "average points:", total[1])

Kenji 340
Omar 340
Ana 120
users: 4 average points: 222.5

プログラムは、どう検索するかを一度も指示していません。ほしい結果を記述するだけで、それをどう手に入れるかはDBMSが決めます。これが、データベースに問い合わせることと、リストに対してループを書くことの大きな違いです。

データベースの種類

リレーショナルでないものは、よくNoSQLとまとめて呼ばれます。テーブル、制約、SQLで幅広い問題をうまく扱えるので、ほとんどのアプリケーションでは今でもリレーショナルデータベースが標準の選択肢です。複数の種類を組み合わせた製品も多く、PostgreSQLはJSONドキュメントを保存でき、pgvectorはそこにベクトル検索を追加します。

トランザクション: すべてか、無か

アナからベンにお金を移すには、2つの変更が必要です。ベンに足し、アナから引くことです。その間でプログラムがクラッシュすると、お金がどこからともなく現れてしまいます。トランザクションは変更をひとまとめにし、すべてが保存されるか、1つも保存されないかのどちらかにします。次の例では、2つ目の変更がルール（残高はゼロ未満になってはいけない）に違反するので、データベースは1つ目の変更も取り消します。

import sqlite3

db = sqlite3.connect(":memory:")
db.execute("CREATE TABLE accounts (name TEXT PRIMARY KEY, balance INTEGER CHECK (balance >= 0))")
db.executemany("INSERT INTO accounts VALUES (?, ?)", [("ana", 50), ("ben", 0)])
db.commit()

def transfer(amount):
    try:
        with db:  # one transaction: commit on success, roll back on error
            db.execute("UPDATE accounts SET balance = balance + ? WHERE name = 'ben'", (amount,))
            db.execute("UPDATE accounts SET balance = balance - ? WHERE name = 'ana'", (amount,))
        print("transfer", amount, "done")
    except sqlite3.IntegrityError as err:
        print("transfer", amount, "failed:", err)
    print(dict(db.execute("SELECT name, balance FROM accounts")))

transfer(30)
transfer(40)

transfer 30 done
{'ana': 20, 'ben': 30}
transfer 40 failed: CHECK constraint failed: balance >= 0
{'ana': 20, 'ben': 30}

ベンの40は一度足されてから取り消されたので、合計はちゃんと合っています。リレーショナルデータベースは、トランザクションについてACIDと呼ばれる4つの性質を約束しています。原子性（すべてか無か）、一貫性（CHECK のようなルールが常に守られる）、独立性（同時にトランザクションを実行する2人のユーザーが、互いの途中の作業を見ない）、永続性（一度保存された変更は、クラッシュや停電があっても残る）です。

データベースとスプレッドシートとファイルの違い

スプレッドシートは、1人が数千行を眺めるには良い道具です。複数のプログラムやユーザーが同時にデータを書き込むようになったり、データがルールに従う必要が出てきたりしたら、データベースが適切な道具です。

データベースはどのようにデータを守るのか

DBMSは、データファイルに手を加える前に、各変更をログに書き込みます（ログ先行書き込み、WAL）。そのため、クラッシュした後でも、終わっていなかった作業をやり直したり取り消したりできます。PostgreSQLは8 KBのページごとにチェックサムを保存でき、故障しかけたディスクが壊れたデータを返すと、チェックサムの失敗として報告します。ユーザーと権限によって、誰がどのテーブルを読んだり変更したりできるかが決まり、レプリケーションは別のサーバーにコピーを保ちます。また、プログラムはユーザーの入力を、上の例の ? のプレースホルダのようにパラメータとして渡さなければなりません。SQLの文字列に貼り付けてはいけません。そうするとSQLインジェクション攻撃が起きてしまいます。

よくある誤解

• 「SQLはデータベースだ」 SQLは言語です。PostgreSQL、MySQL、SQLiteは、その言語を理解するデータベースです。
• 「NoSQLはSQLをまったく使わないという意味だ」 この言葉はふつう「not only SQL」と読まれていて、CassandraのCQLのように、SQLによく似た問い合わせ言語を持つNoSQLデータベースもいくつもあります。
• 「データベースは必ず大きなサーバーだ」 SQLiteは、プログラムが直接開く1つのファイルで、サーバーはまったくありません。AndroidやiOSのすべてのスマートフォンの中で動いています。
• 「データベースに入れたデータは永遠に安全だ」 データベースが守ってくれるのはクラッシュからであって、誰かがうっかり DELETE を実行することからではありません。バックアップはやはり必要です。

次に読むページ

SQLコースでは、最初の SELECT からクエリを学べます。次のステップはSQLiteのドキュメントで学べます。SQLiteとは、テーブルの作成、インデックス、SQLインジェクションの防ぎ方です。データがディスク上でどう並んでいるかを知るにはバイトとは何かを読んでください。壊れたページがどのように検出されるかはチェックサムで説明しています。