p値計算ツール

p値は面積であり、このページはそれを描く

p値が答えるのは、狭い問いひとつです: 帰無仮説が正しいとして、少なくともこれほど極端な統計量はどのくらいの頻度で現れるか? その「どのくらいの頻度」は曲線の下の面積で、曲線は統計量によって決まります。zスコアは標準正規曲線の上に、t統計量はその自由度に応じた裾の厚いt曲線の上に、カイ二乗統計量はゼロから始まり右側の裾しかない曲線の上にあります。多くの計算ツールは数字だけを返しますが、このページはその数字が表す面積を塗ります。目に見えるp値は、説明できるp値だからです。

片側か両側かの選択は、学生が点を落とす部分です。両側検定は統計量がどちらの方向にも極端かどうかを問うので、面積は両側で取り、対称性により2倍になります。片側検定は一方向だけを問います。カイ二乗検定は常に右側です。大きな統計量は当てはまりが悪いことを意味し、小さな統計量はどちらの方向であれ当てはまりが良いことを意味するからです。データを見る前に実際に書き出した仮説に合わせて、片側・両側を設定してください。

p値の横に、0.10、0.05、0.01、0.001での臨界値を並べています。統計量を表の値と比べるという昔ながらの方法でも判定できるようにするためです。2つの方法は必ず一致します: pがアルファを下回るのは、統計量が臨界値を超えるときと厳密に同じです。両方を同時に見ることで、その同値性が明らかになります。遠い裾は1から丸めた数を引くのではなく直接計算するので、1億分の1のp値はゼロに潰れずに、そのままの値で表示されます。

p値について知っておくこと

• p値は帰無仮説が正しい確率でも、結果がまぐれである確率でもありません。帰無仮説を仮定して計算した、これほど極端なデータが出る確率です。
• 有意性は事前に選んだ閾値です。同じp = 0.03が、0.05では有意で0.01では有意ではありません。数字が変わったのではなく、基準が変わったのです。
• 両側は2倍のコストがかかります。z = 1.96は両側でp = 0.05、片側でp = 0.025です。結果の符号を見てから片側を選ぶのは不正です。
• t曲線は正規曲線より裾が厚いので、自由度が小さいと同じ統計量でもpは大きくなります。df = 30で2つは近くなり、df = 1000では小数2桁まで同じです。
• カイ二乗のp値は常に右側の裾です。両側のカイ二乗適合度検定というものは存在しません。

検定統計量からp値を求める方法

1. 1

   統計量を特定する

   zスコアは正規モデルや大標本の比率検定から得られます。t統計量は平均のt検定から得られ、自由度を伴います。カイ二乗統計量は分割表や適合度検定から得られ、こちらも自由度を伴います。

2. 2

   仮説から片側・両側を決める

   「異なる」なら両側。「より大きい」なら右側、「より小さい」なら左側。カイ二乗は性質上、右側です。

3. 3

   統計量より外側の面積を求める

   適切な曲線の上でのその面積がp値です。両側検定では、絶対値より外側の面積を片側で取って2倍にします。

4. 4

   アルファ、または臨界値と比べる

   pがアルファを下回れば有意。同じことですが、統計量がそのアルファでの臨界値を超えれば有意。両方を表示し、両者が食い違うことはありません。

臨界値早見表

両側検定(カイ二乗は右側)で有意になるために統計量が達しなければならない値。

計算例

z = 1.96

t = 2.5, df = 12

χ² = 7.8, df = 3

p値のミス

• p値を帰無仮説が正しい確率と読むこと。それは帰無仮説のもとでのデータの確率であり、条件が逆です。
• 結果を見てから片側・両側を選ぶこと。仮説が「異なる」と言っていたなら、結果が期待どおりの方向に出ても検定は両側です。
• 小標本のt統計量に正規曲線を使うこと。自由度が約30を下回ると差が効いてきて、本当のpは常に大きくなります。
• p = 0.049とp = 0.051を別世界のように扱うこと。同じ証拠であり、閾値だけが両者を隔てています。
• p = 0.000と報告すること。p値がゼロになることはありません。p < 0.001か、このページが表示する実際の小さな数を報告してください。
• 自由度を忘れること。自由度のないtやカイ二乗の統計量には、p値がそもそも存在しません。

p値のよくある質問