Kiểm định t hỏi xem một hiệu số có lớn hơn mức nhiễu hay không
Mọi kiểm định t đều có cùng một khung. Có một hiệu số bạn quan tâm: trung bình mẫu so với một giá trị được khẳng định, hai trung bình nhóm so với nhau, hoặc mức thay đổi trung bình qua các cặp. Có một sai số chuẩn: hiệu số đó sẽ dao động bao nhiêu từ mẫu này sang mẫu khác, ước lượng từ độ phân tán của dữ liệu. Thống kê t là cái thứ nhất chia cho cái thứ hai, nên t = 3 nghĩa là hiệu số rộng ba sai số chuẩn, và đường cong t với đúng bậc tự do sẽ đổi con số đó thành p-value.
Ba loại kiểm định chỉ khác nhau ở hiệu số và sai số chuẩn là gì. Một mẫu: trung bình trừ giá trị giả thuyết, chia cho s trên căn n. Mẫu cặp: cùng phép tính đó áp dụng cho danh sách các hiệu số, mỗi cặp một hiệu, vì vậy ghép cặp rất mạnh khi mỗi cặp có chung nhiều nhiễu. Hai mẫu: khoảng cách giữa hai trung bình chia cho một sai số chuẩn dựng từ cả hai độ phân tán. Với hai mẫu, trang mặc định dùng phiên bản Welch, vốn không giả định hai nhóm có cùng phương sai và là mặc định của mọi phần mềm thống kê hiện đại; phiên bản Student gộp chỉ cách một nút chuyển, dành cho khi khóa học yêu cầu.
Trang giữ chính xác những gì có thể giữ chính xác. Trung bình 26 được in là 26 và phương sai 32/3 được in là 32/3, không phải 10.67; sai số chuẩn được hiển thị dưới dạng căn thức, vì đó là một căn bậc hai; thống kê t là số thập phân đầu tiên, vì chia cho một căn thì không còn gì hữu tỷ để giữ. Bên dưới, mọi bước đều được liệt kê để bạn đối chiếu bảng tóm tắt mẫu với bài làm của mình.
Điều cần biết về kiểm định t
Bậc tự do là n trừ 1 với một mẫu và với dữ liệu cặp, và n1 cộng n2 trừ 2 với kiểm định hai mẫu gộp. Bậc tự do Welch là một phân số tính từ hai phương sai, và thường không phải số nguyên.
Ghép cặp loại bỏ nhiễu chung. Các phép đo trước và sau trên cùng một nhóm người phải dùng kiểm định mẫu cặp, không bao giờ dùng kiểm định hai mẫu; kiểm định hai mẫu vứt bỏ việc ghép cặp và thường không tìm ra gì.
Welch là lựa chọn mặc định an toàn. Khi hai phương sai thực sự bằng nhau, hai phiên bản cho kết quả giống nhau; khi không bằng nhau, chỉ Welch giữ được tỷ lệ sai lầm đã cam kết.
Khoảng tin cậy nói được điều mà p-value không nói được: hiệu số có khả năng lớn đến đâu. Một t có ý nghĩa với khoảng tin cậy từ 0.1 đến 0.3 là hiệu ứng nhỏ; cùng t đó với khoảng từ 2 đến 6 là hiệu ứng lớn.
Cohen's d là hiệu số tính theo đơn vị độ lệch chuẩn, nên có thể so sánh giữa các nghiên cứu dùng thang đo khác nhau. Khoảng 0.2 là nhỏ, 0.5 là trung bình, 0.8 là lớn.
Cách thực hiện kiểm định t
1
Chọn loại kiểm định
Một mẫu so với một trung bình được khẳng định; hai mẫu độc lập so với nhau; mẫu cặp khi mỗi giá trị trong danh sách này có một giá trị tương ứng trong danh sách kia.
2
Dán dữ liệu
Dấu phẩy, dấu cách hay xuống dòng đều được. Với kiểm định mẫu cặp, hai danh sách phải dài bằng nhau và theo cùng thứ tự.
3
Đặt giả thuyết và mức ý nghĩa
Hai đuôi cho câu hỏi "có khác nhau không", một đuôi cho một hướng đã được xác định từ trước. Alpha bằng 0.05 là quy ước thường dùng.
4
Đọc bảng tóm tắt trước
Kiểm tra xem trung bình và phương sai có đúng như bạn dự đoán không. Phần lớn kiểm định t sai là vì một giá trị bị nhập nhầm vào danh sách kia.
5
Sau đó đọc t, p và khoảng tin cậy
Kết luận cho biết hiệu số có vượt qua ngưỡng hay không; khoảng tin cậy cho biết nó có thể lớn đến đâu. Hãy báo cáo cả hai.
Ba loại kiểm định t
Mỗi loại chia cái gì cho cái gì.
Kiểm định
Hiệu số
Sai số chuẩn
Bậc tự do
Một mẫu
x̄ − μ₀
s / √n
n − 1
Mẫu cặp
trung bình các hiệu số d̄
s_d / √n
n − 1
Hai mẫu, gộp
x̄₁ − x̄₂
√(s²_p (1/n₁ + 1/n₂))
n₁ + n₂ − 2
Hai mẫu, Welch
x̄₁ − x̄₂
√(s₁²/n₁ + s₂²/n₂)
tính từ hai phương sai, thường không nguyên
Ví dụ có lời giải
Một mẫu so với trung bình được khẳng định là 24
plain
20, 22, 24, 25, 26, 27, 28, 29, 30, 29 so với μ₀ = 24
Mười giá trị có trung bình 26 và phương sai mẫu 32/3. Sai số chuẩn là căn của 32/30, khoảng 1.033, nên t khoảng 1.94 với 9 bậc tự do và p hai đuôi khoảng 0.085. Không có ý nghĩa ở mức 5%: trung bình 26 nằm trong mức mà một mẫu mười giá trị lấy từ tổng thể có trung bình 24 tạo ra khoảng một lần trong mười hai.
Hai mẫu độc lập
plain
84, 79, 91, 88, 76, 85, 90 so với 78, 81, 74, 80, 77, 83, 79
Nhóm thứ nhất có trung bình khoảng 84.7, nhóm thứ hai khoảng 78.9. Kiểm định Welch cho t khoảng 2.46 với khoảng 9 bậc tự do và p khoảng 0.036; phiên bản gộp cho cùng t với 12 bậc tự do và p khoảng 0.030. Có ý nghĩa theo cả hai cách, và khoảng tin cậy cho hiệu số trải từ khoảng 0.5 đến 11.2.
Mỗi cặp đều tăng từ 2 đến 4 điểm. Các hiệu số có trung bình 19/6, khoảng 3.17, với độ phân tán nhỏ, nên t của mẫu cặp lớn, khoảng 10.3 với 5 bậc tự do, và p khoảng 0.0001. Kiểm định hai mẫu trên cùng các số này sẽ tìm thấy ít hơn nhiều, vì độ chênh giữa người với người lấn át mức thay đổi ở từng người.
Lỗi thường gặp với kiểm định t
Dùng kiểm định hai mẫu cho dữ liệu cặp. Việc ghép cặp chính là thông tin; vứt bỏ nó là cách một thay đổi có thật biến mất vào nhiễu.
Giả định phương sai bằng nhau mà không kiểm tra. Kiểm định gộp chỉ đúng khi độ phân tán khớp nhau; Welch gần như không mất gì khi chúng khớp và cứu được kiểm định khi chúng không khớp.
Dùng công thức tổng thể cho phương sai. Kiểm định t dùng phương sai mẫu, chia cho n trừ 1, và trang này làm đúng như vậy.
Hiểu có ý nghĩa thống kê là độ lớn. Một hiệu số rất nhỏ cũng có ý nghĩa nếu đủ dữ liệu; khoảng tin cậy và Cohen's d mới cho biết nó có quan trọng hay không.
Chọn số đuôi sau khi thấy dấu. Nếu câu hỏi là "có khác nhau không", kiểm định là hai đuôi, kể cả khi kết quả nghiêng về phía bạn muốn.
Kiểm định một chỉ số lệch mạnh chỉ với vài giá trị. Với n dưới khoảng 15 và phân phối có đuôi dài, đường cong t chỉ là hướng dẫn sơ bộ; kiểm định hạng hoặc bootstrap là lựa chọn thay thế đáng tin hơn.
Câu hỏi thường gặp về kiểm định t
Khi nào nên dùng kiểm định t thay vì kiểm định z?
Bất cứ khi nào độ lệch chuẩn được ước lượng từ chính mẫu đó, tức là gần như luôn luôn. Đuôi dày hơn của đường cong t tính đến phần bất định thêm này. Kiểm định z dành cho trường hợp trong sách, khi độ lệch chuẩn của tổng thể đã biết trước, hoặc cho mẫu rất lớn, khi hai đường cong trùng nhau.
Kiểm định t mẫu cặp và không ghép cặp khác nhau thế nào?
Kiểm định mẫu cặp dùng các hiệu số trong từng cặp tương ứng, chẳng hạn cùng một người được đo hai lần, nên phần nhiễu chung của mỗi cặp triệt tiêu nhau. Kiểm định không ghép cặp (hai mẫu) so sánh hai nhóm riêng biệt. Dùng mẫu cặp khi mỗi giá trị trong danh sách này có một giá trị tương ứng tự nhiên trong danh sách kia; nếu không thì dùng hai mẫu.
Nên dùng kiểm định t của Welch hay của Student?
Welch, trừ khi khóa học hoặc tạp chí yêu cầu khác. Kiểm định gộp của Student giả định hai nhóm có cùng phương sai và cho tỷ lệ sai lầm sai khi giả định đó không đúng; Welch bỏ giả định này và cho kết quả giống Student khi giả định đúng. Trang này mặc định dùng Welch và có nút chuyển sang kiểm định gộp.
Đọc bậc tự do của kiểm định Welch thế nào?
Bậc tự do Welch được tính theo một công thức từ hai phương sai mẫu và hai cỡ mẫu, và thường không phải số nguyên, chẳng hạn 9.87. Điều đó bình thường; đường cong t được định nghĩa với mọi df dương. Khi hai phương sai và hai cỡ mẫu bằng nhau, nó rút về n1 cộng n2 trừ 2.
Khoảng tin cậy cho hiệu số có nghĩa là gì?
Là khoảng giá trị của hiệu số thật mà dữ liệu phù hợp ở mức đã chọn. Nếu khoảng này không chứa 0, kiểm định có ý nghĩa ở mức alpha tương ứng; độ rộng của nó cho biết hiệu số được xác định chính xác đến đâu. Hãy báo cáo nó cạnh p-value.
Cohen's d là gì?
Là hiệu hai trung bình chia cho độ lệch chuẩn, tức một cỡ hiệu ứng tính theo đơn vị độ lệch chuẩn, có thể so sánh giữa các nghiên cứu dùng thang đo khác nhau. Theo quy ước, 0.2 là nhỏ, 0.5 là trung bình và 0.8 là lớn, dù mức nào được coi là đáng kể còn tùy vào lĩnh vực.
Tôi có thể dùng trang này cho A/B test không?
Với tỷ lệ chuyển đổi thì không: đó là so sánh hai tỷ lệ, và máy tính A/B test trong các trang công cụ làm việc đó bằng kiểm định z cho hai tỷ lệ. Với một chỉ số liên tục như doanh thu trên mỗi người dùng hay thời gian ở lại trang thì có, nếu bạn có giá trị của từng người dùng để dán vào; kiểm định Welch hai mẫu là lựa chọn đúng.