Mỗi phiên bản cần bao nhiêu lượt truy cập trước khi bài test kết luận được điều gì, và với lưu lượng của bạn thì mất bao nhiêu ngày. Đặt mức tăng nhỏ nhất đáng phát hiện, độ tin cậy và power, rồi đọc con số cùng công thức bên dưới.
Cập nhật lần cuối
Coddy dạy bạn bằng cách viết code thật ngay trên trình duyệt: bài học tương tác, phản hồi tức thì và AI hỗ trợ khi bạn bị kẹt.
Cỡ mẫu là lời hứa bạn tự đặt ra trước khi bài test bắt đầu: "Mình sẽ xem kết quả khi đủ chừng này người đã thấy nó, không sớm hơn." Thiếu nó, A/B test nào cũng trôi về cùng một kịch bản. Tuần đầu trông đầy hứa hẹn, tuần thứ hai mức tăng co lại, ai đó hỏi đã có ý nghĩa thống kê chưa, và bài test kết thúc đúng ngày thanh kết quả chuyển xanh. Trang này cho bạn con số để ghi vào kế hoạch, để ngày kết thúc là một dữ kiện chứ không phải cảm hứng.
Phép tính là công thức cỡ mẫu chuẩn cho hai tỷ lệ, chính là công thức đứng sau công cụ của Evan Miller và của Optimizely, và nó phụ thuộc vào bốn yếu tố: tỷ lệ gốc, mức tăng bạn muốn phát hiện được, độ tin cậy và power (độ mạnh kiểm định). Power là thứ mọi người hay bỏ qua. Với power 80%, một mức tăng thật đúng bằng mức bạn đặt sẽ được phát hiện tám lần trên mười; một bài test chỉ có nửa cỡ mẫu sẽ có power thấp hơn một nửa rất nhiều, vì vậy bài test thiếu power không phải là "câu trả lời thô hơn" mà thường là chẳng có câu trả lời nào.
Đường cong bên dưới kết quả là phần đáng nhớ nhất. Số lượt truy cập cần thiết tăng theo bình phương của một chia cho mức tăng: muốn thấy mức tăng nhỏ đi một nửa thì bạn cần lưu lượng gấp khoảng bốn lần. Một trang web xác nhận được mức tăng 30% trong hai tuần sẽ cần lâu hơn khoảng chín lần để xác nhận mức tăng 10%. Nếu số ngày tính ra lên tới hàng tháng, công cụ đang khuyên bạn thử một thay đổi lớn hơn, hoặc chuyển lên một chỉ số cao hơn trong phễu mà nhiều người chạm tới hơn, trước khi khuyên bạn chờ.
Dùng tỷ lệ của trang hoặc bước mà bài test sẽ thay đổi, đo trên cùng loại khách truy cập mà bài test sẽ gặp. Đừng dùng tỷ lệ trung bình toàn trang web khi bạn chỉ test một bước trong phễu.
Tự hỏi mức tăng nào sẽ khiến bạn triển khai thay đổi. Đó là hiệu ứng tối thiểu có thể phát hiện. Mức tương đối 10% là lựa chọn phổ biến cho một trang đã ổn định; một bản thiết kế lại có thể đáng đặt 20% hoặc hơn.
Độ tin cậy 95% và power 80% là quy ước chung. Tăng độ tin cậy khi phiên bản thắng giả gây tốn kém lúc phải hoàn tác; tăng power khi bỏ lỡ phiên bản thắng thật là cái giá đắt.
Tính chung cho mọi phiên bản, và chỉ đếm những khách sẽ đi tới bài test. Kết quả được đổi ra số ngày và số tuần trọn vẹn.
Công cụ cho bạn cỡ mẫu của mỗi phiên bản. Ghi nó vào kế hoạch test cùng ngày kết thúc tương ứng, và đừng đọc kết quả trước ngày đó. Tab mô phỏng peeking sẽ cho bạn thấy lý do.
Số lượt truy cập cho mỗi phiên bản ở độ tin cậy 95% và power 80%, kiểm định hai phía. Nhân đôi cho một bài test hai nhánh.
| Tỷ lệ gốc | Tăng 5% | Tăng 10% | Tăng 20% | Tăng 50% |
|---|---|---|---|---|
| 1% | khoảng 637.000 | khoảng 163.000 | khoảng 42.700 | khoảng 7.800 |
| 3% | khoảng 208.000 | khoảng 53.200 | khoảng 13.900 | khoảng 2.500 |
| 5% | khoảng 122.000 | khoảng 31.200 | khoảng 8.200 | khoảng 1.500 |
| 10% | khoảng 57.800 | khoảng 14.800 | khoảng 3.800 | khoảng 690 |
| 20% | khoảng 25.600 | khoảng 6.500 | khoảng 1.700 | khoảng 290 |
Tỷ lệ gốc 5%, hiệu ứng tối thiểu có thể phát hiện 10% (mục tiêu 5,5%), độ tin cậy 95%, power 80%, kiểm định hai phía. Kết quả: khoảng 31.000 lượt truy cập mỗi phiên bản, tổng cộng 62.000.
Với 1.000 lượt truy cập mỗi ngày, con số đó là 62 ngày, tức chín tuần trọn. Nhiều nhóm sẽ cho là quá lâu và hoặc thử một thay đổi táo bạo hơn, hoặc chấp nhận rằng trang này cần mức tăng từ 20% trở lên mới test được trong hai tuần.
Tỷ lệ gốc 3%, hiệu ứng tối thiểu có thể phát hiện 20% (mục tiêu 3,6%). Kết quả: khoảng 13.900 lượt truy cập mỗi phiên bản.
Tỷ lệ gốc càng thấp thì càng cần nhiều lượt truy cập cho cùng một mức tăng tương đối, vì có ít lượt chuyển đổi hơn để đếm. Mức tăng tương đối 20% ở đây chỉ là 0,6 điểm phần trăm, và bài test phải phân biệt được 3,0% với 3,6%.
Tỷ lệ gốc 5%, mức tăng 10%, bốn phiên bản tính cả nhóm đối chứng. Alpha cho mỗi phép so sánh trở thành 0,05 / 3, và cỡ mẫu mỗi phiên bản tăng khoảng một phần ba; tổng cỡ mẫu bằng bốn lần con số của mỗi phiên bản.
Thêm phiên bản là cách nhanh nhất để biến bài test hai tuần thành hai tháng. Hãy test một ý tưởng mạnh với nhóm đối chứng, rồi chạy ý tưởng tiếp theo sau đó.
Cho đến khi mỗi phiên bản đạt cỡ mẫu ứng với mức tăng bạn muốn phát hiện, và ít nhất một tuần trọn vẹn, tốt nhất là hai. Nhập số lượt truy cập mỗi ngày ở trên, công cụ sẽ đổi cỡ mẫu ra số ngày và số tuần trọn. Chạy lâu hơn cần thiết chỉ hơi lãng phí; dừng sớm vì kết quả trông đẹp mới là cách mà hầu hết phiên bản thắng giả được công bố.
Là mức tăng nhỏ nhất mà bài test được thiết kế để phát hiện một cách đáng tin cậy, được chọn trước khi test. Nó thường được biểu diễn dưới dạng thay đổi tương đối, nên MDE 10% trên tỷ lệ gốc 4% nghĩa là bài test phân biệt được 4,0% với 4,4%. MDE càng nhỏ thì càng cần nhiều lượt truy cập hơn hẳn: giảm MDE một nửa thì cỡ mẫu tăng khoảng bốn lần.
Nghĩa là nếu mức tăng thật đúng bằng mức bạn đặt, một bài test với cỡ mẫu này sẽ cho kết quả có ý nghĩa thống kê trong 80% số lần. 20% còn lại, nó bỏ lỡ một phiên bản thắng thật. Power là hình ảnh phản chiếu của độ tin cậy: độ tin cậy hạn chế báo động giả, còn power hạn chế việc bỏ lỡ phiên bản thắng.
Vì bài test đếm lượt chuyển đổi, không phải lượt truy cập. Ở tỷ lệ 1%, 10.000 lượt truy cập cho bạn 100 sự kiện để so sánh; ở 10%, chúng cho bạn 1.000. Cùng một mức tăng tương đối dễ thấy hơn nhiều trong trường hợp thứ hai. Đó là lý do test trên một chỉ số cao hơn trong phễu, nơi nhiều khách chạm tới hơn, thường là cách duy nhất để một trang web nhỏ có thể test được.
Có, và công cụ tính cỡ mẫu đúng cho trường hợp đó, nhưng mỗi phiên bản thêm vào là thêm một phép so sánh với nhóm đối chứng, và độ tin cậy phải chia sẻ giữa chúng. Bốn phiên bản ở mức 95% mà không hiệu chỉnh thì có 14% khả năng xuất hiện ít nhất một phiên bản thắng giả. Công cụ chia alpha cho các phép so sánh, vì vậy con số của mỗi phiên bản tăng lên.
