Mô phỏng peeking trong A/B test

Thói quen đắt giá nhất trong A/B test, mô phỏng trên số liệu của bạn

Thói quen là thế này. Bạn bắt đầu một bài test, và sáng nào cũng mở dashboard. Thanh kết quả nhích lên, tụt xuống, rồi lại nhích lên, và vào một ngày thứ Ba nó vượt 95%. Bạn chốt, triển khai phiên bản thắng rồi chuyển sang việc khác. Vấn đề là p-value luôn dao động. Ngay cả khi hai phiên bản giống hệt nhau, p-value vẫn tình cờ xuống dưới 0,05 vào một số ngày, rồi sau đó lại vượt lên. Dừng ở lần vượt ngưỡng đầu tiên nghĩa là bạn bắt đúng lúc nó đi ngang qua, và mức độ tin cậy mà bạn tưởng mình có đã biến mất.

Mức độ ảnh hưởng khiến nhiều người bất ngờ. Ở độ tin cậy 95%, một bài test chỉ đọc một lần lúc kết thúc sẽ đánh lừa bạn khoảng một lần trên hai mươi, đúng như cam kết bạn đã chấp nhận. Đọc cùng bài test đó mỗi ngày trong bốn tuần và dừng ở ngày xanh đầu tiên, trình mô phỏng thường cho thấy phiên bản thắng giả ở một phần tư số bài test trở lên, dù không có gì thay đổi. Bài viết gốc của Evan Miller ước tính con số này trên 20% với người xem mỗi ngày; Optimizely đã xây lại engine thống kê của mình vào năm 2015 vì tỷ lệ dương tính giả của khách hàng họ đã vượt quá mức đó. Xem mỗi tuần thay vì mỗi ngày giảm thiệt hại khoảng một nửa nhưng không loại bỏ được.

Phần mô phỏng ở đây minh bạch về cách nó hoạt động: mỗi bài test sinh lượt chuyển đổi theo đúng tỷ lệ thật cho cả hai nhánh, chạy z-test hai tỷ lệ thông thường ở mỗi lần xem trên toàn bộ dữ liệu thu được đến lúc đó, và ghi lại thời điểm người hay xem sớm sẽ dừng. Mỗi đường trên biểu đồ là một bài test; mỗi chấm là một buổi sáng ai đó lẽ ra đã công bố kết quả. Đặt mức tăng thật là +10% để thấy nửa còn lại của câu chuyện: người hay xem sớm bắt được hiệu ứng thật từ sớm nhưng với mức tăng bị phóng đại, và cũng sẽ "thắng" hăng hái y như vậy nếu hiệu ứng bằng không.

Trình mô phỏng cho thấy điều gì

• P-value là một bước đi ngẫu nhiên. Theo giả thuyết không, ở bất kỳ lần xem nào nó cũng phân phối đều, nghĩa là vào một buổi sáng bất kỳ có 5% khả năng nó nằm dưới 0,05. Qua hai mươi tám buổi sáng, những khả năng đó cộng dồn lại.
• Tỷ lệ dương tính giả phụ thuộc vào số lần bạn xem, không phải thời gian test chạy. Một bài test bốn tuần xem mỗi tuần ít bị đánh lừa hơn một bài test hai tuần xem mỗi ngày.
• Dừng sớm làm phóng đại mức tăng. Khi người hay xem sớm dừng vào một ngày may mắn, mức tăng quan sát được hôm đó theo định nghĩa là lớn bất thường. Những phiên bản thắng "nhạt dần" sau khi ra mắt thường chính là trường hợp này.
• Cách khắc phục là kỷ luật hoặc một loại test khác. Kỷ luật: chốt trước cỡ mẫu và ngày kết thúc, rồi chỉ đọc một lần. Loại test khác: các phương pháp tuần tự, như p-value luôn hợp lệ (always-valid) mà Optimizely, Statsig và Eppo dùng, được xây dựng để đọc liên tục, đổi lại cần cỡ mẫu lớn hơn.
• Dashboard Bayes cũng không miễn nhiễm. Một xác suất là phiên bản tốt nhất mà bạn xem mỗi ngày và hành động khi nó vượt ngưỡng cũng gặp đúng vấn đề này, chỉ trong một lớp áo khác.

Cách dùng trình mô phỏng

1. 1

   Nhập tỷ lệ chuyển đổi và số lượt truy cập mỗi ngày

   Trình mô phỏng sinh lượt chuyển đổi theo tỷ lệ thật của bạn, nên sự dao động của p-value khớp với mức nhiễu bạn sẽ gặp trong thực tế.

2. 2

   Đặt thời lượng dự kiến và tần suất xem

   Mỗi ngày, ba ngày một lần hoặc mỗi tuần. Khoảng cách giữa tỷ lệ của người hay xem sớm và tỷ lệ của bài test trung thực chính là cái giá của thói quen đó.

3. 3

   Giữ mức tăng thật ở mức không

   Như vậy mọi bài test đều là A/A test: bất kỳ phiên bản thắng nào cũng là báo động giả. Sau đó chuyển sang +10% hoặc +30% để xem người hay xem sớm xử lý một hiệu ứng thật.

4. 4

   Đọc hai con số lớn

   Tỷ lệ của người hay xem sớm cho biết người xem mỗi ngày tuyên bố phiên bản thắng bao nhiêu lần. Tỷ lệ tại ngày kết thúc phải gần với mức alpha bạn chọn; nếu đúng vậy, bài test trung thực đang làm đúng như cam kết.

5. 5

   Chạy lại

   Mỗi lần chạy sinh ra các bài test ngẫu nhiên mới. Các tỷ lệ thay đổi một chút, nhưng khoảng cách thì không.

Tỷ lệ dương tính giả điển hình trên A/A test

Ở độ tin cậy 95%, đọc trung thực một lần lúc kết thúc bị đánh lừa khoảng 5% số lần. Số liệu ước lượng từ trình mô phỏng và các nghiên cứu, cho người hay xem sớm dừng ở lần xem có ý nghĩa thống kê đầu tiên.

Ba thói quen, được mô phỏng

Lỗi thường gặp khi xem kết quả sớm

• Dừng ở buổi sáng đầu tiên có ý nghĩa thống kê. Đây là toàn bộ nội dung trang này. Độ tin cậy chỉ đúng với ý nghĩa của nó khi bạn đọc kết quả một lần.
• Kéo dài một bài test "gần đạt rồi". Quyết định chạy lâu hơn vì kết quả gần có ý nghĩa thống kê là peeking theo chiều ngược lại, và làm tăng tỷ lệ dương tính giả y như vậy.
• Xem mỗi ngày "chỉ để chắc là không có gì hỏng". Theo dõi bug thì được; theo dõi p-value thì không. Hãy xem cách chia lưu lượng và tỷ lệ lỗi, không xem mức tăng, cho đến ngày kết thúc.
• Tin rằng dashboard Bayes khiến peeking trở nên an toàn. Hành động theo một ngưỡng xác suất mà bạn xem mỗi ngày cũng bị thổi phồng tương tự.
• Báo cáo mức tăng của đúng ngày bạn dừng. Nếu buộc phải dừng sớm, hãy báo cáo khoảng tin cậy, và chuẩn bị tinh thần rằng mức tăng thật nhỏ hơn ước lượng điểm.

Câu hỏi thường gặp về peeking