Menu
CoddyTech

Повторение: A/B-тест

Часть раздела Статистика для машинного обучения путешествия по Machine Learning на Coddy. Урок 46 из 64.

challenge icon

Задание

Средне

Магазин показал 30 посетителям страницу A или B. Что лучше — или это случайность? В ab.csv есть version, seconds и pages; программа считывает column.

  1. Выведи оба средних значения.
  2. Проверь разницу между средним значением B и средним значением A с помощью перестановочного теста (сначала объединить A и B, без других случайных выборок) и t-теста.
  3. Выпускай версию B (yes, up by) только если значение B выше и перестановочное p-значение меньше 0.05.
  4. Построй диаграммы размаха для A и B: подпись оси x — Version, подпись оси y — название столбца, заголовок — как ниже.

Округляй до 2 знаков после запятой, p — до 3. Другой магазин, seconds:

Mean seconds: A 61.25, B 63.83
Ship version B: no, seconds changed by 2.58 (p = 0.675, t-test 0.672)

Затем Coddy описывает диаграмму, которая выглядит так:

Диаграмма с заголовком A/B Test: seconds, подписью оси x Version и подписью оси y seconds; на ней две диаграммы размаха с названиями A и B примерно на одной высоте, медианами около 65 и двумя точками-выбросами для A на отметках 38 и 86

Попробуйте сами

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

visits = pd.read_csv("ab.csv")
column = input()
# Не изменяйте строки ниже
rng = np.random.default_rng(3)
shuffles = 1000

# Напишите свой код ниже

Все уроки раздела Статистика для машинного обучения

Потренируйтесь самостоятельно: Онлайн-компилятор Python