AB Game

Инженерно-кономическая игра про A/B-тестирование. Здесь нет правильных ответов. Есть только результативность и правила, которые надо соблюдать.

О чём игра

Вы — руководитель направления A/B-тестирования в фудтех-маркетплейсе доставки еды. На старте у вас есть 15 миллионов рублей бюджета, 3 менеджера (ML, логистика, UI) и ровно 364 игровых дня (52 недели), разбитых на 4 квартальных инвестиционных раунда по 91 дню.

Каждую неделю менеджеры заваливают вас идеями. В питче каждый уверен на 100% («Это даст +5% к ARPU, мамой клянусь!»), но правда вскрывается только в данных: среди предложений попадаются редкие единороги (от +8% и выше), крепкие рабочие фичи, сотни бесполезных идей с околонулевым эффектом, вредители Footgun, роняющие метрики, и коварные «Троянские кони» со сломанным сплитом (SRM).

Ваша задача — проверять гипотезы статкритериями, отсеивать шум, считать юнит-экономику каждой кнопки и не позволить техдолгу уничтожить доверие инвесторов.

«Если просто жать „Play“ и внедрять всё подряд вслепую — бюджет растает за квартал, а Совет директоров отправит команду в отставку. Здесь надо думать.»

Здоровье платформы: Доверие и Качество

Совет директоров смотрит не только на остаток кэша в банке, но и на дисциплину аналитики:

Trust
Доверие инвесторов (0..100%)

Падает от раскатки фич со сломанным сплитом (SRM) и естественного старения сплиттера. Восстанавливается регулярными A/A-аудитами.

Quality
Инженерное качество (0..100)

Отражает уровень технического долга. Слепые выкатки без валидации архитектуры тянут качество вниз.

Кризис
Порог тех-аудита (25 и ниже)

Если доверие или качество падают до 25 и ниже, Совет директоров объявляет экстренный аудит. Ровно 3 дня на исправление — иначе Game Over.

Игровой цикл

  1. Изучайте бэклог гипотез. Оценивайте питч менеджера, стоимость внедрения и ежедневную поддержку. Считайте окупаемость гипотезы на встроенных калькуляторах.
  2. Планируйте эксперименты. Выбирайте целевую метрику (ARPU, DAU, CSAT или длину сессии), долю трафика и правильный критерий (t-тест Уэлча, Z-тест, U-тест Манна-Уитни, Байес или Бутстрап).
  3. Используйте передовой арсенал. Включайте проверку сплита на SRM, разгоняйте чувствительность через CUPED, очищайте выбросы винсоризацией и контролируйте множественные сравнения поправкой Бонферрони.
  4. Защищайте инвестраунды. Каждые 91 день защищайте результаты квартала перед Советом директоров: получайте транши до 25 млн ₽ и доведите стартап до IPO с рекордной капитализацией на 364-й день.

Что внутри игры

364
дня симуляции = 4 раунда по 91 дню
168
сегментов аудитории (города, платформы, возраст)
17
математических инструментов аналитика
7
менеджеров со своими специализациями и фичами

📚 Встроенная Wiki & Playbook: в самой игре встроен полноценный учебник с формулами и практическими разборами на каждый день. Все формулы и тонкости A/B-тестирования объясняются прямо по ходу игры в момент, когда они вам требуются.