Презентация результатов эксперимента должна помочь ответить на три вопроса: можно ли доверять сравнению, насколько большим может быть эффект и какое решение следует из результата? Более высокая конверсия сама по себе не отвечает на все три. Покажите рекомендацию рядом с результатом, а затем объясните дизайн исследования и расчёт, на которых она основана.
Весь материал построен на одном вымышленном A/B-тесте: команда сервиса бронирования сокращает первоначальную настройку. Все числа, результаты и решения ниже придуманы для объяснения метода. Это не эксперимент Presenti и не результат клиента. Наблюдаемое улучшение выглядит привлекательным, но не соответствует заранее установленному правилу выпуска.
Когда анализ согласован, преобразуйте текст в презентацию с помощью Presenti, чтобы получить редактируемый черновик слайдов. Передавайте утверждённые числа вместе с ограничениями их интерпретации: слайды помогают объяснить анализ, но не заменяют его.
Сначала назовите решение и условия теста
В нашем примере команда хочет, чтобы больше новых пользователей завершали настройку. Из процесса убирают два необязательных вопроса. Гипотеза состоит в том, что это уменьшит затруднения и повысит долю подходящих новых пользователей, завершивших настройку в течение семи дней. Нужно решить, заменять ли текущий процесс сокращённым для всей этой аудитории, а не выбирать, какой вариант выглядит лучше.
| Параметр | Определение в примере |
|---|---|
| Аудитория | Новые пользователи, которым доступна настройка; внутренние тестовые аккаунты исключены до распределения |
| Единица рандомизации | Один пользователь с постоянным идентификатором; при повторных посещениях сохраняется первоначальная группа |
| Сравнение | Текущий и сокращённый процессы работают одновременно; плановое распределение — 1:1 |
| Основной результат | Хотя бы одно зарегистрированное завершение настройки в течение семи дней после распределения; пользователь учитывается один раз |
| Период наблюдения | Набор в дни 1–14; итоговый анализ после того, как у последнего участника закончится полное семидневное окно |
| Защитная метрика поддержки | Хотя бы одно обращение по настройке в том же семидневном окне; пользователь учитывается один раз |
Случайное распределение важно: пользователи не выбирают свой вариант сами. В описании полностью рандомизированного дизайна NIST рассматривается случайное назначение воздействий экспериментальным единицам. Сравнение «до и после» или сравнение с людьми, добровольно выбравшими новый процесс, потребовало бы иначе оценивать смещения и не давало бы оснований для тех же причинных выводов.
В примере команда до просмотра результатов согласовала упрощённое правило выпуска: оценка прироста завершений должна составить не менее 2 процентных пунктов; двусторонний 95%-й доверительный интервал должен целиком лежать выше нуля; верхняя граница прироста обращений в поддержку должна быть ниже 1 процентного пункта. Это иллюстрация правила принятия решения, а не универсальные пороги для A/B-тестов. Реальный план также требует обоснованного расчёта размера выборки и метода анализа, выбранного до изучения результатов.
Сохраняйте в знаменателе всех распределённых пользователей
Сначала покажите количества, затем проценты. В вымышленных данных в каждую группу распределено 2 000 пользователей. Бросивший настройку пользователь остаётся в знаменателе. Если делить только на дошедших до последнего шага, из анализа исчезнет именно то поведение, на которое должен повлиять сокращённый процесс.
| Показатель | Текущий процесс | Сокращённый процесс |
|---|---|---|
| Распределённые пользователи из целевой аудитории | 2 000 | 2 000 |
| Пользователи, завершившие настройку | 800 | 860 |
| Доля завершений | 800 / 2 000 = 40,0% | 860 / 2 000 = 43,0% |
| Пользователи с обращением по настройке | 40 | 44 |
| Доля обратившихся в поддержку | 40 / 2 000 = 2,0% | 44 / 2 000 = 2,2% |
В примере предполагаются надёжная регистрация событий, отсутствие пропусков результатов и независимость наблюдений. В реальном анализе отсутствие события завершения можно считать незавершённой настройкой только при исправной системе измерения. Сбой, неотслеживаемое устройство или ошибка сопоставления идентификаторов — не автоматический ноль. Если регистрация результатов различается между вариантами, сначала устраните эту проблему и лишь затем интерпретируйте разницу долей.
Рядом с таблицей приведите результаты проверки распределения и исключений. Исследование Microsoft о несоответствии ожидаемого соотношения выборок объясняет, почему необычное распределение участников может указывать на проблемы с данными эксперимента. Равные группы здесь удобны для объяснения, но не доказывают корректность распределения, регистрации или отбора. Не исключайте пользователей после распределения лишь потому, что они не взаимодействовали с процессом.
Покажите абсолютное изменение и неопределённость
Результат можно корректно выразить двумя способами: 43,0% минус 40,0% — это прирост на 3,0 процентного пункта, а 3,0, делённое на 40,0, — относительный прирост на 7,5%. Начните с процентных пунктов и исходных долей. Заголовок «рост на 7,5%» скрывает исходный уровень, и его легко принять за прирост на 7,5 пункта.
Для иллюстративного расчёта используем интервал на основе нормального приближения для двух независимых долей из учебного материала Penn State о сравнении параметров двух совокупностей. Оценка стандартной ошибки равна квадратному корню из [0,43 × 0,57 / 2 000 + 0,40 × 0,60 / 2 000], то есть примерно 0,01557. Разность 0,03 плюс-минус 1,96 стандартной ошибки даёт приближённый 95%-й интервал от −0,1 до +6,1 процентного пункта после округления.
Расчёт подходит для этого намеренно простого примера: независимые бинарные результаты и достаточно успехов и неудач в обеих группах. Нельзя автоматически переносить формулу на повторные сеансы, рандомизацию по группам аккаунтов, редкие события или последовательный дизайн. Для реального эксперимента используйте интервал, рассчитанный согласованным методом.
| Результат | Оценка изменения | Приближённый 95%-й интервал | Следствие для решения |
|---|---|---|---|
| Завершение настройки | +3,0 процентного пункта | От −0,1 до +6,1 пункта | Точечная оценка выше +2 пунктов, но интервал включает ноль; правило выпуска не выполнено |
| Обращение в поддержку | +0,2 процентного пункта | От −0,7 до +1,1 пункта | Верхняя граница выше допустимого прироста в 1 процентный пункт; защитная метрика не прошла проверку |
На основном графике покажите разность долей завершения точкой на +3,0, интервал от −0,1 до +6,1, линию нуля и отдельную практическую цель +2 пункта. Подпишите ось: «Изменение доли завершений, процентные пункты». Не изображайте 43% как величину эффекта и не обрезайте шкалу двух столбцов так, чтобы небольшая разница казалась огромной.
Интервал, пересекающий ноль, не доказывает отсутствие эффекта. Здесь с расчётом совместимы и небольшое улучшение либо его отсутствие, и полезное улучшение. Положительная точечная оценка, в свою очередь, не устанавливает положительный эффект. Результат по поддержке также не доказывает «отсутствие дополнительной нагрузки»: неопределённость выходит за пределы допуска команды.
Разберите разногласия на встрече, а не прячьте их в приложение
Представьте три реакции. Маркетинг хочет объявить, что «онбординг стал лучше на 7,5%». Аналитик говорит, что эксперимент не обнаружил эффекта. Менеджер продукта предлагает продолжать тест, пока результат не станет значимым. В презентации нужно отделить разумный вопрос за каждой репликой от вывода, который действительно поддерживают данные.
| Позиция | С чем можно согласиться | Что написать на слайде с решением |
|---|---|---|
| «Относительный прирост оправдывает выпуск». | Наблюдаемое направление и размер изменения обнадёживают | Завершение выросло с 40% до 43%; неопределённость и правило поддержки не позволяют расширить выпуск по этому плану |
| «Изменение ничего не даёт». | Результат не достиг требуемого уровня доказательности | Для решения о выпуске результат неопределённый; это не доказательство эквивалентности |
| «Собираем данные, пока тест не пройдёт». | Дополнительная информация может быть полезна | Завершите анализ с фиксированным горизонтом по плану; аналитик должен обосновать следующий дизайн, а не придумывать правило остановки по ходу теста |
Непрерывное наблюдение возможно при подходящем методе, но оно не равно многократному применению обычного правила для фиксированного горизонта. Работа Microsoft Research о корректных правилах остановки объясняет, почему анализ и порядок остановки нужно проектировать вместе.
Та же осторожность нужна для подгрупп. Если мобильные пользователи, кажется, выигрывают больше, уточните, было ли сравнение запланировано и сколько разрезов проверили. Исследовательский разрез может подсказать следующую гипотезу, но не должен незаметно заменять основной результат только ради более выгодного заголовка.
Соберите шесть слайдов из согласованного анализа
Используйте структуру ниже как рабочий шаблон. У каждого слайда своя задача. Первый даёт рекомендацию, остальные позволяют проверить её основания без поиска в таблице во время встречи.
| Слайд | Пример заголовка | Содержание |
|---|---|---|
| 1. Решение | Пока не заменять текущую настройку | Наблюдаемый прирост +3,0 пункта; критерии выпуска и поддержки не выполнены; решение запрашивается у владельца продукта |
| 2. Дизайн теста | Один пользователь, одно распределение, семь дней наблюдения | Отбор, одновременная контрольная группа, распределение, определение результата, набор и окна наблюдения |
| 3. Качество данных | В знаменателе все распределённые участники | По 2 000 в группе, исключения, проверка регистрации и распределения, нерешённые проблемы измерения |
| 4. Основной результат | Прирост обнадёживает, но остаётся неопределённым | 800/2 000 против 860/2 000; абсолютный эффект, интервал, нулевая линия и практическая цель |
| 5. Защитная метрика и ограничения | Влияние на поддержку пока неясно | 40 против 44 обратившихся, интервал, допустимый прирост и границы аудитории эксперимента |
| 6. Зафиксированное действие | Сохранить текущий процесс и определить следующий тест | Владелец продукта принимает решение; аналитик предлагает следующий дизайн; руководитель поддержки рассматривает удалённые вопросы до нового теста |
Приложите анализ, определения метрик и диагностику распределения как дополнительные материалы. На слайде не нужна каждая строка, но каждое ключевое число должно прослеживаться до согласованной версии анализа. Передавая материал ИИ, включите пометку «вымышленный учебный пример», оба знаменателя, оба интервала и правило выпуска. Проверьте, не исчезли ли отрицания, не изменились ли единицы и не появился ли выдуманный вердикт.
Зафиксируйте действие, которое поддерживает результат
Для нашего теста запись решения такова: сохранить текущую настройку; не заявлять о доказанном улучшении завершений или пройденной защитной метрике поддержки; поручить аналитику и руководителю поддержки предложить следующее исследование до нового решения о выпуске. Можно проверить переработанные подсказки или спланировать исследование меньшего эффекта, но вопрос, выборку, измерение и правило остановки нужно определить до просмотра новых результатов.
После такой презентации команда должна понимать, почему выбрано именно это действие. Убедительное представление эксперимента не превращает неопределённый результат в достоверный. Оно показывает рядом данные, бизнес-порог и нерешённый вопрос.
