В нашем эксперименте не удалось на 100% обеспечить:
- воздействие на участников группы A (не все столкнулись с новым функционалом),
- изоляцию группы B (часть получила косвенное влияние).
Это поднимает важный вопрос — как корректно анализировать результаты?
Решение: два подхода к интерпретации
- Intention-to-Treat (ITT) — учитываем всех по их назначению, независимо от факта воздействия. Даёт честную, «реалистичную» оценку.
- Фактический анализ — исключаем тех, кто не подвергся воздействию или оказался «утечкой». Получаем потенциально более сильный эффект, но с риском смещения.
Что дало сравнение:
- ITT показывает, как сработает эксперимент в реальных условиях.
- Фактический анализ — как он мог бы сработать идеально.
Вывод: сочетание двух подходов даёт более точное понимание результата и помогает принимать взвешенные продуктовые решения.