как мы применили подход ITT и сравнили его с анализом по фактическому воздействию:
В ходе планирования и анализа эксперимента мы столкнулись с методологической проблемой: невозможность на 100% обеспечить воздействие на группу А (treatment) и/или изолировать группу B (control). Это ограничение, может существенно повлиять на валидность выводов эксперимента, если не учитывать его в анализе.
Т.к. методология анализа должна быть принята до старта эксперимента, мы начали вырабатывать и согласовывать методологию с заказчиком.
Проблема неполного воздействия и изоляции
Основные трудности, с которыми мы столкнулись:
- Неполное воздействие: часть участников группы А не получила запланированное вмешательство (в нашем случае, например, не все должники получили взаимодействие всем комплексом запланированных инструментов, в следствии того, что в регионе нет выездных представителей).
- Нарушение изоляции: часть участников группы B оказалась под влиянием эксперимента — например, не должны были отправить SMS, а сотрудник Call Center передал информацию таким образом.
- Эти факторы приводят к смещению оценки эффекта, искажают выводы и могут как занижать, так и завышать эффективность вмешательства. Кроме того, нарушается предпосылка рандомизации, что ведёт к снижению достоверности причинно-следственных выводов.
Решение: два подхода к анализу
Чтобы минимизировать последствия этих искажений, мы применили двойной подход к интерпретации результатов:
1. Intention-to-Treat (ITT) — анализ по намерению лечения
В этом подходе все участники анализируются в рамках своей исходной группы, независимо от того, получили ли они фактическое воздействие. Таким образом, сохраняется сила рандомизации, и мы получаем наиболее реалистичную оценку эффекта в реальных условиях применения (effectiveness). Этот подход особенно важен для оценки политики, продуктов и функций, где невозможно обеспечить 100% охват.
Плюсы:
- Защита от смещения, вызванного селекцией.
- Сохраняет преимущества случайного распределения.
- Результат интерпретируется как «эффект назначения».
- Это моделирует ситуацию при “боевой эксплуатации” группы AB.
Минусы:
- Может занижать оценку истинного эффекта, особенно при большом уровне несоблюдения вмешательства.
Поэтому было решено применить второй метод –
2. Per-Protocol / As-Treated — анализ по фактическому воздействию
Во втором подходе мы исключили объекты, по которым не было обеспечено воздействие или произошла утечка изоляции. То есть, учитывались только те участники, которые:
- фактически подверглись воздействию (в группе A),
- были точно изолированы (в группе B).
Это дало оценку «чистого» эффекта при соблюдении всех условий вмешательства (efficacy), но с риском смещения из-за неслучайного исключения участников.
Плюсы:
- Более точная оценка эффекта при соблюдении условий.
- Отражает максимальный потенциальный эффект при идеальной реализации.
Минусы:
- Нарушение рандомизации.
- Возможное смещение из-за корреляции между «получением воздействия» и другими характеристиками.
Сравнение подходов и интерпретация
В эксперименте заказчик принял решение не использовать причинно-следственный анализ, , но мы интерпретировали оба результата параллельно:
- ITT-анализ – показывает объективную ситуацию с учетом того, как как компания выстроила процессы и может работать, а не идеальную картинку.
- Анализ по фактическому воздействию показал рафинированное, но менее применимое и следовательно, интерпретируемые результаты.
ITT в чистом виде показывает возможный эффект, ITT скорректированный на AT позволяет оценить возможные погрешности.
Это сравнение позволило:
- оценить реальный эффект в условиях будущего масштабирования (через ITT),
- понять верхнюю границу потенциала (через анализ по воздействию),
- обосновать компромисс между охватом и результативностью.
Вывод
Когда невозможно обеспечить полный контроль над экспериментальными условиями, важно не игнорировать эту проблему, а использовать корректные аналитические методы. Подход ITT даёт реалистичную и устойчивую оценку, в то время как анализ по фактическому воздействию помогает лучше понять природу самого эффекта. Совместное использование обоих методов повышает доверие к выводам и даёт более полную картину происходящего.