Сегодня все занимаются экспериментами, даже если этого так не называется и основывается на мнении руководителя. Да, можно говорить, что: “В современном бизнесе эксперименты — это не роскошь, а необходимость и компании стремятся тестировать гипотезы, искать новые пути развития, повышать эффективность процессов.“
Но это объективно не так, компаний с такой культурой не так много, или я не так часто сталкиваюсь с такими. И сегодня я хочу поделиться опытом того, как я пытаюсь преобразовать жизнь к лучшему, сделать принятие решений более взвешенным.
Мы регулярно проводим эксперименты, и каждый руководитель пытается навязать свою логику, а переговоры на тему почему надо так, а не иначе – отнимают много энергии. Однако, если этого не делать, то такие “эксперименты” превращаются в набор плохо задокументированных и слабо воспроизводимых действий, прикрытых громким словом “эксперимент”. Ну и часть исследований сюда относятся. Бизнес инициирует тесты по своему разумению, не вникая в статистику, дизайн эксперимента или аналитическую методологию. В итоге на выходе — не знания, а иллюзия знаний, не решение, а рационализация уже принятого решения. Думаю, не только я с этим сталкиваюсь, ну и я постарался корректно это назвать)
Проблема здесь системная. Без чёткой методологии, без правил и без барьеров между желаемым и допустимым результат может быть подогнан под ожидания, а не основан на фактах. Результаты “экспериментов” становятся недостоверными: гипотезы утверждаются на слабой выборке, контрольные группы формируются неслучайным образом, данные интерпретируются выборочно. Такая ситуация ведёт к потере доверия к аналитике и ухудшению качества управленческих решений.
Почему бизнес не хочет “вникать под капот”
Это неудивительно. Бизнес сфокусирован на цели: быстрее протестировать гипотезу, получить инсайты, запустить фичу, увеличить сборы (продажи). В его логике — эксперимент — это инструмент, а не предмет академического интереса. Погружаться в дизайн выборки, статистическую значимость или методы рандомизации — не его приоритет. И если в компании нет чётких рамок, бизнес будет продолжать проводить эксперименты “по наитию”, подменяя научный подход эмпирикой.
Но именно здесь и кроется главный риск. Без правил любой эксперимент может стать инструментом самообмана.
Решение 1: обучение по ходу и попытка “разгрузить” бизнес от “тонкостей”
Ну и первый тупиковый путь: упростить жизнь бизнесу взяв на себя разработку и обучение бизнеса по ходу – не работает. Не все руководители будут слышать, некоторые не хотят даже слушать. А из незнания – не получится и диалога.
И существенный момент тот, кто вырабатывает гипотезу и тот, кто собирает и интерпретирует данные должны быть разделены, но как это сделать, если отодвинуть бизнес от эксперимента? Т.е. эксперименты не должны быть сосредоточены у аналитиков и бизнес должен приходить не с идеей, а с гипотезой.
Решение 2: локальный нормативный акт
После периода работы с первым решением стало понятно о его нежизнеспособности, второй мыслью было, что оптимальное решение — ввести локальный нормативный акт (ЛНА), который будет регламентировать проведение экспериментов и исследований в компании. Идея-то возникла – надо сделать ЛНА, но очень аккуратно, чтобы гипотеза была от бизнеса, но там ее приходилось “вытягивать”, а как быть с формальным документом?!
План был сделать своего рода “конституция экспериментов”, определяющая:
- виды тестов, исследований и экспериментов и их ограничения;
- какие типы экспериментов допустимы и при каких условиях;
- чем отличается исследование от A/B-теста или от экономического расчета и т.д.;
- какие требования к выборке, длительности, метрикам, условиям старта/остановки экспериментов;
- кто имеет право утверждать дизайн и валидировать результаты;
- как фиксируются гипотезы и результаты до и после теста;
- что считается успешным и что является основанием для запуска или отказа от инициативы.
Но, как показывает практика, простой выпуск ЛНА не решает проблему, если он написан языком аналитиков, т.к. это будет не понятно для неспециалистов.
Поэтому изначально документ был спроектирован из нескольких блоков: для бизнеса, для специалиста. У каждого было прописано свое, но со ссылками. Но как показал опыт: бизнес его не понимает, пропускает ключевые пункты, а иногда и вовсе игнорирует, читает блок для специалистов… В общем документ “умер” еще не стадии согласования с бизнесом.
Решение 3: компромисс – два документа
Если люди читают, то что не нужно — разделить документ на два:
- ЛНА для бизнеса — короткий, понятный, лаконичный. Без технических деталей, но с логикой, понятной топ-менеджменту и продуктовым командам: что, когда и почему делается, в документе только один вид тестов, который наиболее конфликтный и сложный, какие правила нельзя нарушать, и что с ними нельзя делать. Часть ссылок осталось в формате: аналитик знает, что делать, запросить информацию.
- Инструкция для аналитиков — подробный методологический документ с описанием всех процессов, расчетов, исключений и технических требований.
Ключевой момент: никаких ссылок из ЛНА бизнеса в инструкцию для аналитиков, ссылка только на аналитика. Таким образом, бизнес читает только свою часть, понимает свою зону ответственности, а аналитики работают по своей инструкции, не подстраивая дизайн под требования менеджера “побыстрее и попроще”.
Плюсы такого подхода:
- У бизнеса есть чёткое, не перегруженное описание, как можно и как нельзя проводить эксперименты.
- У аналитиков есть защита от давления: правила зафиксированы, стандарты едины.
- Уменьшается риск “подгона” результатов.
- Повышается доверие к данным и решениям.
- Формируется культура доказательного управления.
Минусы и риски:
- Возможны разночтения между двумя документами.
- Требуется регулярная синхронизация и обновление обоих документов.
- Не исключён риск того, что аналитики будут вынуждены “интерпретировать” двусмысленные ситуации без прямой поддержки ЛНА.
- Аналитик будет отклонять идею, т.к. там нет гипотезы.
Но, несмотря на эти риски, этот подход лучше, чем предоставление бизнесу возможности влиять на ход и итоги экспериментов через методологию.
Альтернативные варианты и их плюсы и минусы
1. Один универсальный регламент для всех
Плюсы:
- Все читают одно и то же, исключены расхождения.
- Меньше бумажной работы.
Минусы:
- Бизнес не читает технические детали.
- Аналитики вынуждены адаптировать язык под неаналитическую аудиторию, теряя точность.
- Велика вероятность недопонимания или искажения важных пунктов.
2. Обучение бизнеса методологии
Плюсы:
- Формирует общее понимание экспериментов в компании.
- Снижается недоверие к аналитике.
Минусы:
- Требует времени, ресурсов и мотивации со стороны бизнеса.
- Подходит только зрелым компаниям с высокой культурой данных.
3. Централизация всех экспериментов через единую команду
Плюсы:
- Контроль над качеством.
- Единые стандарты без исключений.
Минусы:
- Узкое горлышко: задержки в старте и анализе.
- Потеря гибкости и автономности продуктовых команд.
- А главное гипотезы – это зародыш управленческих решений – психология – все последствия, если убрать это от бизнеса.
4. Неформальные стандарты (гайды, воркшопы, внутренние методики)
Плюсы:
- Гибко, легко обновляется.
- Можно внедрять поэтапно.
Минусы:
- Нет обязательности, не защищает от давления.
- Бизнес может игнорировать.
Заключение
Это путь в конкретной компании и, естественно, при других условиях все сложится по-другому, но эти эксперименты можно ускорить.
Стандартизация экспериментов — это не бюрократия, а основа принятия обоснованных решений. В условиях, когда бизнес не хочет (или не может) вникать в детали, задача компании — создать систему, в которой интересы бизнеса и аналитики разведены, но не противоречат друг другу. Разделение нормативных документов на бизнес- и аналитический уровни — это зрелый компромисс, который снижает риск и усиливает доверие к процессу, да это не идеальное решение, но как показывает практика – вполне жизнеспособное.
Общаться приходится, много, ведь важное не только в документах, но и в культуре, где данные — это не подтверждение желаемого, а инструмент поиска истины.