Рынок управления задолженностью всегда был очень напряженным, но сейчас испытывает особенно серьезную нагрузку: повышение пошлин на судебное взыскание, миграция должников, новые схемы мошенничества, антиспам фильтры, умные ассистенты и т.д. В таких условиях оптимизация инструментов и стратегий взаимодействия с должниками — основной способ остаться конкурентоспособным. Компании постоянно ищут наиболее действенные инструменты: СМС, email-рассылки, мессенджеры, роботизированные обзвоны и IVR и новые технологии, такие как искусственный интеллект…
Однако понять истинное влияние каждого инструмента — задача нетривиальная. Кто-то не берет трубку, кто-то скидывает на автоответчик и читает расшифровку, кто-то читает только мессенджеры, кто-то наоборот – не читает. Тонкостей много, сейчас я затрону только один аспект эволюцию подхода к этой проблеме за последние несколько лет.
2023: Оценка Стратегий – Первый Шаг
В 2023 году перед аналитическим отделом стояла задача оценить влияние используемых инструментов на уровень сборов. Цель была прагматичной: предоставить бизнесу основу для принятия решений, показав ожидаемое среднее изменение уровня сборов при применении определенного набора инструментов, соответствующего выбранной стратегии. Подход был сфокусирован на получении общей картины – как различные комбинации воздействий ассоциируются с итоговым результатом. Хотя это давало полезные ориентиры, такой анализ опирался в основном на наблюдаемые корреляции и средние, что, не всегда позволяя отделить реальный эффект инструмента от влияния других факторов, и я не говорю про такие факторы как качество долга или выбор сегмента для применения той или иной стратегии, а хотя бы как инструменты взаимодействуют друг с другом.
2025: Потребность в Экспериментах и Поиск Причин
В 2024 произошли изменения на рынке: должники за последние 2 года стали менее контактными, inhouse collection стал эффективнее, мессенджеры и SMS стали дороже, да и другие инструменты тоже.
К 2025 году запросы бизнеса стали более конкретными. Возникла необходимость в проведении контролируемых экспериментов для точной оценки эффективности конкретных наборов инструментов. Целью стало не просто оценить средний эффект, а получить надежные данные, которые на которые можно было бы опереться при принятии решений. Но эксперимент может опираться на гипотезу, а вот гипотезы от бизнеса получено не было. Поэтому параллельно с подготовкой эксперимента было проведено исследование, которое позволит сделать эксперимент более достоверным и сформулировать гипотезу, которая должна повысить качество эксперимента.
Стало очевидно, что для грамотного дизайна экспериментов и формирования обоснованных гипотез недостаточно простого корреляционного анализа. Требовалось глубже понять причинно-следственные связи.
Сначала была построена модель взаимосвязи для понимания влияния, backdoor и других факторов. Строить графы не стали, решили обойтись более простыми средствами, пока это устроило. В целом рекомендую этот этап не пропускать, т.к. на этом этапе наглядно видно многие взаимосвязи и ситуации, когда компания теряет деньги, если воздействует на этап и не отслеживает конверсию. Про это подробнее постараюсь в другой раз написать.
Первичный Анализ: Ловушки OLS-Регрессии
Первым шагом в этом направлении стала попытка оценить индивидуальное влияние инструментов с помощью стандартной линейной регрессии (Ordinary Least Squares, OLS), используя формулу вида: сборы ~ мессенджеры + смс + звонки_оператора + email + IVR.
Результаты OLS-анализа (на основе statsmodels.formula.api) дали пищу для размышлений, но и выявили проблемы:
Необъясненная вариация: Модель объясняла лишь часть (Для примера пусть будет 30%) вариации в факте платежа, указывая на наличие неучтенных факторов или случайности.
СМС: Показали высокий положительный эффект. Однако возникло подозрение, что это связано не столько с самим СМС, сколько с тем, что их часто отправляют на более “качественные” номера или сегменты должников (т.н. selection bias), чтобы более эффективно использовать инструмент. Эффект самого сообщения мог быть завышен.
Мессенджеры: Демонстрировали крайне незначительный эффект, что требовало дальнейшего изучения. Т.к. инструмент одного порядка с SMS и логика работы по ним сопоставима, но отличие было на порядок.
Звонки оператора (разговоры): Неожиданно показали отрицательный эффект. Это вызвало вопросы: возможно, негативный эффект связан с большим количеством неудачных контактов или спецификой работы IVR, которые “смешивались” в одной переменной, либо звонки чаще применялись к более сложным случаям. Или т.к. при звонках всегда были IVR, модель перераспределила в пользу IVR эффект от инструмента.
Email: Недавно введенный инструмент показал положительную связь со сборами. Но оставался вопрос: это реальный эффект email или результат того, что email встречается в долгах с более качественной информацией?
IVR: Будучи массовым инструментом, показал умеренный положительный эффект, здесь без сюрпризов.
Стало ясно: простая регрессия улавливает ассоциации, но не обязательно причинность. Результаты могли быть искажены из-за конфаундеров – факторов, влияющих одновременно и на выбор инструмента, и на результат (например, сумма долга, история платежей, важность клиента, предыдущие контакты).
Переход к Причинно-Следственному Анализу
Чтобы преодолеть ограничения OLS, мы применили методы причинно-следственного анализа с использованием библиотеки для casual inference. Этот подход позволяет явным образом моделировать предположения о причинных связях и пытаться оценить эффект вмешательства (treatment), контролируя влияние известных смешивающих факторов (common causes).
Ключевые шаги включали:
Определение переменных: Четко выделили целевую переменную (факт платежа), переменные вмешательства (инструменты) и контрольные переменные (потенциальные конфаундеры: начальная сумма долга, наличие подтвержденного должника(да здесь есть спорный момент) и т.д.).
Препроцессинг: Подготовили данные, заполнив пропуски (импутация), стандартизировав числовые признаки и применив One-Hot Encoding для категориальных (как importance), чтобы все переменные были пригодны для моделирования.
Построение каузальной модели: Для каждого инструмента (treatment) построили модель, указывающую, как он, по нашим предположениям, влияет на результат (outcome) с учетом общих причин (common_causes).
Оценка ATE (Average Treatment Effect): Рассчитали средний причинный эффект каждого инструмента на вероятность сбора, используя метод backdoor.linear_regression, который пытается “закрыть” пути влияния конфаундеров.
Тесты на устойчивость (Refutation): Провели тесты для проверки надежности полученных ATE. Например, тест “Плацебо Вмешательство” заменяет реальный инструмент случайным шумом – если модель устойчива, эффект плацебо должен быть близок к нулю. Тест “Bootstrap Refuter” многократно пересчитывает ATE на подвыборках данных, чтобы оценить стабильность результата. Успешное прохождение этих тестов значительно повышает уверенность в полученных оценках.
Дальнейшие шаги
Причинно-следственный анализ позволил получить более надежные оценки влияния каждого инструмента в отдельности, очищенные от влияния учтенных конфаундеров. Например, если ATE для Email после контроля за качеством долга остался положительным и значимым, а результат прошел тесты на устойчивость, это дает сильную гипотезу о его реальной эффективности. Отрицательный эффект звонков мог быть пересмотрен или подтвержден с учетом контроля за сложностью долга.
Анализ лег в основу для следующего этапа – дизайна экспериментов (A/B тестов). Теперь мы смогли сформулировать гипотезу для эксперимента и его оценок. Это позволяет сосредоточить ресурсы на тестировании наиболее перспективных инструментов и комбинаций, повышая шансы на реальное улучшение показателей сборов и принимая более взвешенные, основанные на данных решения. Ждем результаты эксперимента и продолжим исследования.