Где заканчиваются данные и начинается интерпретация: главные ошибки в анализе данных в e-commerce

На первый взгляд в e-commerce все лежит на поверхности и легко измеримо: клики, конверсия, показатели по возвратам и т. п. Но за кажущейся простотой скрывается риск ошибочной интерпретации данных. Причина проста: показатели, цифры хорошо измеряют и отражают то, что произошло, но не дают понимания, почему это произошло. Например, отчет содержит информацию о том, что конверсия по карточке товара снизилась с 3,8% до 3,1%. Аналитик делает вывод, что проблема заключается в новом фото или в описании карточки и предлагает менять ее дизайн. Но в реальности причина может быть связана с ростом цены, изменением источника трафика или с сезонными колебаниями спроса. В e-commerce ошибки в анализе данных особенно опасны, т. к. любое неверное решение очень быстро повлияет на выручку.

Где проходит граница между данными и их интерпретацией

Эта граница определяется уровнем аналитической обработки и практической полезности для принятия решений. Данные — это исходный материал для анализа, который показывает, что произошло с изучаемыми параметрами, а их интерпретация — это ответ на вопрос «что это значит для бизнеса?». Одни и те же данные могут интерпретироваться по-разному, в зависимости от опыта и квалификации аналитика, контекста и целей исследования.

Например, если из системы веб-аналитики мы видим, что доля отказов из корзины выросла на 16% — это констатация факта. А если дальше делается вывод: «значит, пользователей не устраивает срок доставки» — это уже попытка интерпретации данных, то есть гипотеза исследователя.

В сфере e-commerce, и особенно если исследование проводится внутренними подразделениями компании, такая подмена не редкость. Ошибки анализа данных могут появляться на разных этапах у разных специалистов:

• менеджер фиксирует снижение количества заказов и в первую очередь винит дизайн сайта;
• маркетолог видит рост трафика на сайте и считает рекламную акцию успешной, хотя этот трафик впоследствии не конвертируется в покупки;
• отдел клиентского сервиса замечает рост возвратов и делает вывод о том, что потребителям не нравится качество товаров и т. д.

Главная опасность — это не недостаток объективных данных, а слишком быстрый и прямой переход от данных к их интерпретации, основанной на интуиции, а не на реальных исследованиях. Так, в реальности проблема возвратов может быть связана совсем не с качеством, а, например, с некорректной размерной сеткой или слишком высокими ожиданиями потребителей, сформированными под влиянием многообещающих рекламных сообщений.

Почему e-commerce особенно уязвима к ошибкам в анализе данных

Интернет-торговля дает много метрик, но далеко не все они означают то, чем кажутся на первый взгляд. Одна и та же динамика любого показателя может быть вызвана десятками причин, например:

• конверсия увеличилась после изменения дизайна карточки, но примерно в это же время проводилась акция, была снижена цена;
• количество новых покупателей выросло, но средний чек, наоборот, несколько снизился.
• на первый взгляд продажи выросли из-за добавления в карточку товара новых отзывов, но реальным драйвером может оказаться сезонный всплеск или увеличенный рекламный бюджет.

В электронной торговле особенно легко перепутать корреляционную связь с причинно-следственной. И, как следствие, выводы, сделанные на уровне здравого смысла, могут выглядеть впечатляюще, но оказаться неверными.

Как может выглядеть ошибка интерпретации данных на практике

Хорошим примером могут служить результаты одного из исследований, проведенных нашими аналитиками в конце прошлого года. Команда интернет-магазина женской одежды заметила, что у новой коллекции хороший, высокий трафик, но конверсия в заказ ниже ожидаемой. Самый очевидный вывод, который был сделан практически сразу: «коллекция не понравилась целевой аудитории».

Однако напрашивающееся решение — менять ассортимент — оказалось ошибочным. При детальном анализе было выявлено, что:

• карточки некоторых товаров долго прогружаются на мобильных устройствах;
• у части товаров нет размеров;
• цены достаточно высокие (на фоне конкурентов);
• пользователь узнает стоимость доставки после того, как положил товар в корзину, и она во многих случаях заставляет отказаться от покупки.

Проблема низкой конверсии оказалась не в характеристиках самой коллекции, а в том, как и кому она была показана. Ошибочная интерпретация данных стала причиной неверных выводов и могла послужить поводом для принятия необоснованных управленческих решений.

Что считается данными, а что интерпретацией

Полезно мысленно делить любой отчет на три слоя:

1. Факт. Это показатель по конкретной характеристике — то есть то, что выражается в цифрах. Например: «показатель конверсии на мобильных устройствах снизился с 2,2% до 1,7%».
2. Гипотеза. Это кажущийся наиболее вероятным вариант объяснения факта. Например: «Пользователям неудобно оформлять заказ на мобильном устройстве».
3. Вывод. Это бизнес-решение, которое принимается после проверки и принятия/отклонения гипотезы. Например: «Необходимо протестировать мобильную корзину, замерить скорость загрузки и сравнить показатели по новым и старым пользователям».

Это ключевой момент. Пока мы фиксируем и описываем цифру, показатель — это данные. Когда переходим к этапу объяснения — это уже интерпретация и именно здесь можно совершить ошибку, если не проверять несколько альтернативных гипотез и сценариев.

Три типичных ошибки аналитике в e-commerce

Очень часто к ошибкам приводит отсутствие комплексного анализа всех доступных данных.

1. Оценка по одной метрике

Например, основное внимание уделяется конверсии и практически не учитывается маржинальность. Либо отмечается рост заказов, но не без учета одновременного роста возвратов либо отмен. В результате по анализируемому показателю продажи растут, однако прибыль может падать.

2. Неправильная сегментация, отсутствие анализа по сегментам

Общий рост или падение показателя может нивелировать динамику по сегментам. Например, у новых пользователей конверсия могла снизиться, тогда как по повторным наблюдается рост. В таких случаях, если ориентироваться только на среднее значение, картина будет некорректной и может привести к неверным выводам.

3. Игнорирование «узких мест» в воронке

Учитывается только итоговая конверсия, но не анализируется поведение покупателей поэтапно. Например, общее значение стабильное, но внутри воронки может снизиться переход из корзины в оплату. Проблема может остаться незамеченной, если она «растворяется» в агрегированном показателе.

Как анализировать данные правильно

Полноценный анализ в e-commerce строится не вокруг отдельных показателей, а описывает цепочку как процесс, с учетом причин и следствий:

1. Сначала констатируется показатель, факт: что изменилось, где именно и в каком объеме.
2. Далее описывается контекст: как изменился трафик, в каких сегментах, с устройств какого типа, в каких регионах и т. п.
3. Затем формулируются гипотезы. Это предположения о возможных причинах изменений, которые могли привести к зафиксированному на предыдущих этапах результату.
4. Гипотезы проверяются и подтверждаются либо отклоняются. Определяется, какие данные могут их подтвердить или опровергнуть. Если предполагается, что снижение конверсии связано с изменением трафика, необходимо проанализировать показатели по каналам привлечения; если гипотеза касается изменений в интерфейсе, то проверка проводится с помощью A/B тестирования.

Такой подход является наиболее целесообразным и экономит ресурсы компании, потому что бизнес не бросается в крайности — не начинает переделывать сайт или перестраивать рекламную стратегию только лишь из-за одного поверхностного вывода.

Правильный результат интерпретации данных — через комплексный анализ всех показателей

Главная ошибка в работе с данными — принимать интерпретацию за итоговый вывод и формировать на основе «быстрого» вывода важные бизнес-решения. В e-commerce любая цифра на первый взгляд кажется понятной, а вывод — очевидным: если конверсия снижается, значит, появились проблемы, если заказы растут, значит, все в порядке, процессы выстроены оптимально. Однако выявить реальные причины происходящего можно лишь при помощи детального анализа контекста и характера связи между показателями: состава трафика, поведения разных сегментов аудитории, внешних факторов, активности конкурентов. Иначе есть опасность устранить не причину, а следствие — и в результате потерять ресурсы, время и точки роста бизнеса.