ЦифрыПять ошибок в АБ тестах
Никита Архипов, директор по маркетингу Томору. Записала Женя Малышкина.Конверсия из просмотра в заявку в первой версии сайта Томору составляла 8%, на рынке это считается хорошей конверсией. Денис, основатель Томору, предложил поднять ее до 30%. Я подумал: «Какие 30%, откуда их взять?» и ответил: «Окей, давай делать». Так мы поставили цель увеличить конверсию до 30% и начали эксперименты с АБ тестами. Через год мы пришли к текущей версии сайта и подняли конверсию до 30%.
У нас нет секрета, как быстро увеличить конверсию с помощью АБ тестов. Иногда наши эксперименты проваливаются, а гипотезы оказываются неверными. Но мы знаем, что АБ тесты работают, если не сдаваться после первых неудач и учиться на ошибках. Расскажем об опыте Томору, об очевидных и не очень ошибках в проведении АБ тестов.
Ошибка 1. Копировать результаты АБ тестирования других компаний
В истории про конверсию 30% мы не рассказали об экспериментах, которые проводили, и о том, какие из них оказались успешными. То, что помогло сайту Томору, может не сработать в другой компании.
Перекрасить кнопку в красный как у конкурентов, потому что «красная кнопка лучше конвертит», правда проще, чем проводить анализ собственной аудитории и работать над гипотезой. К сожалению, это не работает.
Например, есть два спортивных магазина в Москве, которые продают экипировку для бега. У них одинаковые цены и условия доставки, аудитория обоих магазинов — бегуны. При этом первый магазин продает кроссовки только для бега по асфальту, а второй — еще и для горного бега.
Первый магазин проводит АБ тестирование и выясняет, что красная кнопка «Купить» повышает конверсию. Второй решает не тратить время на тестирование, а просто делает кнопку красной, как у конкурентов. Это приводит к падению конверсии сайта. Дело в том, что в обоих магазинах красная кнопка привлекает внимание бегунов по асфальту, но во втором магазине отталкивает тех, кто предпочитает лес и горы.
Чтобы красная кнопка конвертировала лучше в двух разных компаниях, у них должна быть одинаковая аудитория и условия, в которых она находится, один и тот же размер выборки, дизайн эксперимента и длительность тестирования. Это маловероятно, потому что каждый бизнес и каждый эксперимент уникальные. Да, мы тоже перекрашивали кнопку в красный. Не сработало.
Правильно: анализировать и вдохновляться, а не копировать. АБ тесты работают, когда за ними стоит глубокое понимание аудитории, особенностей продукта и задач бизнеса. Полезно анализировать результаты АБ тестирования других компаний, но копировать их — это потеря времени и денег.
Ошибка 2. Тестировать элементы, которые не влияют на конверсию
Тестирование элементов, которые не влияют на поведение пользователя, не увеличит конверсию. Например, цвет фона, размер шрифта или какой-то элемент внизу страницы, до которого пользователь даже не долистывает. Конверсию сайта повышают изменения, которые улучшают опыт клиента.
Допустим, онлайн-магазин по продаже диванов проводит АБ тестирование, чтобы увеличить конверсию на странице товара. Ребята из отдела маркетинга придумывают изменить цвет фона страницы с белого на теплый бежевый, чтобы сделать ее более приятной для покупателя. Эксперимент показывает, что цвет фона не повлиял на конверсию.
Тогда они на время откладывают тестирование, чтобы получить обратную связь от покупателей и провести анализ пользовательского поведения. Оказывается, что покупателю сложно найти информацию о размерах дивана, так как она спрятана во вкладке «Параметры товара». Магазин выносит информацию о размерах под описание дивана и проводит новый эксперимент, который приводит к росту конверсии на 6%.
Правильно: сфокусироваться на ключевых для аудитории элементах. Вот некоторые элементы, которые влияют на поведение пользователей, их имеет смысл тестировать:
заголовки и подзаголовки,
описание продукта,
страница с ценами,
формы оплаты или заявки,
визуальные элементы — иллюстрации, фото и видео.
Чтобы увеличить конверсию с помощью АБ тестирования, нужно изучить пользователей и их проблемы. А затем экспериментировать с теми элементами, которые препятствуют решению этих проблем.
Ошибка 3. Применять результаты A/Б-теста без учета всей воронки продаж
Иногда компания проводит АБ тестирование, видит рост конверсии, останавливает эксперимент и сразу применяет результаты тестирования. Дело в том, что конверсия может вырасти на этапе воронки, на котором проводится тест, но снизиться на следующих, и это приведет к падению конверсии в целом.
Рассмотрим эту ошибку на примере Томору. Наша классическая воронка выглядит так: пользователь заходит на сайт → открывает форму заявки → оставляет заявку → мы назначаем ему встречу → встреча состоялась.
Допустим, мы тестируем новый заголовок в форме оставления заявки и видим, что он привлекает много новых пользователей. На этапе «Пользователь оставил заявку» конверсия растет. Кажется, что эксперимент можно останавливать. Если мы это сделаем и применим результаты тестирования, то через какое-то время можем обнаружить, что доходы компании падают.
Это происходит, когда мы не учитываем, как эксперимент влияет на все этапы воронки. В нашем случае, главная цель — встреча с клиентом, а не оставленная заявка. Да, на этапе «Пользователь оставил заявку» мы получим высокую конверсию, но если пользователи, которых мы привлекли, не наша целевая аудитория и они не готовы к встрече, мы увидим падение конверсии на следующих этапах.
Правильно: проанализировать, как эксперимент повлиял на всю воронку продаж, а не только на один этап. Перед проведением АБ теста рекомендуем проанализировать воронку продаж, чтобы понять, на каких этапах мы теряем клиентов. Это помогает правильно формулировать гипотезу и выбирать для тестирования тот этап воронки, где изменения больше всего влияют на конверсию. А после проведения АБ теста лучше не бросаться внедрять результат эксперимента, а посмотреть, как он повлиял на всю воронку продаж.
Ошибка 4. Принимать статистическую погрешность за результат
При проведении АБ тестов неизбежно возникает статистическая погрешность, которую иногда принимают за реальный результат. Так получается, когда мы не можем обеспечить нужный размер выборки. Выборка — это количество пользователей, которые участвуют в тестировании. Чем оно меньше, тем выше может быть статистическая погрешность.
Например, небольшой онлайн-магазин кофе тестирует темную версию сайта. Конверсия текущей светлой версии — 5%. Магазин запускает эксперимент на 100 пользователей и видит, что конверсия темной версии сайта — 5,5%. Очевидно, что это статистическая погрешность, а не предпочтение пользователей. Разница в 0,5% слишком мала, чтобы делать вывод, что конверсия выросла, и останавливать эксперимент.
Однако магазин не признает погрешность, решает, что темная версия сайта увеличивает конверсию, и меняет цветовую схему сайта. Темная версия усложняет навигацию по сайту, пользователи путаются и теряются, конверсия сайта падает.
Правильно: не останавливать эксперимент при первых незначительных результатах. Бывает так, что в начале тестирования один вариант превосходит другой, а через несколько недель ситуация кардинально меняется. Лучше набраться терпения и вообще не смотреть аналитику в первые дни после запуска эксперимента. Рекомендуем увеличивать сроки тестирования, когда не получается обеспечить нужный размер выборки для эксперимента.
Ошибка 5. Опираться на собственные суждения
Иногда хочется принять решение о том, какой вариант страницы или элемент интерфейса лучше, на основе собственного опыта или мнения какого-нибудь эксперта. Это экономит время и силы, но приводит к тому, что мы упускаем возможность улучшить опыт пользователя и повысить конверсию сайта.
Представим дизайн-студию из Новосибирска, которая ведет канал в Телеграме. Ребята рассказывают о жизни студии, опыте работы с клиентами, публикуют советы и мемы для дизайнеров. Есть убеждение, что посты в социальных сетях лучше публиковать в девять утра понедельника. Женя, контент-маркетолог студии, решает провести исследование.
Четыре недели он публикует посты с советами всегда в девять утра, но в разные дни недели. Оказывается, что больше всего просмотров и комментариев к постам не в понедельник, а в пятницу утром. Так Женя выясняет, какой день недели лучше работает именно в его нише, с аудиторией конкретно этой дизайн-студии и таким форматом постов.
А еще оказывается, что это работает далеко не всегда и популярность постов зависит от темы и содержания, а не времени публикации, хотя некоторая корреляция всё же находится.
Правильно: доверять цифрам, а не мнениям. Чем больше у нас ожиданий от эксперимента, тем выше вероятность ошибок. Лучше всего не стремиться подтвердить ожидания, а объективно оценивать данные. Мы в Томору верим, что только опора на количественные исследования помогает принимать обоснованные решения и получать надежные результаты.
АБ тестирование — не разовая мера, а постоянный процесс. Большая часть экспериментов будет неудачной, поэтому лучше не ждать быстрых результатов. Чтобы совершать меньше ошибок, рекомендуем сместить фокус с самого процесса тестирования на клиентов компании. Лучше узнать их потребности и проблемы, собрать обратную связь, провести анализ пользовательского поведения.
Рекомендуем проанализировать, какие изменения улучшат опыт пользователя и помогут ему быстрее решить проблему, с которой он приходит на сайт. Тестирование этих изменений повысят и вашу конверсию. Чем лучше мы знаем нашу аудиторию, тем сильнее будут гипотезы для тестирования, а значит, выше вероятность успешных экспериментов.
