какие тесты достаточно выполнить чтобы убедиться что условие a or b отрабатывает корректно
A / B Тестирование — Краткое руководство
пример
Предположим, что есть веб-страница, и весь трафик направляется на эту страницу. Теперь, как часть A / B-тестирования, вы внесли некоторые незначительные изменения, такие как заголовки, нумерация и т. Д. На той же странице, и половина трафика направляется на модифицированную версию этой веб-страницы. Теперь у вас есть версия A и версия B одной и той же веб-страницы, и вы можете отслеживать действия посетителя, используя статистику и анализ, чтобы определить версию, которая дает более высокий коэффициент конверсии.
Коэффициент конверсии определяется как случай, когда любой посетитель на вашем сайте выполняет желаемое действие. A / B-тестирование позволяет вам определить лучшую маркетинговую стратегию онлайн для вашего бизнеса. Посмотрите на следующую иллюстрацию. Это показывает, что версия A дает коэффициент конверсии 15%, а версия B дает коэффициент конверсии 22%.
A / B-тестирование — как это работает
Давайте обсудим эти два метода в деталях.
Выборка данных
Количество образцов зависит от количества проведенных испытаний. Подсчет коэффициента конверсии называется выборкой, а процесс сбора этих выборок называется выборкой.
пример
Существуют различные инструменты, которые можно использовать для определения правильного количества выборки. Один из таких бесплатных инструментов —
Доверительные интервалы в А / Б тестировании
пример
Предположим, что в Продукте B мы добавили незначительное изменение, а затем провели A / B-тестирование этих двух продуктов. Доверительный интервал произведения А и В составляет 10% с ± 1% и 20% с ± 2% соответственно. Таким образом, это показывает, что незначительное изменение увеличило коэффициент конверсии. Если мы игнорируем предел погрешности, коэффициент конверсии для тестового варианта A составляет 10%, а коэффициент конверсии для тестового варианта B составляет 20%, то есть увеличение тестового варианта на 10%.
Теперь, если мы разделим разницу на коэффициент вариации управления 10% ÷ 10% = 1,0 = 100%, это показывает улучшение на 100%. Следовательно, мы можем сказать, что A / B-тестирование — это метод, основанный на математических методах и анализе. Существуют различные онлайн-инструменты, которые можно использовать для расчета значимости A / B.
A / B-тестирование — зачем использовать?
A / B-тестирование используется для принятия бизнес-решений на основе результатов, полученных на основе данных, а не просто для прогнозирования. Это позволяет вам создавать варианты вашего веб-сайта или приложения, а затем помогает вам подтвердить или отменить ваше решение о внесении изменений.
Это тестирование позволяет оптимизировать ваш сайт или приложение таким образом, чтобы повысить коэффициент конверсии. Более высокий коэффициент конверсии означает, что вы получаете больше пользы от существующих пользователей, а не платите больше за приобретение трафика. A / B-тестирование также может помочь вам изменить другие факторы в бизнесе, такие как изменение рабочей культуры и т. Д. Это поможет вам использовать математические данные и статистику, чтобы определить направление изменений вашего продукта.
Являясь ли вы дизайнером, бизнес-аналитиком или разработчиком, A / B-тестирование предоставляет простой способ использования возможностей данных и статистики для снижения рисков, улучшения результатов и повышения управляемости данными в вашей работе.
Чтобы запустить A / B тест, вы должны рассмотреть следующие пункты —
Всегда выполняйте A / B-тестирование, если есть вероятность превзойти исходное отклонение на> 5%.
Тест должен выполняться в течение значительного периода времени, чтобы у вас было достаточно выборочных данных для выполнения статистики и анализа.
Всегда выполняйте A / B-тестирование, если есть вероятность превзойти исходное отклонение на> 5%.
Тест должен выполняться в течение значительного периода времени, чтобы у вас было достаточно выборочных данных для выполнения статистики и анализа.
A / B-тестирование также позволяет максимально использовать существующий трафик на веб-странице. Стоимость увеличения вашей конверсии минимальна по сравнению со стоимостью настройки трафика на вашем сайте. ROI (возврат инвестиций) при A / B-тестировании огромен, так как несколько незначительных изменений на веб-сайте могут привести к значительному увеличению коэффициента конверсии.
A / B тестирование — что тестировать?
A / B-тестирование — это создание нескольких вариантов приложения или веб-сайта, а затем сравнение всех этих версий с использованием примеров для определения наилучшего варианта с максимальным коэффициентом конверсии. Существуют различные типы вариаций, которые могут быть применены к веб-странице или приложению. A / B-тестирование не ограничивается только приложением или веб-страницей, так как вы можете создавать варианты и для других продуктов. Все, что находится на веб-странице и может повлиять на поведение посетителя при просмотре сайта, можно проверить с помощью A / B-тестирования.
Вот список вариантов A / B-тестирования, которые можно применить на веб-странице.
Существуют различные инструменты, которые можно использовать для создания вариантов, которые вы подробно прочитаете позже в этом руководстве.
A / B Тестирование — Процесс
Фундаментальные исследования
Фоновые исследования играют важную роль в A / B-тестировании. Первый шаг — выяснить показатель отказов на сайте. Это можно сделать с помощью нескольких широко доступных инструментов фоновых исследований, таких как Google Analytics и другие.
Собирать информацию
Данные из Google Analytics могут помочь вам найти поведение посетителей на веб-сайтах. Всегда желательно собрать достаточно данных с сайта. Попробуйте найти страницы с низким коэффициентом конверсии или высоким коэффициентом возврата, которые можно еще улучшить. Также рассчитайте количество посетителей в день, необходимое для запуска этого теста на сайте.
Установить бизнес-цели
Следующим шагом является установление целей вашего бизнеса или конверсии, что поможет понять, в чем заключается цель. Как только это будет сделано, вы сможете найти метрики, определяющие, является ли новая версия более успешной, чем ее оригинальная версия.
Построить гипотезу
После того, как цель и метрики были установлены для A / B-тестирования. Следующий шаг — найти идеи о том, как улучшить оригинальную версию и как сделать ее лучше текущей. Когда у вас есть список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.
Например, одним из наиболее эффективных способов является добавление изображений на сайт, что поможет в некоторой степени снизить показатель отказов.
Создать Вариации / Гипотеза
На рынке есть много инструментов A / B-тестирования, которые имеют визуальный редактор для эффективного внесения этих изменений. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента. Некоторые из наиболее доступных инструментов —
Существуют различные типы вариаций, которые можно применить к объекту, такие как использование маркеров, изменение нумерации ключевых элементов, изменение шрифта и цвета и т. Д.
Запуск вариаций
Представьте посетителям все варианты вашего сайта или приложения. Их действия будут контролироваться для каждого варианта. Кроме того, это взаимодействие посетителей для каждого варианта измеряется и сравнивается, чтобы определить, как работает конкретный вариант.
Анализировать данные
Как только этот эксперимент будет завершен, следующим шагом будет анализ результатов. Инструмент A / B Testing представит данные эксперимента и расскажет вам разницу между производительностью и эффективностью различных версий веб-страницы. Он также покажет, есть ли существенная разница между вариациями с помощью математических методов и статистики.
Например, если изображения на веб-странице снизили показатель отказов, вы можете добавить больше изображений, чтобы увеличить конверсию. Если вы не видите изменений в уровне отказов из-за этого, вернитесь к предыдущему шагу, чтобы создать новую гипотезу / вариант для проведения нового теста.
A / B-тестирование — сбор данных
Данные из Google Analytics могут помочь вам найти поведение посетителей. Всегда желательно собрать достаточно данных с сайта. Попробуйте найти страницы с низким коэффициентом конверсии или высоким коэффициентом возврата, которые можно улучшить. В этой главе мы обсудим несколько инструментов, которые можно использовать для сбора данных для A / B-тестирования.
Google Analytics / Mix Panel (Инструмент аналитики)
На большинстве веб-сайтов установлена Google Analytics, чтобы понять, как посетители взаимодействуют с сайтом. Если у вас не установлена Google Analytics для мониторинга трафика, вы можете установить ее из Интернета. Google Analytics является одним из лучших аналитических инструментов, доступных бесплатно.
Чтобы установить Google Analytics на свой веб-сайт, вы можете просто скопировать код и развернуть его на своем сайте, и вы получите достаточное количество данных для работы. Вы также можете применить настройку инструмента для достижения ваших бизнес-целей.
Mouse Flow / Crazy Egg (Инструменты воспроизведения)
Инструменты воспроизведения используются для лучшего понимания действий пользователя на вашем сайте. Это также позволяет вам нажимать карты и тепловые карты кликов пользователей, чтобы проверить, как далеко пользователи просматривают сайт.
Инструменты воспроизведения, такие как Mouse Flow, позволяют просматривать сеанс посетителя таким образом, как если бы вы были с самим посетителем. Инструменты для воспроизведения видео дают более глубокое представление о том, как будет выглядеть посещение различных страниц на вашем сайте.
WebEngage (Инструменты опроса)
Инструменты опроса используются для сбора качественных отзывов с сайта. Это включает в себя задание возвращающимся посетителям некоторых вопросов опроса. Этот опрос задает им общие вопросы, а также позволяет им вводить свои взгляды или выбирать из предложенных вариантов.
Другие инструменты — чат, электронная почта
Онлайн чат позволяет посетителю получать быстрые ответы от службы поддержки клиентов и помогает быстрее разрешить ситуацию. Это также поможет вам получить общие вопросы от посетителей и собрать данные для тестирования.
A / B-тестирование — определение целей
Следующий шаг — установить цели конверсии. Найдите метрики, которые определяют, является ли вариант более успешным, чем исходная версия. Цели исходят из ваших бизнес-целей, поэтому, например, если вам нужно увеличить продажи одежды с точки зрения целей, это может быть как —
Далее следует определить показатели, которые соответствуют вашим бизнес-целям. Метрика становится KPI (ключевым показателем эффективности) только тогда, когда она измеряет что-то, связанное с вашими целями.
Пример 1
Бизнес-цель вашего магазина одежды — продавать одежду, поэтому KPI этой бизнес-цели может быть количеством одежды, продаваемой в Интернете. Вам необходимо четко определить цели вашего бизнеса, иначе вы не сможете определить свои ключевые показатели эффективности. Если вы правильно установите KPI и будете периодически измерять их, вы будете придерживаться своей стратегии, чтобы создавать варианты и проводить A / B-тестирование. Далее нужно найти целевые показатели для ваших бизнес-целей.
Пример 2
Ваш магазин одежды продал 100 товаров на прошлой неделе. Это нормально или плохо? Чтобы ваши KPI что-то значили для вас, им нужны целевые показатели. Определите цель для каждого KPI, который важен для вас. После того, как вы определите бизнес-цели и целевые показатели, у вас будет структура, которая поможет определить, соответствует ли работа, которую вы будете выполнять, целям вашего бизнеса или нет.
A / B-тестирование — создание гипотезы
После определения ваших бизнес-целей следующим шагом будет создание идей A / B-тестирования и гипотезы о том, почему вы думаете, что они будут лучше, чем текущая версия. Создайте список всех гипотез, которые, по вашему мнению, вы можете создать, расставьте приоритеты для всех вариантов с точки зрения ожидаемого воздействия и способов их реализации с использованием различных инструментов.
пример
Вы можете уменьшить показатель отказов, добавив больше изображений внизу. Вы можете добавить ссылки на различные социальные сайты, чтобы увеличить коэффициент конверсии.
A / B-тестирование — создание вариантов
Поскольку A / B Testing — это создание новых версий приложения или веб-страницы, а затем сравнение всех версий, чтобы увидеть коэффициент конверсии. Вы можете улучшить коэффициент конверсии, проанализировав статистику, чтобы проверить новые варианты.
Существуют различные типы вариаций, которые можно применять к объекту, такие как использование маркеров, изменение нумерации ключевых элементов, изменение шрифта и цвета и т. Д. На рынке имеется множество инструментов A / B-тестирования, в которых есть визуальный редактор эти изменения эффективно. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента. Некоторые из наиболее доступных инструментов —
Визуальный оптимизатор веб-сайтов (VWO)
Визуальный оптимизатор веб-сайта позволяет тестировать несколько версий одной страницы. Он также содержит редактор «что видишь, то и получаешь» (WYSIWYG), который позволяет вносить изменения и запускать тесты без изменения HTML-кода страницы. Вы можете обновить заголовки, нумерацию элементов и запустить тест, не внося изменений в ИТ-ресурсы.
Чтобы создать варианты в VWO для A / B-тестирования, откройте свою веб-страницу в редакторе WYSIWYG, а затем примените следующие изменения к веб-странице:
Эксперименты по контенту Google
Это позволяет создавать до пяти вариантов любой веб-страницы, а затем загружать все страницы в Google Analytics для проведения A / B-тестирования. Google Content Experiment используется для измерения результатов всех вариантов и определения варианта с максимальным коэффициентом конверсии. Основным преимуществом использования Google Content Experiment является то, что это бесплатная программа от Google, но вы должны загрузить варианты в Google Analytics, чтобы выполнить тест.
Optimizely
Это программное обеспечение может работать на вашей веб-странице, выполняя однострочный фрагмент JavaScript. Фрагмент кода определяется как однострочный код, который будет загружать Optimizely на ваш сайт и изменять восприятие посетителей на вашем сайте.
Чтобы протестировать мобильное приложение с помощью Optimizely, оно запускается с помощью Software Development Kit для iOS и / или Android. Оптимальный запуск на вашей веб-странице собирает данные о посетителях сайта и коэффициентах конверсии и запускает их в Stats Engine, чтобы определить, какой вариант является победителем или проигравшим. Как только эти статистические данные сравниваются с целевыми целями и устанавливают метрики, они помогают вам принимать решения относительно варианта, который будет применен на веб-сайте.
Оптимизировать позволяет выполнять эти тесты —
A / B Тестирование — Эксперимент
Он включает в себя представление всех вариантов вашего веб-сайта или приложения посетителям, и их действия контролируются для каждого варианта. Взаимодействие посетителей для каждого варианта измеряется и сравнивается, чтобы определить, как работает этот вариант.
Как обсуждалось в предыдущей главе, существуют различные инструменты, которые могут быть использованы для создания гипотезы и запуска вариантов —
Визуальный Оптимизатор Веб-сайта
Существуют различные инструменты A / B-тестирования, которые позволяют специалистам по маркетингу создавать различные варианты своих веб-страниц с помощью редактора «укажи и щелкни». Он не требует никаких знаний HTML, и вы можете проверить, какая версия обеспечивает максимальный коэффициент конверсии или продаж.
Запуск программного обеспечения VWO для сплит-тестирования очень прост, поскольку вам просто нужно скопировать вставить фрагмент кода на свой веб-сайт, и вы можете легко сделать его доступным для посетителей. Visual Website Optimizer также предоставляет возможность многовариантного тестирования и содержит другое количество инструментов для выполнения поведенческого таргетинга, тепловых карт, юзабилити-тестирования и т. Д.
В VWO есть несколько функций, которые обеспечивают все ваши действия по оптимизации коэффициента конверсии. Многие предприятия и небольшие интернет-магазины используют программное обеспечение A / B Testing VWO для оптимизации целевых страниц, а также для увеличения продаж своих веб-сайтов и повышения коэффициентов конверсии.
Вот некоторые из ключевых особенностей VWO:
Как это устроено?
Оптимизированный запуск на вашей веб-странице собирает данные о посетителях сайта, коэффициентах конверсии и запускает их в Stats Engine, чтобы определить, какой вариант является победителем, а какой — проигравшим. После того, как эта статистика будет сопоставлена с целевыми целями и установленными показателями, она поможет вам принять решение относительно варианта, который будет применен на веб-сайте.
Эксперименты по контенту Google
Это позволяет создать до пяти вариантов веб-страницы, а затем загрузить все эти страницы в Google Analytics для проведения A / B-тестирования.
A/B тест — это просто
A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.
Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.
Зачем нужны А/B тесты?
Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.
Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.
Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.
Как проводим тесты?
Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.
Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.
Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.
Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.
Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.
Что улучшаем?
Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.
Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.
Конверсия
Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.
Экономические метрики
Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.
Поведенческие факторы
К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).
Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.
Анализ результатов
Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.
Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.
Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?
Ниже на картинках приведены примеры распределения значений показателя в сегментах.
Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.
На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.
Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.
Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.
Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.
Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.
Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.
Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.
Оценить значимость результатов
Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.
Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.
В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.
Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.
В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.
Инструменты
Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.
Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.
Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.