Что представляет собой A/B тестирование и для чего этот метод нужно
A/B проверка составляет собой способ сравнения пары или разных версий веб-страницы, дизайна, текста, кнопки, формы, рассылки, рекламного объявления или прочего онлайн элемента. Его цель состоит в необходимости этом, дабы определить, какая формат результативнее работает на фактической аудитории. Без опоры на предположений плюс субъективных оценок применяется эксперимент в рамках живой аудитории, при которой одна доля просматривает вариант A, а другая — формат B.
Такой подход дает возможность выбирать решения по базе информации, но не на субъективных предпочтений а также случайных замечаний. В рамках аналитических материалах, включая 1вин, часто отмечается, будто А/Б проверка особо эффективно в ситуациях, когда точечные изменения имеют шанс воздействовать на действия аудитории: переходы, создания аккаунтов, заполнение заявок, объем просмотра, лояльность, транзакции, подписки или другие целевые результаты. Метод позволяет увидеть, реально ли правка повышает 1win результат.
Как работает A/B эксперимент
Принцип А/Б эксперимента довольно понятен. Сначала берется элемент, который требуется проверить. Это имеет шанс стать заголовок, визуальный тон элемента действия, порядок элементов, текст сообщения, структура поля ввода, картинка, тариф, формат оффера либо расположение ключевого шага. После этого создаются минимум двух решения: первоначальный плюс измененный. После этого посещения делится среди ними на основе до запуска установленным правилам.
Контрольная группа посетителей продолжает получать старую страницу, а другая получает обновленную. Инструмент собирает показатели касательно реакциях любой категории затем сопоставляет показатели. Когда вариант B показывает более высокий результат при нужном объеме наблюдений, его получается запускать. В случае если разницы нет или обновленная вариация показывает себя хуже, правка не принимается. Именно в этом и заключается реальная ценность проверки: он позволяет оценивать гипотезы до массового 1вин внедрения.
Для чего используется A/B тестирование
сплит эксперимент нужно с целью уменьшения неясности. Внутри веб продуктах включая малая правка имеет шанс влиять по части оценку интерфейса. Один текстовый блок имеет шанс оказаться понятнее иного, короткая анкета может отправляться активнее объемной, при этом заметно более видимая кнопка действия способна повысить количество кликов. Без эксперимента такие результаты обычно остаются гипотезами.
Метод позволяет улучшать продукт поэтапно. Вместо полной реконструкции всего сайта либо приложения можно проверять отдельные объекты а также измерять фактический показатель. Такой подход уменьшает риск ошибочных изменений, сберегает ресурсы а также дает возможность формировать данные касательно реакциях посетителей. Со накоплением тестов команда 1 win формирует не совокупность оценок, вместо этого базу проверенных подходов.
Какого типа блоки получается проверять
Проверять получается почти что разный объект, который сказывается на поведение аудитории. Чаще преимущественно оценивают headline-блоки, вторичные заголовки, CTA к действию, формулировки кнопок, формы создания профиля, позицию блоков, изображения, страницы продуктов, последовательность этапов, фильтры, список разделов, промоблоки, сообщения, рассылки и промо креативы. Важно, дабы выбранный элемент был связан с определенной точной метрикой.
Если ориентир проявляется в повышении заполненных форм, разумно сравнивать анкету, формулировку возле этого блока, число элементов ввода и выразительность элемента действия. В случае если нужно усилить длину изучения, следует оценивать переходы, секций предложений, связанные линки а также структуру страницы. Если прямее зависимость 1win между корректировкой плюс метрикой, тем полезнее результат проверки.
Проверяемая идея в качестве основа эксперимента
Любой качественный A/B тест начинается на основе гипотезы. Предположение формулирует, какое правка планируется, из-за чего такая правка имеет шанс повлиять по части показатель плюс какой показатель должен сдвинуться. В частности, можно сформулировать, будто упрощение заявки создания профиля уменьшит число отказов, потому что человеку потребуется меньший объем времени для завершения действия.
Качественная гипотеза не может быть чрезмерно широкой. Фраза типа «изменить интерфейс лучше» не помогает зафиксировать результат. Более точный формат: «когда заменить объемный формулировку CTA на короткий а также конкретный, объем кликов увеличится, так как ведь ожидаемый результат станет понятнее». Такая формулировка непосредственно 1вин задает объект теста, логику и критерий.
Базовая плюс измененная аудитории
Внутри А/Б эксперименте исходная группа получает исходный вариант, и проверочная — новый. Это распределение необходимо с целью корректного анализа. Если без контроля обновить версию и сравнить метрики перед а также после изменения, итог может стать неточным по причине сезонности, промо нагрузки, перестройки каналов пользователей, информационного фона, системных ошибок либо иных окружающих причин.
Синхронный показ разных решений уменьшает воздействие непредвиденных факторов. Обе выборки находятся на уровне похожей ситуации: единый а также же же период, одинаковые идентичные каналы посещений, похожие платформы а также общий контекст. Из-за этого различие по показателях с высокой 1 win большей долей уверенности соотносится как раз с корректировкой, но не с сторонними обстоятельствами.
Какие именно метрики используются при А/Б тестах
Критерий — представляет собой показатель, согласно чему оценивается итог эксперимента. Подбор критерия определяется на основе назначения теста. В случае лендинга с активной заявкой важны заполнения заявок, ради интернет-магазина — добавления в покупку и транзакции, для медиаресурса — длина изучения плюс период сессии, для аппа — создания аккаунтов, активации, retention а также следующие 1win события.
Необходимо различать главную и вторичные метрики. Основная показывает, для чего проводится проверка. Вспомогательные позволяют оценить вторичные эффекты. К примеру, изменение CTA может повысить переходы, однако уменьшить качество дальнейших событий. Из-за этого разумно смотреть не только лишь на начальный шаг, однако также по следующее развитие: окончание заявки, возвращения, выходы, сбои а также итоговую эффективность события.
Расчетная существенность
Статистическая существенность демонстрирует, как реалистично, что наблюдаемая разница в паре решениями не считается оказывается случайной. Если конкретный вариант немного превосходит альтернативный вслед за ряда малого числа визитов, такой результат пока не подтверждает означает победу. В условиях ограниченном количестве наблюдений показатель может быстро измениться, когда 1вин группа окажется шире.
Ради корректного вывода требуется нужное количество событий. Если меньше ожидаемая отличие между вариантами, настолько значительнее наблюдений необходимо собрать. Если правка обязано повысить результат лишь на пару процентных пунктов, тесту потребуется повышенный объем времени а также посещений. Расчетная значимость позволяет избегать принимать быстрые выводы по основе нестабильных изменений.
Размер выборки и длительность проверки
Объем аудитории влияет по части достоверность результата. Когда проверка видит чрезмерно ограниченный объем пользователей, заключения могут стать ненадежными. В частности, несколько лишних кликов в одной группе имеют шанс выглядеть как увеличение, но в условиях большем масштабе станут простой случайностью. Поэтому до момента начала разумно оценивать, какое количество пользователей 1 win либо событий потребуется ради проверки идеи.
Срок проверки также имеет значение. Чрезмерно сжатый эксперимент имеет шанс не показывать расхождения среди рабочими плюс выходными сутками, рабочей и поздней реакцией, несколькими каналами трафика. Чаще всего тест должен охватывать целый период активности аудитории. При этом чрезмерно затянутый период проверки тоже неоптимален, когда сторонние обстоятельства успевают ощутимо сдвинуться.
По какой причине нельзя изменять эксперимент во время запуска
Распространенная среди распространенных ошибок — вносить корректировки внутрь эксперимент после момента запуска. В случае если в процессе проверки изменить формулировку, сегмент, интерфейс, правила вывода или задачу, показатели смешаются. В таком случае окажется сложно определить, какой фактор именно воздействовало в отношении результат. Проверка потеряет корректность, при этом заключения окажутся ненадежными 1win.
До начала следует определить предположение, варианты, показатели, разбивку аудитории а также критерии окончания. Вслед за запуска лучше не корректировать тест без важной основания. В случае если найдена ошибка внутри настройке а также системный проблема, лучше остановить тест, починить проблему затем создать другой эксперимент, нежели пытаться объяснять смешанные наблюдения.
Одновременное проверка многих корректировок
Иногда формируется стремление оценить одновременно ряд правок: обновленный headline, другую кнопку, сокращенную форму плюс обновленный порядок секций. Подобный метод способен показать суммарный эффект, но не сможет раскроет, какого типа именно фактор воздействовал на показатель. В случае если новая страница оказалась лучше, будет непонятно, что сработало сильнее остального.
С целью корректной оценки чаще всего меняют один значимый фактор за 1вин раз. Когда требуется проверить несколько комбинаций, применяется многовариантное эксперимент. Такой метод многоуровневее, нуждается повышенного объема посещений и корректной оценки. Для основной части сценариев A/B проверка с одной понятной идеей дает гораздо более чистый плюс практичный результат.
Примеры сплит тестирования внутри UI
Внутри интерфейсах А/Б эксперимент нередко применяется ради повышения доступности шагов. К примеру, получается сопоставить пару форматы формы: длинную с полным количеством элементов ввода плюс краткую с минимальным числом полей. В случае если упрощенная форма повышает объем завершенных регистраций без ухудшения результативности обращений, ее можно признавать более эффективной.
Еще один случай — сравнение надписи CTA. Общая фраза может быть гораздо менее очевидной, относительно конкретное объяснение результата. Также сравнивают позицию CTA-элементов, очередность информационных блоков, оформление 1 win подсказок, присутствие индикатора прогресса, способ вывода сбоев плюс объем шагов в процессе. Каждый этот объект воздействует в отношении то, насколько удобно окончить нужное шаг.
A/B проверка в контенте
В материалах проверка позволяет определить, какие названия, описания, построения и типы эффективнее удерживают внимание. Можно сопоставлять отличающиеся первые абзацы, длину текста, логику аргументов, присутствие списков, оформление карточек, описание плюсов или формат раскрытия трудной темы. При этом важно измерять не исключительно переходы, но также следующее действие.
Заголовок способен увеличить объем переходов, но когда содержание не отвечает запросам, повысится часть отказов. Из-за этого редакционные проверки нужны чтобы принимать во внимание ценность взаимодействия: время изучения, прокрутку, перемещения на уровне сайта, возвращения плюс выполнение целевых действий. Качественный итог — это не просто исключительно привлечение клика, а совпадение ожидания и контента.
А/Б тестирование внутри email-кампаниях
Внутри почтовых рассылках часто сравнивают заголовки сообщений, имя адресанта, стартовые строки, время рассылки, длину email, расположение элементов действия плюс формулировки условий. Один сегмент аудитории получает первую вариацию сообщения, второй сегмент — тестовую. Вслед за этого сопоставляются открытия, нажатия, отказы от подписки, жалобы и последующие реакции в пределах платформе.
Существенно не нужно ограничиваться метрикой open rate. Заголовок email имеет шанс быть яркой а также привлекать реакцию, но когда тема не соответствует наполнению, переходы и лояльность имеют шанс ослабнуть. Из-за этого корректный почтовый эксперимент анализирует цельную воронку: просмотр, клик, действия сразу после нажатия плюс реакцию получателей касательно рассылку.
