A/B тестирование, также известное под названием «сплит-тестирование», является одним из наиболее эффективных способов измерить и оптимизировать (при этом научным образом) эффективность вашего присутствия в Интернете. Данное тестирование берет две версии определенного материала, например, это может быть целевая страница, затем одновременно запускает их перед одинаковыми по размеру аудиториями и сравнивает, какая из версия функционирует успешней. A/B тестирование настолько популярно и вызывает доверие у маркетологов благодаря тому, что при его выполнении должным образом, вы получаете точную информацию о том, какие изменения нужно внести, чтобы ваша компания стала успешней, а не просто предположения, основанные на догадках.

Вопросы о том, как провести A/B тестирование должным образом можно в изобилии обнаружить в Сети. Поэтому, чтобы помочь вам и всем тем, кто пытается запустить свое A/B тестирование, я поискал самые часто задаваемые вопросы и теперь готов выложить их, снабдив ответами. Итак, ЧАВО по A/B тестированию… Поехали!

Когда нужно использовать A/B тестирование?

Чаще всего A/B тестирование проваливается из-за нечеткости поставленных целей, так что вы и не знаете, что собираетесь тестировать. Вы можете использовать A/B тестирование для проверки, к примеру, теории, приведет ли к увеличению посещаемости целевой страницы добавление изображения на нее? Люди больше расположены нажимать на синюю кнопку или красную? Что произойдет, если изменить заголовок, чтобы подчеркнуть временный характер предложения? Все вышеперечисленные изменения легко описать количественно. У людей возникают проблемы с A/B тестированием в том случае, когда поставленная ими цель слишком расплывчата: например, если они хотят сравнить два совершенно разных дизайна с различными вариантами. Хотя это и можно сделать, но если явного победителя не выявится, то можно ошибиться или неверно истолковать причину повышения числа переходов.

Какое оптимальное количество вариантов должно быть в A/B тестировании?

Предположим, у вашей команды маркетологов прошел мозговой штурм, в ходе которого были придуманы четыре классных идеи дизайна целевой страницы. Можно попытаться запустить тестирование всех четырех, чтобы определить победителя, но мы столкнемся с той же ситуацией, что была описана выше – если присутствует больше двух вариантов, то это нельзя назвать настоящим A/B тестированием. Ряд особенностей каждого дизайна может повлиять на чистоту тестирования. Мутить воду, так сказать. Красота A/B тестирования заключается в том, что его результаты просты и конкретны. Я бы рекомендовал запускать не больше двух версий, потом вторую пару, а после сравнить победителей. Представьте, что тест – это игра на выбывание.

Что такое нулевая гипотеза?

Нулевая гипотеза гласит, что любое расхождение в результатах является результатом ошибки выборки или стандартной вариации. Подумаем об этом на примере монетки. Хотя в теории шанс выпадения орла или решки равняется 50\50, но на практике иногда вероятность составляет 51\49 или нечто другое в зависимости от шанса. Однако, чем больше раз вы подкинете монету, тем ближе вы подойдете к вероятности 50\50. В статистике, способ с помощью которого вы пытаетесь доказать верность или неверность теории называется оспариванием нулевой гипотезы. Оно заключается в том, что эксперимент проводится достаточно долго для того, чтобы исключить случайный результат. Эта концепция также носит название достижения статистической значимости.

Сколько нужно просмотров страницы, чтобы результат A/B тестирования был достоверен?

Перед тем, как вы сможете обработать результаты A/B тестирования, следует убедиться, что тестирование достигло статистической значимости. Эта точка, при которой вы получите процент уверенности в результате 95 или выше.
Хорошей новостью для вас будет то, что у многих тестировочных инструментов показатели статистической значимости уже встроены, так что вам сразу же сообщат, когда тестирование будет готово для интерпретации. Если же встроенная функция отсутствует – не расстраивайтесь, есть множество бесплатных калькуляторов и программ, рассчитывающих статистическую значимость. Вот тут есть ссылка на HubSpot , а также вы можете просмотреть блог «Бритва Оккама» для получения более подробного шаблона из Excel.

Что такое мультивариантное тестирование и каковы его отличия от A/B тестирования?

А/B тестирование обычно используется при редизайне для того, чтобы проверить эффективность конкретного изменения или теории на соответствие поставленной цели (например, привлечение количества операций). Мультивариантное тестирование рассчитано на то, что его будут использовать для проверки малых изменений на протяжение долгого периода времени. Оно работает с несколькими элементами вашего сайта и тестирует все возможные комбинации этих элементов с целью своевременной оптимизации. А/B тестирование – отличный метод, когда значимый результат необходим вам быстро. Благодаря тому, что отличия между страницами настолько ярки, становится гораздо проще сказать, какая из них будет эффективней. Этот метод также будет хорош, если через ваш сайт не проходят гигабайты трафика. Из-за того, что несколько вариантов тестируются с помощью мультивариантного тестирования, то чтобы получить значимые результаты, вам нужен сайт с большим трафиком.

Если у вас достаточно трафика для того, чтобы успешно провести мультивариантное тестирование, (хотя вы можете провести и A/B тестирование, если хотите проверить абсолютно новый дизайн или макет) то можете смело его использовать, если планируете внести минимальные изменения в страницу и понять, как определенные элементы взаимодействуют один с другим и какое воздействие они оказывают на уже существующий дизайн.

Существует ли негативное влияние A/B тестирования на SEO?

Существует миф о том, что A/B тестирование негативно влияет на рейтинг в поисковых системах, поскольку его проведение может быть классифицировано как дублированный контент, чего поисковые системы очень не любят. Однако этот миф не имеет под собой никаких оснований. На самом деле, даже Мэтт Катт из Google советует проводить A/B тестирование для того, чтобы увеличить функциональность вашего сайта. На сайте Website Optimizer вы можете найти статью , посвященную этому мифу с доказательствами того, что он неверен. Если же вы все еще беспокоитесь, то можете добавить тег «no index» в изменениях страницы. Подробные инструкции о том, как использовать тег можно найти здесь .

Как и когда я могу интерпретировать результаты сплит-тестирования?

Тестирование начинается. Начинают накапливаться первые результаты. И вы уже рветесь проверить, какой же из вариантов эффективнее. Но ранние этапы тестирования – не самое лучшее время для того, чтобы начинать интерпретировать результаты. Подождите того момента, когда тестирование достигнет статистической значимости (смотрите вопрос №4) и затем вернитесь к исходной гипотезе. Тест окончательно подтвердил ее или опроверг? Если да, то можете начинать делать выводы. При анализе теста, старайтесь остаться беспристрастны, соотнося полученные результаты с конкретными изменениями. Убедитесь, что существуют четкие связи между внесенными изменениями и результатом, а также, что на него не повлияли никакие сторонние силы.

Сколько элементов мне стоит тестировать?

Хотите, чтобы ваше A/B тестирование было убедительным? Тратьте на него время, чтобы получить четкий и действенный ответ! Проблема с тестированием нескольких изменяющихся элементов заключается в том, что вы не в состоянии определить, какой из них вызвал изменения. Таким образом, хотя вы и можете увидеть, что одна страница функционирует лучше, чем другая, но при наличии трех или четырех изменившихся элементов вы не можете быть уверены, не наносит ли один из них ущерб странице, а также не можете воспроизвести удачные элементы на других страницах. Каков мой совет? Проведите серию тестов с каждым элементом по методу перебора и сможете узнать, какой из них окажется наиболее эффективным.

Что мне тестировать?

Что вы захотите протестировать – зависит только от вас, но я бы порекомендовал начать с нескольких «краеугольных камней» вашей страницы.

• Призывы к действию: даже при наличии одного элемента призыва к действию, все равно можно найти много того, что стоит протестировать. Вам всего лишь следует убедиться в том, что вы четко представляете, какой аспект призыва к действию вы тестируете. Можете проверить текст – это тот аспект призыва, который заставляет действовать читателя. Можете проверить расположение на странице, можете – форму и стиль внешнего вида. В приведенном ниже примере, была проверена форма и стиль призыва к действию, с целью выяснить, какой из них будет функционировать лучше. Вариант в форме кнопки (справа) работает значительно лучше чем включенное в изображение, благодаря чему количество операций увеличилось на 13%.
  
• Заголовок: обычно заголовок – первая вещь, которую посетитель видит на вашем сайте, поэтому силу его потенциального воздействия нельзя недооценивать. Попробуйте использовать различные варианты заголовков в A/B тестировании. Убедитесь в том, что разница в позиционировании заголовка велика и заключается не только в игре словами. Сделайте это, чтобы вы уверились в том, что же вызвало изменения.
• Изображения: Что эффективней? Изображение человека, использующего ваш продукт или изображение самого продукта? Протестируйте различные версии страниц с альтернативными изображениями, чтобы увидеть, есть ли разница в действиях пользователей.
• Длина текста: Привело ли сокращение текста на странице к созданию ясного месседжа или вам все еще нужны дополнительные послания, чтобы объяснить суть вашего предложения? Проба различных вариантов основного текста поможет определить, какое количество пояснений требуется читателю для совершения действия. Чтобы тестирование прошло корректно, сохраняйте текст и варьируйте только его объем.

Можно ли проводить A/B тестирование чего-либо кроме веб-страниц?

Да! Кроме тестирования целевых страниц и веб-страниц, многие маркетологи проводят A/B тестирование e-mail писем, PPC (оплата за клик) кампаний и призывов к действию.

• E-mail: Тестирование переменных для E-mail включает в себя тестирование темы письма, функций персонализации, имени отправителя и многого другого.
• PPC: В случае платных поисков или кампаний вы можете провести A/B тестирование заголовка, основного текста ссылки или ключевых слов.
• Призывы к действию: В этом случае, вы можете попробовать варьировать текст, его форму, цвет или расположение на странице.

Как мне найти A/B тестирование для компаний, аналогичных моей?

Существует ряд сайтов, которые предоставляют примеры и результаты совокупных A/B тестирований. Некоторые из них позволяют выполнить поиск по типу компании, и большинство из них предоставляют подробную информацию о том, как компания интерпретировала результаты теста. Если вы только начинаете, то неплохо будет прочитать некоторые из этих сайтов на предмет получения идей того, как протестировать вашу собственную компанию.

• Which Test Won : сайт Анны Голланд. Здесь есть ряд примеров, а также несколько ежегодных конкурсов, для которых вы можете предложить собственные варианты тестирований.
• Visual Website Optimizer: это сайт разработчика ПО для A/B тестирования и в своих блогах тот предлагает ознакомиться с рядом примеров, на которых вы можете поучиться.
• ABTests.com : Этот сайт больше не обновляется, однако на нем есть хороший архив тестов и шаблонов, а также ссылки на исходники тестов. Сайт был основан UX директором компании HubSpot Джошем Портером, который помимо этого дает дельные советы по проведению A/B тестирования в своем блоге, расположенном по адресу bokardo.com .

Что делать, если я не доверяю результатам?

Если вы действительно не доверяете результатам и при этом исключили любые ошибки и проблемы при проведении теста, то лучшее, что вы можете сделать – это провести его еще раз. Отнеситесь к нему, как к совершенно отдельному тесту и посмотрите, получится ли воспроизвести результаты, полученные ранее. Если воспроизведение удается снова и снова, значит результату определенно можно доверять.

Как часто мне следует проводить A/B тестирование?

Это зависит от перспектив. Хорошей идеей будет проводить тестирование постоянно для итерации вашего сайта. Только убедитесь в том, что у вашего теста есть четкая цель, которая приведет к увеличению функциональности сайта как для посетителей, так и для компании. Если же вы проводите тесты, результатом которых являются минимальные изменения или выигрыши, тогда вам стоит пересмотреть свои стратегию тестирования.

Что мне нужно, чтобы начать A/B тестирование на своем сайте?

Лучшим способом запустить A / B тестирование будет использование программы, разработанной для этого — например от HubSpot , Unbounce или Visual Website Optimizer . Если вас не смущает копание в коде, то Google предлагает бесплатный инструмент под названием Эксперименты в составе Google Analytics. Он немного отличается от стандартного A / B тестирования, но если вы технически продвинуты, то вы можете его попробовать.

Помимо размера выборки, каких еще ошибок мне опасаться?

MECLABS в прошлом году провела большое исследование, посвященное опасностям помимо размера выборки, которые могут повлиять на валидность теста. Я приведу пару типичных ошибок из него:

• Эффект истории: Что-то произошедшее во внешнем мире негативно повлияло на результаты вашего тестирования.
• Эффект инструмента: ошибка в тестировочном ПО исказила результаты тестирования.

Следует ли мне тестировать главную страницу сайта?

Хотя я и не стал бы полностью исключать A/B тестирование главной страницы, я, тем не менее, скажу, что добиться убедительных результатов от этого тестирования будет сложно. Через эту страницу проходит случайное количество трафика, приходящего от случайных посетителей, потенциальных клиентов и покупателей. На главной странице, как правило, располагается куча материалов, так что сложно будет уместить в один тест все, что необходимо для определения того, что движет покупателем. Наконец, из-за разнообразия людей, посещающих вашу страницу, сложно будет определить цель, с которой они ее посещают. Вы можете предположить, что ваша цель заключается в проверке преобразования типа потенциальный клиент – покупатель. Однако, если в ходе испытаний выбранная вами выборка будет посещаться в основном действующими, а не потенциальными клиентами, то цель изменится. Если вы хотите протестировать главную страницу, подумайте о возможности тестирования призывов к действию.

Что, если у меня нет контрольной версии?

Контрольная версия — это существующая версия целевой страницы или веб-страницы, относительно которой вы проводите тестирование. Иногда вам может понадобиться протестировать две версии страницы, которая никогда прежде не существовала… что ж, окей. Просто выберите один из вариантов и назовите его контрольным. Попробуйте выбрать тот, который больше всего отвечает нынешнему дизайну страниц, а остальные используйте в качестве материала для тестирования.

Почему сплит проходит не точно 50\50?

Иногда во время A/B тестирования вы можете заметить, что количество трафика на каждой из переменных не идентично. Это не значит, что с тестом что-то не то, просто случайные выборки работают… случайно. Вспомните про подкидывание монеты. Шанс, что выпадет орел или решка – 50\50, но иногда выпадают три решки подряд. Чем больше трафика пройдет через ваш сайт – тем ближе цифры станут к соотношению 50\50.

Когда моя версия выигрывает A/B тестирование, могу ли я ткнуть коллегам результатами в лицо?

Знаю, заманчиво, тем более, что они были так уверены, что добавление анимированных GIF приведет к увеличению числа действий. Но давайте действовать профессионально. Представьте результаты, постройте план продвижение вашего убер-дизайна, а потом, когда никто не увидит… станцуйте победный танец:

Фух, это начало ЧАВО по A/B тестированию. Какие у вас есть вопросы по A/B тестированию , на которые я еще не ответил? Оставьте их ниже, и я постараюсь на них ответить!

Оригинал: http://salesfunnel.ru/analytics/19-samy-h-chasto-zadavaemy-h-voprosov-ob-a-b-testirovanii/

Андрей Анисимов
Руководитель отдела контекстной рекламы и веб-аналитики в Реаспект

«А/Б» и «Мультивариантные» тестирования являются неотъемлемой частью работы специалистов по интернет маркетингу. Этот инструмент — спасение от «Лиц, принимающих решения», которые говорят: «Хочу, чтобы было так!», спасение от горе дизайнеров, которые говорят на основании своей «Экспертизы» как надо делать сайты. Этот инструмент — великолепное решение для эволюционного пути развития вашего сайта. И если в вашей компании работает специалист по интернет маркетингу, который не проводит подобные эксперименты над сайтом — гоните его взашей!

Автор статьи очень понятно описал основные принципы проведения экспериментов. С рядом вопросов можно не согласиться, однако, в общем — информация представлена корректно.

Хочется обратить внимание на еще один очень важный момент. Использование «А/Б» и «Мульти» — тестов при редизайне — это закон. Но глобальные изменения проводятся не каждый день, а сайт должен постоянно развиваться. Следовательно, и тесты должны проводиться также постоянно. Но как определить — над каким именно элементом надо провести эксперимент? Ничего гадать или шаманить не надо, для этого вам в помощь предоставлен великий инструмент Google Analytics. Идеи — какие объекты тестировать можно найти в следующих отчетах.

1) «Страницы выхода». Самый простой вариант — проанализировать страницы с большим «Процентом выхода». Заходим в отчет «Содержание», открываем вкладку «Содержание сайта — Страницы выхода». Формат отображения данных устанавливаем «Сравнение» по показателю «Процент выходов». Вуаля — мы видим страницы с процентом выхода выше среднего, с отображением отклонения.

Естественно, часть страниц и должны иметь высокий процент выхода, например — Контакты, Страница с благодарностью за оформление заказа, и пр. Но среди них есть страницы, которые непосредственно влияют на работу сайта. Именно их и можно выбирать для проведения экспериментов для снижения процента потери. Аналогичным образом можно рассмотреть отчет по страницам с наибольшим процентом отказов и поэкспериментировать с ними.

2) Второй вариант — отчет «Визуализация последовательностей» (он, правда, требует дополнительных настроек целей). Из этого графического отчета прекрасно видно — надо проводить эксперименты с теми страницами, где наши потенциальные покупатели чаще отказываются от покупки.

 

Для проведения экспериментов мы настоятельно рекомендуем инструмент «Эксперименты» (бывший Google Website-Optimizer), который сейчас плотно интегрирован в функционал Analytics. Инструмент простой и удобный в использовании. Он позволяет проводить тесты как с единичными страницами (допустим, для теста Landing Page), так и с шаблонами (например, для теста карточек товаров в Интернет магазинах).

Мы регулярно используем «А/Б» и «Мульти» эксперименты в своей работе и с уверенностью можем сказать, что это отличный инструмент для увеличения процента конверсии в покупателей, повышения удобства или решения любых задач, стоящих перед сайтом.