Мультивариативное тестирование 101: научный метод оптимизации дизайна
05/04/2011
Опубликую перевод стать с сайта smashingmagazine.com! На мой взгляд, полезная и важная статья, т.к. именно A/B (или мультивариативное) тестирование являются значительным способом проверки своих гипотез и решений в области дизайна и проектирования интерфейсов. Читаем!
В предыдущей статье на нашем сайте я рассказывал о A/B тестировании и ресурсах, относящихся к нему. Я также охватывал начальные знания о мультивариативном тестировании в прошлом, в этом же посте мы углубимся в технические детали мультивариативного тестирования, которые, в общем, схожи с деталями обычного сплит-тестирования, но обладают ключевыми отличиями.
В таком сложном тесте веб-страница представлена, как комбинация элементов (заголовки, кнопки, текст, изображения), влияющих на конверсию. Фактически, вы делаете декомпозицию страницы на отдельные элементы и создаете вариации этих элементов. Например, если ваша страница состоит из заголовка, изображения и сопровождается текстом, то вы должны создать наборы именно этих элементов. Давайте проиллюстрируем:
Заголовок: Заголовок 1 и Заголовок 2
Текст: Текст 1 и Текст 2
Изображение: Изображение 1 и Изображение 2
Сценарий выше обладает тремя переменными, каждая которая имеет по две свои версии. В мультивариативном тесте ваша задача определить, какая комбинация эти элементов позволяет достичь наибольшего уровня конверсии. Под комбинацией я понимаю одну из 8 возможных страниц, полученных путем использования на ней различных наборов элементов:
Заголовок 1 + Текст 1 + Изображение 1
Заголовок 1 + Текст 1 + Изображение 2
Заголовок 1 + Текст 2 + Изображение 1
Заголовок 1 + Текст 2 + Изображение 2
Заголовок 2 + Текст 1 + Изображение 1
Заголовок 2 + Текст 1 + Изображение 2
Заголовок 2 + Текст 2 + Изображение 1
Заголовок 2 + Текст 2 + Изображение 2
Во время проведения такого теста вы разделяете трафик между этими 8 версиями вашей страницы и определяете, какая комбинация обеспечивает наивысший уровень конверсии — точно также, как и в случае A/B тестирования между двумя версиями страницы.
Начните проводить мультивариативные тесты
Чтобы создать свой первый мультивариативный тест определитесь с инструментом или фреймворком, который позволит вам обеспечить проведение тестирования. Вы можете использовать один из инструментов, которые перечислены в конце этой статьи, но будьте внимательны, т.к. не все инструменты организации A/B тестирования поддерживают мультивариативное тестирование.
Как только вы примите решение, какой инструмент использовать, вам стоит определиться какие части сайта необходимо включать в тестирование. Как вам известно, веб-сайт может состоять из сотен различных частей (шапка, подвал и т.д.). Вы не можете влключить их все в тест; создание вариантов для всех будет безумно гигантской задачей (и, как вы сможете прочитать ниже, трафик, требующийся для каждой из этих частей будет расти экспоненциально). Вам стоить сузить круг элементов и частей сайта, которые, по вашему мнению, будут отвечать за наибольшую составляющую конверсии.
Обычно в тест входят следующие части:
Заголовк + Шапка
Кнопки (цвет, размер, расположение)
Тексты (содержимое, величина текста)
Изображения (размер, расположение, содержимое)
Формы
Различия A/B и мультивариативного тестирований
В общем, конечно, оба метода очень похожи, но имеют очень важные различия. Первое и самое — требуемый трафик. Как уже говорилось, число вариаций, которые должны быть протестированы вырастает экспоненциально в мультивариативном тесте. Вы можете протестировать три или четыре версии в A/B тесте и десятки или сотни в мультивариативном. Когда позволяет время и объемы трафик, это может принимать решающее значение.
Например, если у вас имеется три элемента сайта, каждый в трех вариациях, число комбинаций составит 27. Добавьте еще один &mdash 81. Если вы хотите получить правильные результаты, то вам не следует добавлять еще один элемент для проверки. Будьте избирательны.
Хорошее правило: итоговое число комбинаций должно быть равно 25 или меньше.
Другое различие состоит в том, как используются эти техники. A/B тестирование обычно применяется, когда были внесены значительные изменения, а мультивариативный тест следует использовать, когда непосредственно перерабатывается и оптимизируется уже существующий дизайн. Для математиков: A/B тест оптимизирует для глобального оптимум, а мультивариативный для локального оптимума.
Преимущество мультивариативного теста: он может показать, какая часть страницы наиболее ответственна за достижение конверсионных целей. Окей, вы тестируете заголовок, текст и изображение на главной странице. Какая составляющая наиболее сильное влияние оказывает ? Большинство инструментов мультивариативного теста даст вам такой критерий, как «коэффициент воздействия», которая покажет в отчетах какие из частей сайта влияют на конверсию, а какие нет. Вы не получите такого в A/B тестировании, т.к. там все проверяемые элементы сосредоточены в одном варианте.
Типы мультивариативных тестов
Ниже приведены типы мультитестов (MVT), основанных на распределении трафика по вариантам:
Полный последовательный тест
Данный метод подразумевает равномерное «размазывнание» всего имеющегося трафика по вариациям, которые были заготовлены. Так, например, если у вас 16 различных комбинаций, то на каждую комбинацию придется ровно 1/16 трафика. Т.к. каждая комбинация получает примерно одинаковый трафик этот метод обеспечивает всю полноту данных, позволяющих определить какая конкретно комбинация лучше работает. Вы можете понять, что некоторое изображение было бесполезным, но это было связано с отсутствием заголовка, который бы оказывал сильное воздействие на пользователей.
Частиный или фрагментарный полный тест
Как следует из названия, только часть всех комбинаций видима пользователям веб-сайта. Процент конверсии для невидимых комбинаций подразумевается аналогичным определенным вариантам, которые были включены в тест. Например, если имеется 16 комбинаций, но трафик разделяется только между 8 из них. Для оставшихся 8 у нас нет данных по конверсии, и отсюда следует, что нам нужно прибегнуть к математике, чтобы глубже изучить этот вопрос. По объективным причинам я не рекомендую этот метод: даже при том, что мы можем обладать меньшим количеством требуемого трафика для частичного полного теста, метод может создавать слишком много предположений. Независимо от того, как хороша царица наук, реальные данные лучше предположений.
Тест Тагучи
Это наиболее сложный тест из всех. Быстрый поиск по Гугл позволил найти множество инструментов способных сократить время теста и требования к трафику, если вы решительно возьметесь за использование теста Тагучи. Кто-то может не согласиться, но я верю, что метод Тагучи отчасти ложь: это набор эврестических оценок, а не теоретически верный метод. Изначально он использовался в обрабатывающей промышленности, где специфика выводов была сделана с целью сокращения числа вариантов, которые должны были быть протестированы в рамках QA и других экспериментов. Эти предположения неприспосабливаемы, как онлайн тесты, поэтому не стоит пользоваться методом Тагучи. Выбирайте другие методы.
«Делать» и «не делать»
Я изучил сотни мультивариантных тестов, и видел, как множество людей совершают схожие ошибки. Ниже несколько советов, полученных из моего практического опыта.
Не делать!
Не включать множество частей для проверки в один тест
Каждая добавленная в тест часть фактически удваивает число комбинаций, которые нужно протестировать. Например, если вы тестируете заголовок и изображение, общее число комбинаций равно 2 x 2. Добавляете кнопку и получаете уже 8 комбинаций, 2 х 2 х 2. Больше комбинаций &mdsah; больше трафика.
Делать!
Предварительно просматривайте все комбинации
В мультивариантом тесте, количество вариаций какой-то части может комбинироваться для создания вариаций страницы. Комбинации могут быть логически неверным, например кнопку может гласить «Всего 15$», а заголовок твердить «Бесплатная подписка». Надо не забывать обнаруживать и удалять такие неверные комбинации.
Принимайте решения: какие секции самые ценные, чтобы быть включенными в тест
Как уже говорилось ранее, не все части и элементы одинаковы полезны для проверки и будут давать максимальный эффект. Все они обладают различны влиянием на конверсию. Сравнивая, например, футер и кнопку с заголовком вы легко поймете, что футер малоконверсионен, в отличии от двух других элементов. Ниже пример, взятый с сервиса Website Optimizer. Видно: кнопка более интересна, чем заголовок.
Оценивайте объем трафика, необходимый для удовлетворительных результатов
Прежде чем тестировать решите для себя, как много трафика вам нужно. Я видел, как люди меняли десятки частей на сайте, при этом имея 100 посетителей в день. Удовлетворительные результаты таких тестов вы сможете получить через месяцы. Предлагаю использовать специальный калькулятор, чтобы оценивать ваши потребности в трафике.
Некоторые кейсы A/B тестирований
Советую изучить, т.к. не так часто можно встретить подобные кейсы.
Software Download Case Study: downloads increased by 60%
Microsoft Multivariate Testing Case Study
Look Inside a 1,024-Recipe Multivariate Experiment
Multivariate testing of an email newsletter
Примечание сумасшедшей редакции РакетаБлога: описание убрал, прочитаете в оригинале, не все же разжевывать :)
Ресурсы и инструменты для мультивариантого тестирования
Инструменты
Ресурсы
Expert Guide to Multivariate Testing Success
Fail Faster With Multivariate Testing
Online Testing Vendor Landscape
Lessons Learned from 21 Case Studies in Conversion Rate Optimization
P.S.: Не, ну вроде бы закончил. Все опечатки, что найдете — в комменты. Буду рад критике и т.д. и т.п. Всем спасибо.
Оригинал статьи «Multivariate Testing 101: A Scientific Method Of Optimizing Design»
Еще можно почитать:
Инструменты визуализации информации
I received 1 st credit loans when I was not very old and that helped my business very much. However, I need the sba loan again.