Инструменты тестирования продуктовых гипотез

Сразу обозначу, что серебряной пули в этом вопросе не существует. Валидация жизнеспособности продукта или фичи — почти всегда лотерея, даже при самом прагматичном data-driven подходе, подкрепленном личным опытом и верой :)

Ввиду специфики моего опыта, уклон статьи пойдет больше в digital (mobile, desktop, web).

...

Валидация на уровне идеи

Гипотеза — предположение или идея, реализация которой принесет нам определенную ценность. Что считать провалидированной гипотезой? То, что фича или продукт нужны потребителю? Или то, что за нее готовы платить? Или все это вместе?

Важен весь контекст, а в него входит большое количество компонентов:

1. Ваш рекламный бюджет и возможности

2. Маркетинговые каналы

3. Целевая аудитория

4. Core-value продукта

5. Трудоемкость реализации (RICE/ ICE Scoring/ Lean Prioritization методологии

... длинный список переменных, влияющих на результат

30. Красный/Голубой океан

С понятием unit-экономики, я думаю, большинство читателей знакомы. Но на всякий случай уточню: unit-экономика — метод определения прибыльности бизнес-модели с использованием оценки прибыльности от продажи единицы товара. В формировании гипотезы она играет не последнюю роль, потому как мы стремимся получить ценность, реализуя гипотезу. А unit-экономика как раз и позволит нам понять экономическую целесообразность гипотезы.

Итого, формула:

Correct hypothesis = Unit Economy Works х Your product context

Принимать контекст во внимание при прогнозировании успешности гипотезы обязательно. Даже если контекст не полный, нужно работать над его уточнением, сделать этот процесс регулярным и вовремя замечать, если продукт/ фича потеряла свою актуальность и “протухла”. Time to Market — очень важный пункт, рынок не будет вас ждать. Не нужно прикипать к гипотезам, если сложно/ долго — отпусти. Проверять гипотезы продуктов/ фичей нужно быстро, как и отказываться от них.

...

Поиск и подбор инструментов для тестирования

После валидации гипотезы необходимо определиться с инструментами для проверки. Надо понимать, что инструменты различаются, потому что у гипотезы продукта и гипотезы фичи разный контекст. В разрезе фичи у нас уже есть готовый продукт, до которого клиенты могут дотянуться, и мы хотим понять целесообразность ее внедрения. С гипотезой продукта сложнее — тут идет проверка на жизнеспособность идеи в вашем контексте

Ключевое: валидация — это проверка на необходимость, тестирование — проверка на жизнеспособность.

...

Инструменты тестирования гипотез продуктов

1. Fake Store Page (Splitmetrics/ Storemaven/ Tryitapp): инструменты тестирования mobile продуктов на стадии лендинга в App Store/ Play Market

Цель: Мониторинг конкурентносопособности нового продукта.

Суть: Воспроизводится верстка оригинальных страниц, которые выглядит идентично оригинальным. Откручиваем трафик и смотрим показатели в зависимости от того, что вы хотите проверить. Если задумали продукт в “красном” океане, есть смысл воспроизвести страницу основного конкурента в любом из сервисов, посмотреть в Facebook Ads Library последние UA креативы и на них закупить вашу ЦА, получив примерные данные этой части воронки конкурента. Это поможет вам получить фундамент для анализа и сравнения.

Чтобы верно интерпретировать результаты на небольших объемах трафика, тестировать правильнее всего что-то одно. Например, если вы тестируете креативы, то страница, на которую осуществляется переход, одинакова для всех креативов. И наоборот — если эффективный креатив определен, то можно тестировать разные страницы.

Если вы выходите в так называемый “красный океан”, но не знаете обстановку на рынке и не уверены, сможете ли на нем конкурировать, можно сделать копию страницы конкурентов и также открутить трафик. Это поможет уточнить CPI, СTR и другие важные метрики, и, соответсвенно, планировать бюджет и экономическую модель продукта.

2. Pre-order в App Store и Pre-register в Play Market

Цель: Проверка ASO. Сбор лидов для soft launch.

Суть: Начинаете быстро "пилить" программный продукт на базе готовых решений + костыли/палки. Делаете минимальный набор фич, чтобы пустили в магазин приложений.

Это довольно нетривиальный способ тестирования гипотез продукта под mobile. Единственный минус в том, что плата за такой тест = разработка + оплаченный аккаунт разработчика + трафик. Основная цель разработки тут — пройти визуальное ревью от магазина, преодолев гайдлайны Apple/ Google: можно этого достичь через dummy обертку — никто, кроме ревьюерa этого не увидит. Если гипотеза не подтверждается — снимаете с продажи.

Бонус заключается в том, что у вас есть несколько месяцев существования реальной страницы в соответствующем магазине приложений. А это и небольшая органика, и возможность откручивать трафик на существующую страницу (хоть и без оптимизации кампаний), и собирать предзаказы, которые превратятся в установки в момент релиза. Минус в том, что аналитика от Apple/ Google доставляет информацию c опозданием, т.е. быстро экспериментировать с UA не получится.

3. Zero-code (no-code/ low-code) инструменты

Цель: Очень быстрое и дешевое тестирование гипотезы. Получение первые клиентов, корректировка стратегии.

Суть: Создаем шаблонный программный продукт в визуальном интерфейсе. Выкатываем его в широкий доступ → снимаем метрики → принимаем решение о дальнейшей разработке или развиваем продукт, если нас не ограничивает zero-сode инструментарий.

Zero-code "движение" динамически растет, постоянно появляются новые инструменты и сервисы. К 2020 уже доступен ****широкий набор инструментов не только для тестирования гипотез продуктов, но и для создания MVP, которые помогут понять, стоит ли тратить ресурсы на полноценную разработку. В отдельных случаях позволяет создавать и развивать полноценные продукты. Преимущество подхода в том, что цифровой продукт можно создать практически без знаний программирования.

Важно владеть информацией о большинстве популярных инструментов на рынке, знать их особенности и возможности. Совмещая zero-code решения можно очень быстро и дешево тестировать продуктовые гипотезы. Вот примеры сервисов для изучения:

4. Fake product launch (Product Hunt/ Kickstarter/ Landing)

Цель: Проверка жизнеспособности продуктовой гипотезы без разработки.

Суть: Тестирование осуществляется путем презентации несуществующего продукта вашей ЦА (или инвесторам): можно сопровождать это публичными выступлениями, презентациями, демонстрацией прототипа. С digital продуктами проще, основной упор необходимо сделать на визуальную часть и маркетинг: качественный проморолик, логотип, айдентика, лендинг и т.д. Финалом этой истории должен стать какой-то milestone, например, получение “Product of the day” на Product Hunt или завершение сбора денег на Kickstarter.

...

Инструменты тестирования гипотез фичей

1.Приложения Splitmetrics/ Storemaven/ Tryitapp

Тот же набор, но подход другой.

Цель: Протестировать реакцию нашей ЦА на изменения страницы в App Store/ Play Market.

Суть: Добавляем информацию о фичах в визуалы и описание в сторе, тестируем относительно оригинальной страницы. Engagement Rate, CTR и CPI помогут определить, как наша ЦА реагирует на планируемую фичу, и стоит ли планировать ее релиз.

2. Online customer discovery (Typeform/ Yandex Vision/ Google Forms)

Пожалуй, один из ключевых этапов custdev методологии.

Цель: Скорректировать спорные/cлабые гипотезы, получить инсайты.

Суть: Оформляем опросники и с помощью необходимых инструментов доставляем их конечной ЦА. Важно помнить, что этот инструмент — только часть исследования, которая помогает получить инсайты, отбросить неактуальные темы, или наоборот — выкристаллизовать направления из широкого диапазона тем. Typeform, например, позволяет закупать и оптимизировать кампании через Facebook Pixel, что поможет оптимизировать UA кампании. Этот инструмент отлично подходит для контентной части вашего продукта.

3. Fake feature, until you make feature

Цель: Проверить потребность пользователей в фиче.

Суть: Если фича сложна/ долга в реализации, есть смысл сделать болванку — переход на какой-то функционал — и померять конверсию без реализации этого функционала. Как бонус — сделать мини-воронку и просить ответить на вопрос/ опросник внутри. Даже без чтения ответов можно будет сделать вывод: если много пользователей потратили время на то, чтобы ответить на вопросы и оставить email — делать фичу целесообразно.

4. Старый добрый A/B

Цель: Проверить потребность пользователей в фиче.

Суть: Добавление фичи в продукт может иметь положительный или отрицательный результат. Бывает так, что вы очень давно делаете фичи, и у вас получается iTunes :) С тестированием фич вам и поможет старый добрый A/B тест.

A/B-тестирование — метод исследования, при котором контрольный вариант сравнивается с тестовым. В нашем случае есть работающий продукт и гипотеза, что фича нужна пользователям и ее добавление позитивно скажется на восприятии продукта и пользовательском опыте. Мы делим пользователей на 2 условных сегмента: для одного из них добавляем новую фичу (тестируем гипотезу о ее внедрении), а для другого — нет, оставляем продукт прежним → анализируем метрики и делаем выводы, оставлять ли новую фичу.

...

Короткий вывод:

1. Инструменты: ищите, комбинируйте, придумывайте свои

2. Делайте все максимально быстро

3. Тестируйте что-то одно, не размывайте фокус

4. Отпускайте "мертворожденные" гипотезы

Всем продукт!