Весьма вероятное будущее

В 1989 году, Дэн Симмонс в удостоенном премии Хьюго "Гиперионе" мимоходом описал возможно самый вероятный вариант развития событий в достаточно далекой перспективе:

The AIs had peacefully seceded from human control more than three centuries ago—before my time—and while they continued to serve the Hegemony as allies by advising the All Thing, monitoring the dataspheres, occasionally using their predictive abilities to help us avoid major mistakes or natural disasters, the TechnoCore generally went about its own indecipherable and distinctly nonhuman business in privacy.

В 2025 году, два исследователя AI с внушительными послужными списками из сбывшихся прогнозов (Daniel Kokotajlo, Eli Lifland + еще три эксперта) и один очень хороший автор (Scott Alexander), описали как именно ИИ мирно выйдет из под контроля людей в ближайшие пару лет.

https://ai-2027.com

Их нарратив плавно переходит от подробного, расписанного по месяцам, описания конкретных шагов, которые пока еще хорошо понятны исследователями и специалистам по безопасности, к довольно общим заявлениями о миллионах машин, меняющих экономический и политический ландшафт планеты – и это само по себе отличная иллюстрация идеи "взрывного роста", которая лежит в основе любых прогнозов об ИИ, включая исходный тейк Симмонса.

Трудно представить, почему этого, в итоге, не произойдет.

Еще труднее представить, что все это действительно случится.

Прочитайте, пожалуйста, весь сайт (там есть короткое наглядное саммари, но оно не так убедительно) – наряду с лучшими произведениями жанра научная фантастика – это один из лучших способов "подготовиться" к тому, что нас ждет впереди.

Научный метод и предпринимательское мышление

Спасибо GoPractice за возможность рассказать про настоящие гипотезы и то, как они помогают меньше ошибаться и повышать ROI работы продактов!

В процессе подготовки слайдов, я, наконец-то, понял как связать две важнейшие концепции из заголовка поста очевидным, понятным и элегантным способом.

Приходите в этот четверг послушать, посмотреть и задать вопросы.

Регистрация здесь

---
Вновь прибывшим, смотрите, пожалуйста, навигацию по каналу, там много интересного.

Промежуточные итоги разгребания сугробов

С момента запуска "Снег идет..." прошел почти ровно месяц, вот что получилось на текущий момент:

Аудитория
– 104 человека закончили квиз (ответили на все 12 вопросов и их результаты сохранились в базе данных)

– GA говорит что за 30 дней у сайта было 207 посетилелей

– 50% Completion Rate (aka "доходимость до конца") – приглашаю коллег из эдтеха оценить как это с точки зрения отраслевых бенчмарков )

– больше всего – 47 – продактов, 19 из них (40%) с опытом 2-4 года (для всех ролей эта доля 36%, еще 16% совсем новички). Считаю, что в ЦА попадание есть – с терминами лучше разбираться с самого начала.

Результаты
– лучше всех (в среднем 8,4 балла) справились продакты с опытом 6-8 лет – найс

– "другие" специалисты, ожидаемо, дали самый большой разбег результатов (2...12)

– средний бал по всем ролям уложился в диапазон 7,1...7,25 – в среднем все мы, действительно, умеем отличать наблюдения и прогнозы от всего остального

– 10 человек набрали больше 10 баллов – читатели канала? )

– один "джун" набрал 12 баллов (самородок, отзовись!)

– а всего "максимальный балл" набрали 4 человека – респект, особенно если этот идеальный score, – результат повторного прохождения. Мне бы хотелось, чтобы как можно больше людей его добилось.


---
Спасибо всем, кто уже прошел историю-квиз!
Удачи тем, кто будет проходить )

И большая просьба ко всем: поделитесь, пожалуйста, ссылкой с коллегами – мне очень важно чтобы как можно больше людей в индустрии говорило на одном языке. Надеюсь, вам тоже.

https://snow.tobeproduct.ru

Один взгляд назад

В 1996 году Константин приходил на «Камертон-радио» в Москве, и ведущий Николай Фандеев в прямом эфире задал ему вопрос: «Почему на вашем новом диске „Один взгляд назад“ только старые песни?». Именно тогда Никольский и ответил знаменитой фразой: «Новые песни сочиняет тот, у кого старые плохие».

Количество сплит-тестов, которые я провел за свою 10+ летнюю карьеру продакта, исчисляется пальцами одной руки.

Кто-то скажет, что это нерепрезентативная выборка. Я сначала возражу на это цитатой из Уильяма, нашего, Блейка:

“To see a World in a Grain of Sand
And a Heaven in a Wild Flower,
Hold Infinity in the palm of your hand
And Eternity in an hour.”

«В песчинке мир суметь узнать,
В цветке увидеть небеса,
В ладони бесконечность сжать,
А вечность втиснуть в полчаса!»

А потом продолжу: чтобы увидеть принципиальные ограничения техники (или даже метода), достаточно внимательно посмотреть на ее(его) основания. А для того чтобы подметить конкретные косяки практики – просто честно оценить результаты.

Причем тут заголовок про старые песни?

Начав структурировать критику оснований frequentist-подхода к сплит-тестам в менеджменте продуктов, я быстро оказался в знакомом окружении – основаниях менеджмента [продуктов].

Как мы вообще понимаем, что чем-то управляем? Как связываем наши действия с наблюдаемыми результатами? Какое отношение результаты наших измерений в принципе имеют к реальности?

И, конечно, обо всем этом я, и особенно другие уважаемые авторы, уже много чего написали.

И что теперь делать? Отправить вас перечитывать архив Бороды продакта или книжки Левенчука, Дойча и Юдковского? Или начать без подготовки пропагандировать байесовский ризонинг и обсуждать как применять знаменитую формулу для дизайна и анализа результатов экспериментов?

Не уверен, что и то, и другое рационально. Поэтому пока кажется, что логичнее вернуться именно к основам, уже написанным когда-то «песням», которые все еще остаются хорошими. Надеюсь, они будут полезны и тем, кто только стремится, и тем, кто уже начал, и тем, кто уже давно старается быть, а не казаться продактом.

- - -
Посмотрите, пожалуйста, секцию мета-скиллов и подходов, которую я когда-то добавил к «Карте навыков и инструментов» Сергея Тихомирова.

Дальше я планирую двигаться именно по ним, дополняя и расширяя список (и заодно, возможно, перестраивая всю карту), так чтобы в итоге, поговорив об основаниях, вернуться к вопросам конкретной практики.

Иначе, мне кажется, просто нет оснований обсуждать вопросы смысла и выбора конкретного p value.

Продолжать, повторять

Не устану рекомендовать вам канал Евгения Казначеева, просто потому что каждый второй (или чаще?) пост со мной настолько резонирует.

Готовясь к сегодняшнему выступлению на площадке GoPractice, я, в очередной раз, поймал себя на мысли: "Ну сколько можно об одном и том же?".

И Женя сегодня пишет:

Хочешь распространения идеи так, чтобы люди её действительно восприняли, — говори про неё снова и снова. [...] Нам некомфортно — а для публики в самый раз. Так и с идеями — нам может казаться, что «да я только об этом и говорю», а на деле в самый раз и может даже надо и почаще. Идеи, особенно неочевидные или некомфортные, требуют тщательного посева.

Да, я занимаюсь пропагандой и да, относительно странных идей. В которые я верю и которые изо всех сил практикую.

Моих усилий явно недостаточно. Лидеры мнений продолжают талдычить и даже учить глубоко порочной (извините, иначе никак) практике "проверки продуктовых гипотез", которые в лучшем случае — плохо обоснованные ставки.

Надежда только на регулярность, упорство, и накопительный эффект. На то, что хорошие мемы (как и гены) выживают в достаточно конкурентной среде, а плохие вымываются естественным отбором.

Состояние рынка труда для продактов и общий уровень профессионализма — кажется, вполне соответствует такому определению. Посмотрим сколько займет эволюция и кого (какую терминологию, методологию, практику), в итоге, оставит в живых.

Спасибо всем за внимание!

В навигации по каналу (в закрепе) по-прежнему много того, что я считаю вечнозеленым контентом.

Снег, по-прежнему, где-то идёт...

Double Praxis Loop of PM
или Двойная петля практик продакт-менеджмента

Главная польза от подготовки к вебинару ГоПрактис для меня случилась в момент, когда я работал над иллюстрациями.

Понимание того, что знания – модели, обладающие прогностической способностью – являются основой для последующих действий – тривиально.

Почему мне никогда не приходило в голову это нарисовать? Необъяснимо.

Более того, первая версия иллюстрации, та, что осталась в слайдах, которые площадка будет распространять вместе с записью вебинара, была немного неуклюжей (почти как это предложение).

И только несколько часов проведенных "за доской", помогли мне, во-первых, добавить недостающий элемент (который всегда приходилось озвучивать) – "действие".

Так схема окончательно стала про связь мышления с "практикой".

И, во-вторых, главное – развернуть правую часть так, чтобы элегантно показать как знания формируют идеи и становятся стартовой точкой для цикла предпринимательского мыследействия.

Замыкание петли, через пару действие+наблюдение и выход в цикл научного метода – стало при этом еще более наглядным.

При этом, если ставки не высоки, из цикла предпринимательской практики не обязательно выскакивать в цикл научной практики. Но когда это происходит, каждый следующий виток становится все более обоснованным, а значит, повышается вероятность на успех.

В чем, собственно, и есть смысл доклада: делая ставки на основе хороших знаний (появившихся в результате проверки правильных гипотез), мы снижаем риски, повышаем импакт и увеличиваем отдачу от собственных вложений. А значит продолжаем приносить пользу бизнесу и создаем все меньше поводов говорить, что продакты не нужны.

---
В первом комментарии закину оригинальную презентацию с вебинара. Видеозапись ждем ближе к майским праздникам.

Там же принимаются предложения по более благозвучному, но все еще дескриптивному названию этой диаграммы 8)

Четыре аспекта приоритезации

Когда в продуктовой организации говорят о проблемах (отсутствии ясности) или пытаются построить систему расстановки приоритетов — есть четыре аспекта, которые полезно различать.

1. Эффективность
— Мы хотим работать над самыми важными вещами, которые приносят наибольшую пользу.

Отношение импакта к затратам, эффекты мультипликации, общие цели, устранение взаимных барьеров — как расставлять приоритеты важной работы — то о чем обычно все говорят и знают "как надо".

Это самый очевидный, необходимый, но не достаточный пункт. На расстановке приоритетов часто все и заканчивается, что приводит, в итоге, к ощущению, что что-то не работает.

2. Согласованность и автономность
Этот аспект приоритезации становится важным когда команды сталкиваются друг с другом или в их планы пытается вмешаться кто-то извне.
— Мы хотим понимать, как выбирать между конкурирующими целями/приоритетами.

В таких ситуациях тестируется как приоритеты работают на масштабе компании.

— Мы хотим принимать решения в рамках своей области ответственности, без оглядки на вышестоящих стейкхолдеров.

Здесь ожидание от "правильно расставленных приоритетов" в том, что они должны позволять командам, работающим над важными инициативами с понятыми целями, самим выбирать способ их достижения. Постоянная зависимость от чьих-то решений воспринимается как отсутствие ясных приоритетов, особенно, когда те, от кого вы зависите заняты "более важными делами".

3. Поддержка
Похожая, но более конкретная история про ресурсы, взаимные обещания и общий эмоциональный фон.

— Мы хотим ощущать, что важную для нас инициативу поддерживают другие коллеги, нам выделяют необходимые ресурсы (деньги, время разработчиков, внимание стейкхолдеров), радуются нашим успехам и выражают благодарность за достижения.

Без всего этого "заявленные приоритеты" остаются пустыми декларациями, а даже хорошо сделанная важная работа "обесценивается", что приводит к сомнениямим в ее исходной оценке как приоритетной.

4. Продуктивность
Наконец, на уровне ежедневных усилий нам хочется видеть их результат, а для этого:

— Мы не хотим постоянно переключаться с одной задачи на другую. Мы хотим доводить дела до конца. Иначе, приоритеты не выглядят чем-то реальным и важным.

---
Ваша задача как менеджера, помнить и помогать команде с каждым из этих аспектов.

Каждому сотруднику полезно распознавать какой из аспектов сейчас не работает и обсуждать с руководителем не просто "приоритеты".

---

(Вы прочитали краткий пересказ очередного письма из рассылки John Cutler, — одного из продуктовых мыслителей и практиков, которого я всем рекомендую. Подпишитесь на него, пожалуйста, чтобы не пропускать то, что я сюда не буду выносить)

Тщательно подбирайте слова

Добрая половина контента этого канала сфокусирована на правильном использовании терминов, потому что «слова, которые мы используем, определяют опыт, который мы ожидаем».

Именно с этого я каждый раз начинаю разговор о гипотезах, ведь большинство людей просто не понимают, зачем спорить о терминах. И уж тем более – для чего их менять.

Сегодня я узнал, что я такой не один – целый Atlassian занимается тем же самым.

В прошлом сентябре они, оказывается, сделали целый плагин для Chrome, который позволял выбрать, какой термин использовать в Jira вместо «Issues».

Неделю назад они подвели итоги эксперимента, и теперь "'Work' is the new collective term for all items you trak in Jira".

Моё почтение – что тут ещё сказать!

Я отлично помню, как в 2015 году, впервые увидев лейбл инпута «Issue type», удивился такой однобокости и косноязычности, но списал их на исторические корни инструмента. Мне так и не довелось узнать, как эту задачу решили при локализации, но все таск‑трекеры, с которыми я работал после Жиры, называли задачи правильно – «задачами», а не «проблемами».

Теперь очередь добралась и до старой гвардии.

Морали две:

1. Даже если ваш продукт старше вас самих (Жире 23 года, если что), это не значит, что вы не можете менять его основы. Можете – вот пример для подражания.

2. Даже если вы привыкли к какому‑то термину, вы точно сможете начать использовать вместо него более правильный, точный, полезный. Уж если Atlassian смог, то и вы/ваша компания сможете ))

---
Для всех новых подписчиков напоминание – с правильными терминами продакт‑менеджмента помогает разобраться интерактивная история‑квиз "Снег идет...".

In and out. Twenty minute adventure ))

Как меняются требования к профессии

В октябре 2010 года, по счастливому стечению обстоятельств, я устроился работать веб-дизайнером в одну из главных студий в Красноярске.

Планка отбора была высока, но прошёл я её не потому, что хорошо рисовал сайты, а потому, что был хорошим полиграфическим дизайнером. В веб (тогда) эти скиллы плохо транслировались, но приносить пользу компании мне помог очевидный, как мне тогда казалось, ход: вместо того чтобы рисовать макеты в Фотошопе или прототипы в Акшуре (что уже было next level) — я принялся собирать чёрно-белые сайты на Бутстрапе.

Набор элементов и их интерактивность в тот момент уже позволяли делать работающие mobile-first страницы, полностью имитирующие работу будущего веб-сайта. При этом я старался, чтобы они содержали как можно больше настоящего будущего контента: навигацию, заголовки, кнопки, карусели фотографий — угадать всё это за клиента или сделать максимально близко к тексту, основываясь на ТЗ, было не трудно.

В работе с клиентами, которые до этого видели 2-3 «концепции», зачастую наполненные «рыбным» содержанием, такой подход, если и не произвёл фурор, то имел несомненный успех. К концу моей работы в Студии такие прототипы делали еще двое дизайнеров, а я довёз этот подход аж до Петербурга (где, справедливости ради, успел применить его только пару раз).

–––

CPO OpenAI в своем недавнем интервью сказал не так много интересных вещей:

– У них «что-то около 25 продактов», они знают, какой идиотизм они развели с названиями моделей, но не считают это чем-то важным, чтобы срочно решать.

– О квартальном планировании: они хотят понимать, над чем будут работать, но «это не жёсткие планы» – главное «быть первыми» и «регулярно что-то выпускать».

– Метафора «люди как LLM» неплохо работает сразу в нескольких контекстах (кто сказал «модели компетенций»?).

– «Сегодняшняя версия модели – худшая из тех, что вы будете использовать в будущем» – ок, кэп.

– Наконец, повод для этого поста: по его мнению, работа продактов изменится сильнее всего, потому что от нас всё чаще будут ожидать «показать работающую идею» вместо того, чтобы просто её описать и визуализировать.

Да, чиф-продакт OpenAI признает, что Claude программирует лучше их моделей (спойлерит, что скоро это изменится) и пропагандирует «вайб кодинг».

Жалуется при этом, что их чиф-пипл-офицер навайбкодила себе продукт, которого не хватало, а он сам и коллеги-продакты «что-то как-то мало вайбкодят». Кевин ожидает, что это скоро изменится настолько сильно, что «через пять лет нашу профессию будет не узнать».

В целом, я его поддерживаю: если вам хочется визуализировать новый продукт, фичу или изменения в текущем – вместо Фигмы сейчас уже полезнее (и, скорее всего, быстрее) будет открыть v0.dev и убедить чат сделать вам нужный прототип. Уже пару раз так делал — первое впечатление аудитории очень хорошее.

Станет ли это ключевым новым требованием и содержанием профессии? В компаниях, готовых к быстрым итерациям и не стесняющихся того, что «90% кода пишется с помощью LLM», — я вполне могу себе представить, как практика «интерактивный прототип – PRD – продакшен» приживётся очень быстро, и от продактов будут ожидать, что они могут закрыть 2/3, если не 8/10 этого пути.

Но в то, что это изменит профессию фундаментально, – сомневаюсь. Наоборот, есть риск, что вместо того чтобы думать (и правильно применять важные практики и термины, которые за ними стоят), продакты будут дрейфовать в сторону мартышек, вооружённых AI, тратящих деньги компаний на шиткодинг никому не нужных поделок.

Именно поэтому так важны фундаментальные основания нашей профессии. Но об этом тут ещё будет много, просто позже. А пост про мои результаты вайбкодинга в реальном мире — уже завтра )

Просвещение и технологии

Статье Ководства про экранную типографику скоро 25 лет. «Чертам русской типографики» — 22 года.

И всего этого времени не хватило, чтобы люди, профессионально пишущие тексты, соблюдали популяризированные таким способом нормы.

Качественный скачок произошёл (произойдёт?) только тогда, когда автоматическая проверка и исправление типографики станут общим местом.

Сейчас это происходит почти исключительно, только если ваш текст правит (или, недайбоже, пишет) LLM.

Вчера мне показалось, что при редактировании текста Телеграм сам расставил в неочевидных местах правильные черточки.

Показалось — но почему бы и нет?
Как только ТГ (пока очень посредственный в этом отношении продукт) станет предлагать авторам нормализировать оформление их текстов (сугубо по добровольному согласию), просвещение победит, потому что технология сделает соответствующее знание факультативным.

Осталось убедить окружающих, что тире, как и «правильные» кавычки, — это не признак сгенерированного текста, а старая, добрая и красивая традиция.

Метакодинг

Вайбкодинг быстро приобрел незаслуженно плохую репутацию.

Отчасти потому, что критично настроенные комментаторы представляют другой лагерь. Отчасти потому, что наивные вайбкодеры, конечно же, собирают все очевидные грабли, и выступают отличной мишенью для критики опытных разработчиков.

За прошедшие 6 месяцев моего погружения в практику разработки с помощью LLM я закончил уже 4 проекта разной степени сложности — от простой визуализации markdown-файлов в виде слайдов, до сложного генератора шаблонов проектов. Вот к чему я пришёл на текущий момент:

– Агентский режим GitHub Copilot и специализированные IDE — полностью закрывают потребность писать и редактировать код самому.

– После этого нам, не-разработчикам, остаётся только правильно организовать работу.

– Для этого начинать нужно — вы догадались — с хорошо сформулированных требований, которые нужно обсудить с моделью и сохранить итоговый артефакт в виде файла README.md

– На основе этих требований (кто сказал PRD?) следующим шагом нужно сформировать набор задач — буквально начать формировать задачи: чек-листы реализации каждой конкретной фичи. Не всех сразу, не торопитесь — по одной, по шагам. Подумайте, с чего действительно стоит начать и что может быть минимальным инкрементом, который покажет вам, что вы на правильном пути.

– Первую же задачу нужно попросить реализовать, используя подход TDD. В этот момент (если не сделали это сразу) вы потратите время на сетап инфраструктуры тестирования. Обязательным этапом попросите своего агента создать файл с описанием тестовой стратегии (что и для чего делаем, как запускать и анализировать тесты) и отдельно — файл со списком тестов, который вы будете поддерживать в актуальном состоянии

– Дальше дело за малым: каждый раз, когда вы “выпускаете” очередной инкремент — обязательно обновляйте всю документацию, которая у вас уже есть: описание проекта, описание кодовой базы (я держу его в отдельном файле), тестовую документацию, чек-листы в конкретных задачах.

---
Так начинается бесконечный цикл: все тщательно продумали и запланировали; завели тест, добавили код, проверили, что всё (не)работает, починили; обновили другие затронутые части кода и починили соответствующие тесты; обновили все связанные документы; удостоверились, что результат вас устраивает; проверили билд; запушили изменения в репозиторий, дождались сборки на продакшене и пошли наслаждаться результатом!

По сути, вместо написания кода вы работаете менеджером продукта, архитектором и руководителем разработчика, тестировщика и дизайнера. Не забывайте и про роль специалиста по кибербезопасности — обязательно просите вашего железного помощника продумывать, объяснять и реализовывать соответствующие требования.

Всё это я и называю «метакодингом».
Вы получаете работающий продукт, всё ещё оставаясь на комфортном для вас уровне неведения о языке программирования и технологиях, на которых он реализован.

Попробуйте — если вам понравится процесс, то результат точно не разочарует!

---
Мои результаты:

– приложение для совместных список покупок и/или ведения повторяющихся задач: https://relistapp.app

– история-квиз про ключевые термины: https://snow.tobeproduct.ru

– генератор статических слайдов (сделан за вечер как пример для вебинара про вайбкодинг): https://markdown-slides-7099a.web.app.

– наконец, готовый темплейт и гайд как стартовать свой первый проект: https://vibecoding.cc

Если вы ещё не читаете канал «Системный сдвиг», то вот отличный повод: пост о том, почему принятие решений комитетом стейкхолдеров математически невозможно.

Сплит-тесты. Контрольный список вопросов

Мой prior таков: уверенность большинства продактов в том, что они могут качественно проектировать, проводить и анализировать A/B-тесты, а затем принимать на их основе хорошие решения, — отличная иллюстрация эффекта Даннинга-Крюгера.

Да-да, того самого когнитивного искажения, при котором люди с низкой квалификацией переоценивают свои знания и навыки, тогда как специалисты высокого уровня склонны их недооценивать.

Давайте проверим, вот набор вопросов, без ответа на которые не стоит запускать сплит-тест.

— какое знание вы собираетесь получить в результате теста и как будете его использовать?
— умеете ли вы отличить «научную гипотезу» от обычного предположения о будущем?
— можете ли четко сформулировать и «нуль», и «альтернативную» гипотезы?

— можете ли вы объяснить разницу между частотным и байесовским подходами к вероятности?
— ваша целевая метрика эргодична или нет и как это влияет на дизайн эксперимента?
— как именно вы определите MDE: в абсолютных или относительных единицах, на линейной или лог-шкале?
— что будет вашим stop-rule (длина теста, объём трафика, достижение метрики) и как вы исключите peeking bias?
– как должены измениться ответы на предыдущие вопросы, если вы решите следовать байесовскому подходу?

— знаете ли вы, как работает система рандомизации?
– можете ли гарантировать отсутствие перемешивания респондентов, а если нет, то как учтёте этот риск в анализе?

Если вы уверенно отвечаете на все эти, а также «вагон и маленькую тележку» других вопросов (умышленно не упоминаю здесь банальщину про мощность, размер выборки, контрольные метрики, а так же более сложные материи, с которыми знаком только понаслышке), — поздравляю!

Но если это так, то скорее всего вы специалист по статистическим методам, а не продакт. Приносите свои контр-свидетельства, я буду очень рад проапдейтить свои представления!

Если же вы (или аналитик, который помогает проектировать эксперимент) спотыкаетесь хотя бы на одном пункте, — плохие новости: почти наверняка, вы убеждаете себя и бизнес в полезности процедуры, которую плохо понимаете. По сути практикуете карго-культ.
Sorry, not sorry!

---

Этот пост многих разозлит, но я надеюсь, что многим же поможет задуматься о том, что они делают. Кто-то может быть даже запишется на полезный курс или пойдет читать Rona Kohavi.

Лично для меня, ключевым открытием (уже после Байеса) когда-то был вопрос про эргодичность. Погуглите тему, скорее всего, после этого вам придется переоценить ваши представления о применимости сплит-тестов в нашем контексте.

---

Быть продактом, гораздо труднее чем им же казаться, но начинается все с ответа на один и тот же вопрос: «Откуда я знаю то, что знаю?»

Перед запуском следующего сплит-теста мне предстоит очень тяжелая задача по ответу на все перечисленные и не упомянутые вопросы, только чтобы удостовериться в том, что именно такой метод исследования применим к стоящей передо мной задаче.

Честно говоря, I'm not looking forward to it.

Метрики
There are levels:

1. Джун: знает метрики! Может без запинки перечислить MAU, WAU, DAU, CAC, LTV, NPS…

2. Мидл: знает все метрики! Начинает с пиратского восклицания и заканчивает разговором про Полярную звезду.

3. Синьор: на самом деле знает, сколько CR притаилось в его «воронке». Может нарисовать корректное «дерево», соблюдая правила арифметики. Различает OMTM от NSM. Может объяснить, почему NPS — плохая метрика. Всеми силами топит за когорты. Имеет ещё пару тузов в рукаве, но использует их только в подходящей ситуации.

4. Head of / директор: начинает видеть лес за деревьями, но иногда забывает про отдельные экземпляры. Компенсирует тем, что отделяет зёрна от плевел: метрики тщеславия от всех остальных; метрики опыта от метрик продукта и бизнес-показаталей. Выбирает, когда быть data-driven, а когда уже data-informed.

5. C-level: видит только лес, и сразу опознаёт старину Гудхарта в нём. Всеми силами гонит его прочь, если, конечно, от этого не зависит его годовая премия.

Х. Человек с хорошим образованием, на любом уровне:

— помнит о недостатках относительных метрик и знает, как их компенсировать;

— может объяснить, чем отличаются leading-индикаторы от lagging, а input-метрики от output, и, главное, когда одни переходят в другие;

— понимает, что одинаково важно выбрать правильную метрику и аккуратно её измерить (и что одно без другого не имеет смысла);

— занимает правильную сторону в споре frequentists vs. Bayesians;

— каждый раз думает, что и для чего имеет смысл измерять, а что — нет.

---
Этот пост добавлен в навигацию по каналу — если вы здесь недавно, всячески рекомендую, там есть что почитать на майских.

Метрики на собеседованиях

Честно говоря, я сегодня хотел написать совсем другой пост — вот этот.

Сначала напомню моё отношение к «метрикам в резюме» — это булшит.

Реальность работы продакта намного сложнее и печальнее, чем «повысил С1 на 2 п.п., что выразилось в +$50K MRR в течение 6 месяцев». Ещё раз, прописью — это булшит. Тут неправда почти всё, хотя можно легко показать, что «всё так и было!» (см. комментарии к посту)

Тогда какой смысл обсуждать метрики на собеседовании? Точно нет смысла просить: «Опишите, как бы вы измеряли вот эту фичу?».

Всё, что вы услышите в ответ, будет либо банально (и тогда не принесёт вам ценной информации о кандидате), либо не совпадёт с вашими ожиданиями («забыл ещё вот это») — и тогда станет просто поводом для вас отсеять кандидата.

Имеет смысл обсуждать метрики с кандидатом только в двух случаях:
— вы готовы услышать что-то новое (и кандидат заведомо соответствующего уровня);
— вы хотите понять, как человек думает, протестировать буквально «строгость», «точность» мышления.

Во всех остальных случаях — смотрите предыдущий пост про уровни. Мидл вам скажет одно, синьор — другое, но это не то, о чём нужно спрашивать и что выслушивать. Но! Если вы действительно хотите понять как соискатель мыслит...

---

Продакт обязан учиться. Постоянно, непрестанно, без устали и продыху. Буквально, как завещал… В общем, вы поняли. Это очевидно.

Чуть менее очевидно, что продакт обязан:
— понимать границы собственных и чужих знаний;
— уметь определять и согласовывать определения терминов;
— отделять предположения (assumptions) от фактов и мнений;
— различать конкретное от абстрактного, объективное от субъективного;
— оценивать качество аргументов, предъявлять сильные аргументы;
— строить сложные умозаключения, не допускать логических ошибок;
— удерживать многоэтажные смысловые конструкции и не скакать хаотично между их этажами;
— выходить «в» и возвращаться «из» рефлексивной позиции.

Иными словами, продакт должен понимать и применять на практике основы эпистемологии, герменевтики, логики и системного мышления (а также уметь строить и оперировать онтологиями).

Как всё это проверить за 10 минут, которые у вас для этого есть на собеседовании?

Выделите 20 минут и задайте два вопроса:
— «Что такое „эргодичность“ и для чего нам это понятие, когда мы говорим о метриках?»;
— «Как и для чего различать input- и output-метрики?».

Если кандидат не знает ответов, попросите потратить 5 минут на гугл/разговор с LLM и обсудите результат.

За 20 минут обсуждения этих двух вопросов вы поймёте про кандидата гораздо больше важных вещей, чем за 40 минут обсуждения тонкостей любой воронки.

---
Все числовые показатели в этом посте – буквально «фигуры речи» ;-)

---
Этот пост тоже добавлен в навигацию по каналу — в раздел «Чек-лист CPO».

Рокет-сайенс и знания

Выношу эти аргументы из комментариев (спасибо Самвелу за участие и продолжение дискуссии!).

Мои нападки на плохо посчитанные метрики и запущенные на коленке сплит-тесты исходят из следующих предпосылок:

— плохо описанная и обсчитанная реальность создаёт иллюзию знания и подкрепляет последующие действия «объективными данными»;

— плохо поставленный эксперимент даёт ложную уверенность в том, что мы что-то узнали, и подкрепляет последующие действия «проверенными результатами»;

— и то, и другое зачастую работает на подтверждение собственных исходных представлений, то есть только усиливает неизбежные когнитивные искажения.

---

Хорошо поставленный эксперимент (сплит-тест) претендует на производство объективного знания с помощью системы с большим количеством сложно связанных и влияющих друг на другая частей.
Поэтому буквально является рокет-сайенсом.

Если вас не учили в университете методологии науки, если вы не изучали статистику, не практиковались в статистических методах исследований, не разбирались в тонкостях системы, запускающей тест, не можете уверенно ответить на контрольный список вопросов — с очень высокой вероятностью результаты вашего теста будут либо банальны, либо неверны. Если добавить к этому стоимость запуска и анализа результатов тестов, то вопрос об их эффективности заиграет новыми красками.

Хорошо посчитанные метрики требуют точного понимания, что мы измеряем, как мы это делаем, что остаётся неизмеренным, какие причинно-следственные связи мы объективно установили, а где можем зафиксировать только корреляцию.

Даже финансовой отчётностью можно умело манипулировать, и даже такую банальную вещь, как DAU, относительно сложно достаточно точно посчитать (если вы не понимаете ограничений вашего способа подсчёта).

Правильное измерение чего угодно — отдельная дисциплина; при этом сколько раз в продуктовых курсах или статьях вы слышали упоминание «метрологии»?

---
Менеджмент продуктов — это практика использования знаний о поведении людей.

При этом парадокс нашей профессиональной области в том, что в большинстве ситуаций от нас не требуются знания, претендующие на «научность», «объективность» и даже более-менее высокую точность.

Знание — это модель, обладающая предсказательной силой. В комментариях к ещё одному посту другой читатель (Егор, привет!) принёс ссылку на статью, в которой доказывается математическая бессмысленность эффекта Даннинга-Крюгера. Становится ли от этого исходная модель хуже? Нет. Потому что она продолжает производить сбывающиеся предсказания: «люди с квалификацией ниже среднего будут переоценивать свои результаты», —мы же регулярно видим это вокруг (и иногда поступаем так же сами!).

---

Плохие метрики и эксперименты не дают настоящих знаний, подменяя их иллюзиями и укрепляя уже имеющиеся. В условиях растущего рынка и востребованного продукта это не слишком мешает расти. При этом деятельность, производящая плохие знания, отнимает у нас время от деятельности, которая могла бы произвести хорошие.

Когда ситуация благоприятна, а риски минимальны и ставки не высоки – короткие циклы обратной связи от реальности (aka «слабоумие и отвага») работают лучше чем «мы потратили 1 млн чтобы экспериментально проверить, что банальная идея улучшает целевую метрику на 0,5% и приносит +20К в месяц».

Эвристики, лучшие практики, lean & agille, быстрые итерации, непрерывная доставка изменений – работают. Карго-культ «тестируем всё» – приносит меньше пользы, чем принято считать и репортить.

---
Пожалуйста, продолжайте измерять, но будьте внимательны к тому, что, как и насколько точно.

Пожалуйста, продолжайте экспериментировать, но применяйте хорошую методологию, точные инструменты и понимайте их границы. И ищите другие способы производства знаний, если не уверены в этом.

Пожалуйста, думайте о стоимости знаний и выбирайте способы получения знаний, которые принесут вам больше пользы на единицу времязатрат.

Байки из склепа

Ок, в комментариях к постам про метрики и эксперименты уже дважды сказали, мол, «гладко было на бумаге, да забыли про овраги», и где, мол, практика, реальный опыт, истории из жизни, факапы…?

Во-первых: «Нет ничего практичнее хорошей теории» — если мы не понимаем смысл наших действий, если у нас нет хороших теоретических оснований, то получается… как получается.

Во-вторых, «их есть у меня», но, честно, это не так интересно и поучительно.

1) При онбординге в MindMeister я довольно быстро увидел, что цифры аудитории, которые мы репортили бизнесу (и которые тот использовал, чтобы разговаривать с инвесторами), расходятся в разных системах.

Amplitude показывал одну месячную, недельную и дневную аудиторию, Metabase — другую. И расхождение было на заметные проценты.

Так я научился не доверять event-based аналитике. (См. PDF про проблемы подсчёта DAU в предыдущем посте.)

Решили ли мы эту проблему? Нет. Просто научились избирательно и уместно пользоваться источниками. Готов ли я кровью подписаться, что Metabase показывала нам настоящие цифры по всем метрикам? Нет.


2. Например, неточности всплыли когда мы пытались проследить судьбу подписчиков, которые сидели на плане с ежемесячной оплатой, который «был доступен в продукте только 6 месяцев в 2020 году».

Когда я пришёл, консенсус бизнеса был в том, что «ежемесячная подписка — плохая идея», потому что «кастомеры быстро чернились».

В этом безусловно было зерно правды. Но главный косяк был в том, что в одну и ту же когорту попадали подпичики с мобильной платформы (где ежемесячный план остается, кажется до сих пор) и те самые счастливцы, попавшие когда-то в искомые 6 месяцев в вебе.

И я так не смог докопаться как получилось, что мы репортили черн по всем ежемсячным кастомерам одной цифрой.

При этом ретеншн и активность в продукте у пользователей с разных платформ были разными, но обе когорты вели себя в продукте лучше, чем те, кто покупал годовые подписки.

Итого, косяк с индикатором черна мы вскрыли, но повлиять уже ни на что не смогли — к тому времени ARR стал ключевой метрикой всей компании и моему продукту пришлось с этим считаться.

Знаете как при этом вычислялся ARR для пользователей на ежемсячных планах? Можете догадаться, но я не буду вслух это произносить.

3. В ходе того же онбординга я узнал, что у нас идёт эксперимент... идёт уже 4 месяца. Очень важный вопрос на кону! Много денег потрачено на то, чтобы сделать необходимые изменения, которые мы и тестируем!

Угадаете, что было дальше?

Через 6 месяцев(!) эксперимент пришлось прекратить и принимать решение, исходя из стратегических соображений, здравого смысла и лучших практик. Сплит-тест так и не дал статистически значимых результатов.

Конечно, посчитав нужные параметры «на берегу», его не стоило и начинать, но sunk cost fallacy не дал мне прибить его, как только я это осознал.

Тестировалась, вы не поверите, сама кор-модель монетизации: нужен ли жёсткий лимит в 3 карты или можно давать создавать сколько угодно карт, но оставлять доступными для редактирования только 3.

4. Результат более простого A/B-теста – изменений главной CTA на сайте был признан успешным — ровно до тех пор, пока не выяснилось, что одни и те же пользователи могли видеть любой из вариантов кнопки. Ну… бывает…

Второй тест с правильными настройками не дал статистически достоверных результатов. Alas!

Зато в третьем выиграл вариант, который команда исходно считала лучшим.

Единственным утешением для меня было, что запускала эти тесты команда перформанс-маркетинга.

–––

Можно ли все эти проблемы списать на квалификацию исполнителей? Можно!

Но, с другой стороны, продакт, запускавший тест модели монетизации ещё до моего прихода, ушёл на повышение в другую компанию, команду дата-инженеров за 1,5 года обновили два раза, аналитики сменились по кругу, а меня провожал на волю третий на моей памяти директор по перформанс-маркетингу...

И причинами всех этих кадровых изменений были отнюдь не косяки в метриках и/или методологии.

–––
↓

↑
–––
Поможет ли вам этот «опыт»? Я сильно сомневаюсь.

Когда нет хорошей теоретической базы или желания во всём разобраться и/или возможности «всё как следует посчитать», то можно, конечно, что-то «запомнить», но шанс применить чужой опыт в соответствующей собственной ситуации — минимальный. А ведь ещё есть устоявшиеся нормы, ожидания, давление среды, инерция текущей практики, в конце концов. И нет мотивации против всего этого идти.

Ведь не понятен потенциальный выхлоп: нафига копать аж до самых основ, когда и так всё понятно и всё работает, правда?

Поэтому я рассчитываю только на два механизма:

— мы хотим быть лучше окружающих, и кто-то, прочитав о проблемах измерения DAU, пойдёт проверять, попал ли его продукт в эту ловушку, найдёт проблемы и получит за это свою долю поощрения;

— мы ищем новые способы, когда старые перестают работать — а с этим, на достаточно развитом рынке, рано или поздно столкнутся все. И в этот момент привычка разбираться с основами, терминами, методологией кому-то, опять же, поможет добиться более стабильных, повторяемых, полезных результатов.

–––
Если вам, вдруг, станет интересно, какие known unknowns и особенно unknown unknowns есть в ваших сетапах экспериментов и репортинга — раскажите контекст и задайте соответствующие вопросы достаточно сообразительной LLM — результ вас может удивить.

Рекомендую.

PeopleSense

Мне трудно представить, что вы еще не слышали, что 19-20 мая команда Юры Агеева открывает второй трек своих конференций и начинает развивать историю про социальную компетентность [продактов] как отдельный формат.

Заголовок на сайте говорит, что это будет "полезно для тех, кто управляет командами, проектами или собственным бизнесом", но я бы поставил акценты чуть иначе.

* Системность и системное мышление
* Современное лидерство и управление людьми
* Коммуникации и культура в команде
* Личная эффективность
* Передача знаний

– эти пять треков охватывают фундаментальные области компетенций, которые определяют насколько любой менеджер может быть продуктивным лично и с окружающими его людьми.

Надеюсь, что у меня когда-нибудь будет возможность выступить с достаточо подрывным докладом в каждой из них )

А пока, не упускайте возможность послушать Галю, Илью, Максима, Рустема, Алексея, Дмитрия и других ключевых спикеров.

Digital Pass выглядит очень хорошей инвестицией.

---
https://peoplesense.ru

Foundational Mental Models & Skills

Да, раз уж зашла речь о социальной компетентности (и потому что мне очень приятным образом об этом напомнили — спасибо!), — вынесу из навигации по каналу одну из самых важных моих работ so far — цикл лекций о фундаментальных ментальных моделях и навыках.

Исходное название этих одиннадцати «рассказов», как я их тогда старательно называл, довольно пафосное — Soft Skills Academy, — но только потому, что это была дань корпоративному неймингу. До этого у нас уже была Selectel Network Academy (про настоящие компьютерные сети, а не о том, о чём вы сейчас подумали;).

Вводную лекцию, на которую первый и последний раз собрался полный конференц-зал, можете смело пропускать. Или, наоборот, посмотреть только её: несмотря на то, что весь цикл занял больше года (и к его концу я уже успел уйти из компании), — она даёт довольно хорошее общее представление о моих ментальных моделях.

Самые полезные из остальных рассказов выделены на странице разными иконками. В любом случае, прежде чем слушать мой бубнёж, можно сначала посмотреть тезисы к каждому — и решить, интересно ли оно вам вообще.

Если у вас возникнут вопросы, замечания или любые предложения — буду рад ответить на них в комментариях.

Если захотите провести что-то подобное в любом формате и объёме в вашей компании — пишите в личку, у меня очень гуманный ценник )))

Лучший канал для продактов, которые стремятся стать чуть более рациональными и consistently less wrong.