Продолжать, повторять
Не устану рекомендовать вам канал Евгения Казначеева, просто потому что каждый второй (или чаще?) пост со мной настолько резонирует.
Готовясь к сегодняшнему выступлению на площадке GoPractice, я, в очередной раз, поймал себя на мысли: "Ну сколько можно об одном и том же?".
И Женя сегодня пишет:
Да, я занимаюсь пропагандой и да, относительно странных идей. В которые я верю и которые изо всех сил практикую.
Моих усилий явно недостаточно. Лидеры мнений продолжают талдычить и даже учить глубоко порочной (извините, иначе никак) практике "проверки продуктовых гипотез", которые в лучшем случае — плохо обоснованные ставки.
Надежда только на регулярность, упорство, и накопительный эффект. На то, что хорошие мемы (как и гены) выживают в достаточно конкурентной среде, а плохие вымываются естественным отбором.
Состояние рынка труда для продактов и общий уровень профессионализма — кажется, вполне соответствует такому определению. Посмотрим сколько займет эволюция и кого (какую терминологию, методологию, практику), в итоге, оставит в живых.
Спасибо всем за внимание!
В навигации по каналу (в закрепе) по-прежнему много того, что я считаю вечнозеленым контентом.
Снег, по-прежнему, где-то идёт...
Не устану рекомендовать вам канал Евгения Казначеева, просто потому что каждый второй (или чаще?) пост со мной настолько резонирует.
Готовясь к сегодняшнему выступлению на площадке GoPractice, я, в очередной раз, поймал себя на мысли: "Ну сколько можно об одном и том же?".
И Женя сегодня пишет:
Хочешь распространения идеи так, чтобы люди её действительно восприняли, — говори про неё снова и снова. [...] Нам некомфортно — а для публики в самый раз. Так и с идеями — нам может казаться, что «да я только об этом и говорю», а на деле в самый раз и может даже надо и почаще. Идеи, особенно неочевидные или некомфортные, требуют тщательного посева.
Да, я занимаюсь пропагандой и да, относительно странных идей. В которые я верю и которые изо всех сил практикую.
Моих усилий явно недостаточно. Лидеры мнений продолжают талдычить и даже учить глубоко порочной (извините, иначе никак) практике "проверки продуктовых гипотез", которые в лучшем случае — плохо обоснованные ставки.
Надежда только на регулярность, упорство, и накопительный эффект. На то, что хорошие мемы (как и гены) выживают в достаточно конкурентной среде, а плохие вымываются естественным отбором.
Состояние рынка труда для продактов и общий уровень профессионализма — кажется, вполне соответствует такому определению. Посмотрим сколько займет эволюция и кого (какую терминологию, методологию, практику), в итоге, оставит в живых.
Спасибо всем за внимание!
В навигации по каналу (в закрепе) по-прежнему много того, что я считаю вечнозеленым контентом.
Снег, по-прежнему, где-то идёт...
Telegram
Qetzal ad libitum, ad infinitum
Любая пропаганда это распространение взглядов и убеждение людей в этих взглядах. И наоборот — распространение взглядов это пропаганда.
Википедия говорит, что это «распространение взглядов, фактов, аргументов, слухов, информации (включая искажённой) или…
Википедия говорит, что это «распространение взглядов, фактов, аргументов, слухов, информации (включая искажённой) или…
👍14❤1😁1
Double Praxis Loop of PM
или Двойная петля практик продакт-менеджмента
Главная польза от подготовки к вебинару ГоПрактис для меня случилась в момент, когда я работал над иллюстрациями.
Понимание того, что знания – модели, обладающие прогностической способностью – являются основой для последующих действий – тривиально.
Почему мне никогда не приходило в голову это нарисовать? Необъяснимо.
Более того, первая версия иллюстрации, та, что осталась в слайдах, которые площадка будет распространять вместе с записью вебинара, была немного неуклюжей (почти как это предложение).
И только несколько часов проведенных "за доской", помогли мне, во-первых, добавить недостающий элемент (который всегда приходилось озвучивать) – "действие".
Так схема окончательно стала про связь мышления с "практикой".
И, во-вторых, главное – развернуть правую часть так, чтобы элегантно показать как знания формируют идеи и становятся стартовой точкой для цикла предпринимательского мыследействия.
Замыкание петли, через пару действие+наблюдение и выход в цикл научного метода – стало при этом еще более наглядным.
При этом, если ставки не высоки, из цикла предпринимательской практики не обязательно выскакивать в цикл научной практики. Но когда это происходит, каждый следующий виток становится все более обоснованным, а значит, повышается вероятность на успех.
В чем, собственно, и есть смысл доклада: делая ставки на основе хороших знаний (появившихся в результате проверки правильных гипотез), мы снижаем риски, повышаем импакт и увеличиваем отдачу от собственных вложений. А значит продолжаем приносить пользу бизнесу и создаем все меньше поводов говорить, что продакты не нужны.
---
В первом комментарии закину оригинальную презентацию с вебинара. Видеозапись ждем ближе к майским праздникам.
Там же принимаются предложения по более благозвучному, но все еще дескриптивному названию этой диаграммы 8)
или Двойная петля практик продакт-менеджмента
Главная польза от подготовки к вебинару ГоПрактис для меня случилась в момент, когда я работал над иллюстрациями.
Понимание того, что знания – модели, обладающие прогностической способностью – являются основой для последующих действий – тривиально.
Почему мне никогда не приходило в голову это нарисовать? Необъяснимо.
Более того, первая версия иллюстрации, та, что осталась в слайдах, которые площадка будет распространять вместе с записью вебинара, была немного неуклюжей (почти как это предложение).
И только несколько часов проведенных "за доской", помогли мне, во-первых, добавить недостающий элемент (который всегда приходилось озвучивать) – "действие".
Так схема окончательно стала про связь мышления с "практикой".
И, во-вторых, главное – развернуть правую часть так, чтобы элегантно показать как знания формируют идеи и становятся стартовой точкой для цикла предпринимательского мыследействия.
Замыкание петли, через пару действие+наблюдение и выход в цикл научного метода – стало при этом еще более наглядным.
При этом, если ставки не высоки, из цикла предпринимательской практики не обязательно выскакивать в цикл научной практики. Но когда это происходит, каждый следующий виток становится все более обоснованным, а значит, повышается вероятность на успех.
В чем, собственно, и есть смысл доклада: делая ставки на основе хороших знаний (появившихся в результате проверки правильных гипотез), мы снижаем риски, повышаем импакт и увеличиваем отдачу от собственных вложений. А значит продолжаем приносить пользу бизнесу и создаем все меньше поводов говорить, что продакты не нужны.
---
В первом комментарии закину оригинальную презентацию с вебинара. Видеозапись ждем ближе к майским праздникам.
Там же принимаются предложения по более благозвучному, но все еще дескриптивному названию этой диаграммы 8)
1👍21❤3
Четыре аспекта приоритезации
Когда в продуктовой организации говорят о проблемах (отсутствии ясности) или пытаются построить систему расстановки приоритетов — есть четыре аспекта, которые полезно различать.
1. Эффективность
— Мы хотим работать над самыми важными вещами, которые приносят наибольшую пользу.
Отношение импакта к затратам, эффекты мультипликации, общие цели, устранение взаимных барьеров — как расставлять приоритеты важной работы — то о чем обычно все говорят и знают "как надо".
Это самый очевидный, необходимый, но не достаточный пункт. На расстановке приоритетов часто все и заканчивается, что приводит, в итоге, к ощущению, что что-то не работает.
2. Согласованность и автономность
Этот аспект приоритезации становится важным когда команды сталкиваются друг с другом или в их планы пытается вмешаться кто-то извне.
— Мы хотим понимать, как выбирать между конкурирующими целями/приоритетами.
В таких ситуациях тестируется как приоритеты работают на масштабе компании.
— Мы хотим принимать решения в рамках своей области ответственности, без оглядки на вышестоящих стейкхолдеров.
Здесь ожидание от "правильно расставленных приоритетов" в том, что они должны позволять командам, работающим над важными инициативами с понятыми целями, самим выбирать способ их достижения. Постоянная зависимость от чьих-то решений воспринимается как отсутствие ясных приоритетов, особенно, когда те, от кого вы зависите заняты "более важными делами".
3. Поддержка
Похожая, но более конкретная история про ресурсы, взаимные обещания и общий эмоциональный фон.
— Мы хотим ощущать, что важную для нас инициативу поддерживают другие коллеги, нам выделяют необходимые ресурсы (деньги, время разработчиков, внимание стейкхолдеров), радуются нашим успехам и выражают благодарность за достижения.
Без всего этого "заявленные приоритеты" остаются пустыми декларациями, а даже хорошо сделанная важная работа "обесценивается", что приводит к сомнениямим в ее исходной оценке как приоритетной.
4. Продуктивность
Наконец, на уровне ежедневных усилий нам хочется видеть их результат, а для этого:
— Мы не хотим постоянно переключаться с одной задачи на другую. Мы хотим доводить дела до конца. Иначе, приоритеты не выглядят чем-то реальным и важным.
---
Ваша задача как менеджера, помнить и помогать команде с каждым из этих аспектов.
Каждому сотруднику полезно распознавать какой из аспектов сейчас не работает и обсуждать с руководителем не просто "приоритеты".
---
(Вы прочитали краткий пересказ очередного письма из рассылки John Cutler, — одного из продуктовых мыслителей и практиков, которого я всем рекомендую. Подпишитесь на него, пожалуйста, чтобы не пропускать то, что я сюда не буду выносить)
Когда в продуктовой организации говорят о проблемах (отсутствии ясности) или пытаются построить систему расстановки приоритетов — есть четыре аспекта, которые полезно различать.
1. Эффективность
— Мы хотим работать над самыми важными вещами, которые приносят наибольшую пользу.
Отношение импакта к затратам, эффекты мультипликации, общие цели, устранение взаимных барьеров — как расставлять приоритеты важной работы — то о чем обычно все говорят и знают "как надо".
Это самый очевидный, необходимый, но не достаточный пункт. На расстановке приоритетов часто все и заканчивается, что приводит, в итоге, к ощущению, что что-то не работает.
2. Согласованность и автономность
Этот аспект приоритезации становится важным когда команды сталкиваются друг с другом или в их планы пытается вмешаться кто-то извне.
— Мы хотим понимать, как выбирать между конкурирующими целями/приоритетами.
В таких ситуациях тестируется как приоритеты работают на масштабе компании.
— Мы хотим принимать решения в рамках своей области ответственности, без оглядки на вышестоящих стейкхолдеров.
Здесь ожидание от "правильно расставленных приоритетов" в том, что они должны позволять командам, работающим над важными инициативами с понятыми целями, самим выбирать способ их достижения. Постоянная зависимость от чьих-то решений воспринимается как отсутствие ясных приоритетов, особенно, когда те, от кого вы зависите заняты "более важными делами".
3. Поддержка
Похожая, но более конкретная история про ресурсы, взаимные обещания и общий эмоциональный фон.
— Мы хотим ощущать, что важную для нас инициативу поддерживают другие коллеги, нам выделяют необходимые ресурсы (деньги, время разработчиков, внимание стейкхолдеров), радуются нашим успехам и выражают благодарность за достижения.
Без всего этого "заявленные приоритеты" остаются пустыми декларациями, а даже хорошо сделанная важная работа "обесценивается", что приводит к сомнениямим в ее исходной оценке как приоритетной.
4. Продуктивность
Наконец, на уровне ежедневных усилий нам хочется видеть их результат, а для этого:
— Мы не хотим постоянно переключаться с одной задачи на другую. Мы хотим доводить дела до конца. Иначе, приоритеты не выглядят чем-то реальным и важным.
---
Ваша задача как менеджера, помнить и помогать команде с каждым из этих аспектов.
Каждому сотруднику полезно распознавать какой из аспектов сейчас не работает и обсуждать с руководителем не просто "приоритеты".
---
(Вы прочитали краткий пересказ очередного письма из рассылки John Cutler, — одного из продуктовых мыслителей и практиков, которого я всем рекомендую. Подпишитесь на него, пожалуйста, чтобы не пропускать то, что я сюда не буду выносить)
❤9👍2😁1
Тщательно подбирайте слова
Добрая половина контента этого канала сфокусирована на правильном использовании терминов, потому что «слова, которые мы используем, определяют опыт, который мы ожидаем».
Именно с этого я каждый раз начинаю разговор о гипотезах, ведь большинство людей просто не понимают, зачем спорить о терминах. И уж тем более – для чего их менять.
Сегодня я узнал, что я такой не один – целый Atlassian занимается тем же самым.
В прошлом сентябре они, оказывается, сделали целый плагин для Chrome, который позволял выбрать, какой термин использовать в Jira вместо «Issues».
Неделю назад они подвели итоги эксперимента, и теперь "'Work' is the new collective term for all items you trak in Jira".
Моё почтение – что тут ещё сказать!
Я отлично помню, как в 2015 году, впервые увидев лейбл инпута «Issue type», удивился такой однобокости и косноязычности, но списал их на исторические корни инструмента. Мне так и не довелось узнать, как эту задачу решили при локализации, но все таск‑трекеры, с которыми я работал после Жиры, называли задачи правильно – «задачами», а не «проблемами».
Теперь очередь добралась и до старой гвардии.
Морали две:
1. Даже если ваш продукт старше вас самих (Жире 23 года, если что), это не значит, что вы не можете менять его основы. Можете – вот пример для подражания.
2. Даже если вы привыкли к какому‑то термину, вы точно сможете начать использовать вместо него более правильный, точный, полезный. Уж если Atlassian смог, то и вы/ваша компания сможете ))
---
Для всех новых подписчиков напоминание – с правильными терминами продакт‑менеджмента помогает разобраться интерактивная история‑квиз "Снег идет...".
In and out. Twenty minute adventure ))
Добрая половина контента этого канала сфокусирована на правильном использовании терминов, потому что «слова, которые мы используем, определяют опыт, который мы ожидаем».
Именно с этого я каждый раз начинаю разговор о гипотезах, ведь большинство людей просто не понимают, зачем спорить о терминах. И уж тем более – для чего их менять.
Сегодня я узнал, что я такой не один – целый Atlassian занимается тем же самым.
В прошлом сентябре они, оказывается, сделали целый плагин для Chrome, который позволял выбрать, какой термин использовать в Jira вместо «Issues».
Неделю назад они подвели итоги эксперимента, и теперь "'Work' is the new collective term for all items you trak in Jira".
Моё почтение – что тут ещё сказать!
Я отлично помню, как в 2015 году, впервые увидев лейбл инпута «Issue type», удивился такой однобокости и косноязычности, но списал их на исторические корни инструмента. Мне так и не довелось узнать, как эту задачу решили при локализации, но все таск‑трекеры, с которыми я работал после Жиры, называли задачи правильно – «задачами», а не «проблемами».
Теперь очередь добралась и до старой гвардии.
Морали две:
1. Даже если ваш продукт старше вас самих (Жире 23 года, если что), это не значит, что вы не можете менять его основы. Можете – вот пример для подражания.
2. Даже если вы привыкли к какому‑то термину, вы точно сможете начать использовать вместо него более правильный, точный, полезный. Уж если Atlassian смог, то и вы/ваша компания сможете ))
---
Для всех новых подписчиков напоминание – с правильными терминами продакт‑менеджмента помогает разобраться интерактивная история‑квиз "Снег идет...".
In and out. Twenty minute adventure ))
Atlassian Community
It's here: 'Work' is the new collective term for all items you track in Jira
Last year, we announced our commitment to evolving the language in our tools to better reflect the diverse ways teams define and manage their work in Jira. Starting today, we're moving to using ‘work’ as the new term for everything you track in Jira. Our…
👏6❤2👍2
Как меняются требования к профессии
В октябре 2010 года, по счастливому стечению обстоятельств, я устроился работать веб-дизайнером в одну из главных студий в Красноярске.
Планка отбора была высока, но прошёл я её не потому, что хорошо рисовал сайты, а потому, что был хорошим полиграфическим дизайнером. В веб (тогда) эти скиллы плохо транслировались, но приносить пользу компании мне помог очевидный, как мне тогда казалось, ход: вместо того чтобы рисовать макеты в Фотошопе или прототипы в Акшуре (что уже было next level) — я принялся собирать чёрно-белые сайты на Бутстрапе.
Набор элементов и их интерактивность в тот момент уже позволяли делать работающие mobile-first страницы, полностью имитирующие работу будущего веб-сайта. При этом я старался, чтобы они содержали как можно больше настоящего будущего контента: навигацию, заголовки, кнопки, карусели фотографий — угадать всё это за клиента или сделать максимально близко к тексту, основываясь на ТЗ, было не трудно.
В работе с клиентами, которые до этого видели 2-3 «концепции», зачастую наполненные «рыбным» содержанием, такой подход, если и не произвёл фурор, то имел несомненный успех. К концу моей работы в Студии такие прототипы делали еще двое дизайнеров, а я довёз этот подход аж до Петербурга (где, справедливости ради, успел применить его только пару раз).
–––
CPO OpenAI в своем недавнем интервью сказал не так много интересных вещей:
– У них «что-то около 25 продактов», они знают, какой идиотизм они развели с названиями моделей, но не считают это чем-то важным, чтобы срочно решать.
– О квартальном планировании: они хотят понимать, над чем будут работать, но «это не жёсткие планы» – главное «быть первыми» и «регулярно что-то выпускать».
– Метафора «люди как LLM» неплохо работает сразу в нескольких контекстах (кто сказал «модели компетенций»?).
– «Сегодняшняя версия модели – худшая из тех, что вы будете использовать в будущем» – ок, кэп.
– Наконец, повод для этого поста: по его мнению, работа продактов изменится сильнее всего, потому что от нас всё чаще будут ожидать «показать работающую идею» вместо того, чтобы просто её описать и визуализировать.
Да, чиф-продакт OpenAI признает, что Claude программирует лучше их моделей (спойлерит, что скоро это изменится) и пропагандирует «вайб кодинг».
Жалуется при этом, что их чиф-пипл-офицер навайбкодила себе продукт, которого не хватало, а он сам и коллеги-продакты «что-то как-то мало вайбкодят». Кевин ожидает, что это скоро изменится настолько сильно, что «через пять лет нашу профессию будет не узнать».
В целом, я его поддерживаю: если вам хочется визуализировать новый продукт, фичу или изменения в текущем – вместо Фигмы сейчас уже полезнее (и, скорее всего, быстрее) будет открыть v0.dev и убедить чат сделать вам нужный прототип. Уже пару раз так делал — первое впечатление аудитории очень хорошее.
Станет ли это ключевым новым требованием и содержанием профессии? В компаниях, готовых к быстрым итерациям и не стесняющихся того, что «90% кода пишется с помощью LLM», — я вполне могу себе представить, как практика «интерактивный прототип – PRD – продакшен» приживётся очень быстро, и от продактов будут ожидать, что они могут закрыть 2/3, если не 8/10 этого пути.
Но в то, что это изменит профессию фундаментально, – сомневаюсь. Наоборот, есть риск, что вместо того чтобы думать (и правильно применять важные практики и термины, которые за ними стоят), продакты будут дрейфовать в сторону мартышек, вооружённых AI, тратящих деньги компаний на шиткодинг никому не нужных поделок.
Именно поэтому так важны фундаментальные основания нашей профессии. Но об этом тут ещё будет много, просто позже. А пост про мои результаты вайбкодинга в реальном мире — уже завтра )
В октябре 2010 года, по счастливому стечению обстоятельств, я устроился работать веб-дизайнером в одну из главных студий в Красноярске.
Планка отбора была высока, но прошёл я её не потому, что хорошо рисовал сайты, а потому, что был хорошим полиграфическим дизайнером. В веб (тогда) эти скиллы плохо транслировались, но приносить пользу компании мне помог очевидный, как мне тогда казалось, ход: вместо того чтобы рисовать макеты в Фотошопе или прототипы в Акшуре (что уже было next level) — я принялся собирать чёрно-белые сайты на Бутстрапе.
Набор элементов и их интерактивность в тот момент уже позволяли делать работающие mobile-first страницы, полностью имитирующие работу будущего веб-сайта. При этом я старался, чтобы они содержали как можно больше настоящего будущего контента: навигацию, заголовки, кнопки, карусели фотографий — угадать всё это за клиента или сделать максимально близко к тексту, основываясь на ТЗ, было не трудно.
В работе с клиентами, которые до этого видели 2-3 «концепции», зачастую наполненные «рыбным» содержанием, такой подход, если и не произвёл фурор, то имел несомненный успех. К концу моей работы в Студии такие прототипы делали еще двое дизайнеров, а я довёз этот подход аж до Петербурга (где, справедливости ради, успел применить его только пару раз).
–––
CPO OpenAI в своем недавнем интервью сказал не так много интересных вещей:
– У них «что-то около 25 продактов», они знают, какой идиотизм они развели с названиями моделей, но не считают это чем-то важным, чтобы срочно решать.
– О квартальном планировании: они хотят понимать, над чем будут работать, но «это не жёсткие планы» – главное «быть первыми» и «регулярно что-то выпускать».
– Метафора «люди как LLM» неплохо работает сразу в нескольких контекстах (кто сказал «модели компетенций»?).
– «Сегодняшняя версия модели – худшая из тех, что вы будете использовать в будущем» – ок, кэп.
– Наконец, повод для этого поста: по его мнению, работа продактов изменится сильнее всего, потому что от нас всё чаще будут ожидать «показать работающую идею» вместо того, чтобы просто её описать и визуализировать.
Да, чиф-продакт OpenAI признает, что Claude программирует лучше их моделей (спойлерит, что скоро это изменится) и пропагандирует «вайб кодинг».
Жалуется при этом, что их чиф-пипл-офицер навайбкодила себе продукт, которого не хватало, а он сам и коллеги-продакты «что-то как-то мало вайбкодят». Кевин ожидает, что это скоро изменится настолько сильно, что «через пять лет нашу профессию будет не узнать».
В целом, я его поддерживаю: если вам хочется визуализировать новый продукт, фичу или изменения в текущем – вместо Фигмы сейчас уже полезнее (и, скорее всего, быстрее) будет открыть v0.dev и убедить чат сделать вам нужный прототип. Уже пару раз так делал — первое впечатление аудитории очень хорошее.
Станет ли это ключевым новым требованием и содержанием профессии? В компаниях, готовых к быстрым итерациям и не стесняющихся того, что «90% кода пишется с помощью LLM», — я вполне могу себе представить, как практика «интерактивный прототип – PRD – продакшен» приживётся очень быстро, и от продактов будут ожидать, что они могут закрыть 2/3, если не 8/10 этого пути.
Но в то, что это изменит профессию фундаментально, – сомневаюсь. Наоборот, есть риск, что вместо того чтобы думать (и правильно применять важные практики и термины, которые за ними стоят), продакты будут дрейфовать в сторону мартышек, вооружённых AI, тратящих деньги компаний на шиткодинг никому не нужных поделок.
Именно поэтому так важны фундаментальные основания нашей профессии. Но об этом тут ещё будет много, просто позже. А пост про мои результаты вайбкодинга в реальном мире — уже завтра )
YouTube
OpenAI’s CPO on how AI changes must-have skills, moats, coding, startup playbooks, more | Kevin Weil
Kevin Weil is the chief product officer at OpenAI, where he oversees the development of ChatGPT, enterprise products, and the OpenAI API. Prior to OpenAI, Kevin was head of product at Twitter, Instagram, and Planet, and was instrumental in the development…
❤8👀2👍1🔥1👏1👌1
Просвещение и технологии
Статье Ководства про экранную типографику скоро 25 лет. «Чертам русской типографики» — 22 года.
И всего этого времени не хватило, чтобы люди, профессионально пишущие тексты, соблюдали популяризированные таким способом нормы.
Качественный скачок произошёл (произойдёт?) только тогда, когда автоматическая проверка и исправление типографики станут общим местом.
Сейчас это происходит почти исключительно, только если ваш текст правит (или, недайбоже, пишет) LLM.
Вчера мне показалось, что при редактировании текста Телеграм сам расставил в неочевидных местах правильные черточки.
Показалось — но почему бы и нет?
Как только ТГ (пока очень посредственный в этом отношении продукт) станет предлагать авторам нормализировать оформление их текстов (сугубо по добровольному согласию), просвещение победит, потому что технология сделает соответствующее знание факультативным.
Осталось убедить окружающих, что тире, как и «правильные» кавычки, — это не признак сгенерированного текста, а старая, добрая и красивая традиция.
Статье Ководства про экранную типографику скоро 25 лет. «Чертам русской типографики» — 22 года.
И всего этого времени не хватило, чтобы люди, профессионально пишущие тексты, соблюдали популяризированные таким способом нормы.
Качественный скачок произошёл (произойдёт?) только тогда, когда автоматическая проверка и исправление типографики станут общим местом.
Сейчас это происходит почти исключительно, только если ваш текст правит (или, недайбоже, пишет) LLM.
Вчера мне показалось, что при редактировании текста Телеграм сам расставил в неочевидных местах правильные черточки.
Показалось — но почему бы и нет?
Как только ТГ (пока очень посредственный в этом отношении продукт) станет предлагать авторам нормализировать оформление их текстов (сугубо по добровольному согласию), просвещение победит, потому что технология сделает соответствующее знание факультативным.
Осталось убедить окружающих, что тире, как и «правильные» кавычки, — это не признак сгенерированного текста, а старая, добрая и красивая традиция.
❤10🔥3👍1
Метакодинг
Вайбкодинг быстро приобрел незаслуженно плохую репутацию.
Отчасти потому, что критично настроенные комментаторы представляют другой лагерь. Отчасти потому, что наивные вайбкодеры, конечно же, собирают все очевидные грабли, и выступают отличной мишенью для критики опытных разработчиков.
За прошедшие 6 месяцев моего погружения в практику разработки с помощью LLM я закончил уже 4 проекта разной степени сложности — от простой визуализации markdown-файлов в виде слайдов, до сложного генератора шаблонов проектов. Вот к чему я пришёл на текущий момент:
– Агентский режим GitHub Copilot и специализированные IDE — полностью закрывают потребность писать и редактировать код самому.
– После этого нам, не-разработчикам, остаётся только правильно организовать работу.
– Для этого начинать нужно — вы догадались — с хорошо сформулированных требований, которые нужно обсудить с моделью и сохранить итоговый артефакт в виде файла README.md
– На основе этих требований (кто сказал PRD?) следующим шагом нужно сформировать набор задач — буквально начать формировать задачи: чек-листы реализации каждой конкретной фичи. Не всех сразу, не торопитесь — по одной, по шагам. Подумайте, с чего действительно стоит начать и что может быть минимальным инкрементом, который покажет вам, что вы на правильном пути.
– Первую же задачу нужно попросить реализовать, используя подход TDD. В этот момент (если не сделали это сразу) вы потратите время на сетап инфраструктуры тестирования. Обязательным этапом попросите своего агента создать файл с описанием тестовой стратегии (что и для чего делаем, как запускать и анализировать тесты) и отдельно — файл со списком тестов, который вы будете поддерживать в актуальном состоянии
– Дальше дело за малым: каждый раз, когда вы “выпускаете” очередной инкремент — обязательно обновляйте всю документацию, которая у вас уже есть: описание проекта, описание кодовой базы (я держу его в отдельном файле), тестовую документацию, чек-листы в конкретных задачах.
---
Так начинается бесконечный цикл: все тщательно продумали и запланировали; завели тест, добавили код, проверили, что всё (не)работает, починили; обновили другие затронутые части кода и починили соответствующие тесты; обновили все связанные документы; удостоверились, что результат вас устраивает; проверили билд; запушили изменения в репозиторий, дождались сборки на продакшене и пошли наслаждаться результатом!
По сути, вместо написания кода вы работаете менеджером продукта, архитектором и руководителем разработчика, тестировщика и дизайнера. Не забывайте и про роль специалиста по кибербезопасности — обязательно просите вашего железного помощника продумывать, объяснять и реализовывать соответствующие требования.
Всё это я и называю «метакодингом».
Вы получаете работающий продукт, всё ещё оставаясь на комфортном для вас уровне неведения о языке программирования и технологиях, на которых он реализован.
Попробуйте — если вам понравится процесс, то результат точно не разочарует!
---
Мои результаты:
– приложение для совместных список покупок и/или ведения повторяющихся задач: https://relistapp.app
– история-квиз про ключевые термины: https://snow.tobeproduct.ru
– генератор статических слайдов (сделан за вечер как пример для вебинара про вайбкодинг): https://markdown-slides-7099a.web.app.
– наконец, готовый темплейт и гайд как стартовать свой первый проект: https://vibecoding.cc
Вайбкодинг быстро приобрел незаслуженно плохую репутацию.
Отчасти потому, что критично настроенные комментаторы представляют другой лагерь. Отчасти потому, что наивные вайбкодеры, конечно же, собирают все очевидные грабли, и выступают отличной мишенью для критики опытных разработчиков.
За прошедшие 6 месяцев моего погружения в практику разработки с помощью LLM я закончил уже 4 проекта разной степени сложности — от простой визуализации markdown-файлов в виде слайдов, до сложного генератора шаблонов проектов. Вот к чему я пришёл на текущий момент:
– Агентский режим GitHub Copilot и специализированные IDE — полностью закрывают потребность писать и редактировать код самому.
– После этого нам, не-разработчикам, остаётся только правильно организовать работу.
– Для этого начинать нужно — вы догадались — с хорошо сформулированных требований, которые нужно обсудить с моделью и сохранить итоговый артефакт в виде файла README.md
– На основе этих требований (кто сказал PRD?) следующим шагом нужно сформировать набор задач — буквально начать формировать задачи: чек-листы реализации каждой конкретной фичи. Не всех сразу, не торопитесь — по одной, по шагам. Подумайте, с чего действительно стоит начать и что может быть минимальным инкрементом, который покажет вам, что вы на правильном пути.
– Первую же задачу нужно попросить реализовать, используя подход TDD. В этот момент (если не сделали это сразу) вы потратите время на сетап инфраструктуры тестирования. Обязательным этапом попросите своего агента создать файл с описанием тестовой стратегии (что и для чего делаем, как запускать и анализировать тесты) и отдельно — файл со списком тестов, который вы будете поддерживать в актуальном состоянии
– Дальше дело за малым: каждый раз, когда вы “выпускаете” очередной инкремент — обязательно обновляйте всю документацию, которая у вас уже есть: описание проекта, описание кодовой базы (я держу его в отдельном файле), тестовую документацию, чек-листы в конкретных задачах.
---
Так начинается бесконечный цикл: все тщательно продумали и запланировали; завели тест, добавили код, проверили, что всё (не)работает, починили; обновили другие затронутые части кода и починили соответствующие тесты; обновили все связанные документы; удостоверились, что результат вас устраивает; проверили билд; запушили изменения в репозиторий, дождались сборки на продакшене и пошли наслаждаться результатом!
По сути, вместо написания кода вы работаете менеджером продукта, архитектором и руководителем разработчика, тестировщика и дизайнера. Не забывайте и про роль специалиста по кибербезопасности — обязательно просите вашего железного помощника продумывать, объяснять и реализовывать соответствующие требования.
Всё это я и называю «метакодингом».
Вы получаете работающий продукт, всё ещё оставаясь на комфортном для вас уровне неведения о языке программирования и технологиях, на которых он реализован.
Попробуйте — если вам понравится процесс, то результат точно не разочарует!
---
Мои результаты:
– приложение для совместных список покупок и/или ведения повторяющихся задач: https://relistapp.app
– история-квиз про ключевые термины: https://snow.tobeproduct.ru
– генератор статических слайдов (сделан за вечер как пример для вебинара про вайбкодинг): https://markdown-slides-7099a.web.app.
– наконец, готовый темплейт и гайд как стартовать свой первый проект: https://vibecoding.cc
👍18🔥3
Если вы ещё не читаете канал «Системный сдвиг», то вот отличный повод: пост о том, почему принятие решений комитетом стейкхолдеров математически невозможно.
Telegram
Системный сдвиг
Открытие дня — оказывается, провал коллективного принятия проектировочных решений, то, что называется "Design by Committee" — имеет строгое математическое доказательство и называется "Теорема Эрроу о диктатуре".
Это что-то вроде CAP-теоремы для выборов:…
Это что-то вроде CAP-теоремы для выборов:…
👍1
Сплит-тесты. Контрольный список вопросов
Мой prior таков: уверенность большинства продактов в том, что они могут качественно проектировать, проводить и анализировать A/B-тесты, а затем принимать на их основе хорошие решения, — отличная иллюстрация эффекта Даннинга-Крюгера.
Да-да, того самого когнитивного искажения, при котором люди с низкой квалификацией переоценивают свои знания и навыки, тогда как специалисты высокого уровня склонны их недооценивать.
Давайте проверим, вот набор вопросов, без ответа на которые не стоит запускать сплит-тест.
— какое знание вы собираетесь получить в результате теста и как будете его использовать?
— умеете ли вы отличить «научную гипотезу» от обычного предположения о будущем?
— можете ли четко сформулировать и «нуль», и «альтернативную» гипотезы?
— можете ли вы объяснить разницу между частотным и байесовским подходами к вероятности?
— ваша целевая метрика эргодична или нет и как это влияет на дизайн эксперимента?
— как именно вы определите MDE: в абсолютных или относительных единицах, на линейной или лог-шкале?
— что будет вашим stop-rule (длина теста, объём трафика, достижение метрики) и как вы исключите peeking bias?
– как должены измениться ответы на предыдущие вопросы, если вы решите следовать байесовскому подходу?
— знаете ли вы, как работает система рандомизации?
– можете ли гарантировать отсутствие перемешивания респондентов, а если нет, то как учтёте этот риск в анализе?
Если вы уверенно отвечаете на все эти, а также «вагон и маленькую тележку» других вопросов (умышленно не упоминаю здесь банальщину про мощность, размер выборки, контрольные метрики, а так же более сложные материи, с которыми знаком только понаслышке), — поздравляю!
Но если это так, то скорее всего вы специалист по статистическим методам, а не продакт. Приносите свои контр-свидетельства, я буду очень рад проапдейтить свои представления!
Если же вы (или аналитик, который помогает проектировать эксперимент) спотыкаетесь хотя бы на одном пункте, — плохие новости: почти наверняка, вы убеждаете себя и бизнес в полезности процедуры, которую плохо понимаете. По сути практикуете карго-культ.
Sorry, not sorry!
---
Этот пост многих разозлит, но я надеюсь, что многим же поможет задуматься о том, что они делают. Кто-то может быть даже запишется на полезный курс или пойдет читать Rona Kohavi.
Лично для меня, ключевым открытием (уже после Байеса) когда-то был вопрос про эргодичность. Погуглите тему, скорее всего, после этого вам придется переоценить ваши представления о применимости сплит-тестов в нашем контексте.
---
Быть продактом, гораздо труднее чем им же казаться, но начинается все с ответа на один и тот же вопрос: «Откуда я знаю то, что знаю?»
Перед запуском следующего сплит-теста мне предстоит очень тяжелая задача по ответу на все перечисленные и не упомянутые вопросы, только чтобы удостовериться в том, что именно такой метод исследования применим к стоящей передо мной задаче.
Честно говоря, I'm not looking forward to it.
Мой prior таков: уверенность большинства продактов в том, что они могут качественно проектировать, проводить и анализировать A/B-тесты, а затем принимать на их основе хорошие решения, — отличная иллюстрация эффекта Даннинга-Крюгера.
Да-да, того самого когнитивного искажения, при котором люди с низкой квалификацией переоценивают свои знания и навыки, тогда как специалисты высокого уровня склонны их недооценивать.
Давайте проверим, вот набор вопросов, без ответа на которые не стоит запускать сплит-тест.
— какое знание вы собираетесь получить в результате теста и как будете его использовать?
— умеете ли вы отличить «научную гипотезу» от обычного предположения о будущем?
— можете ли четко сформулировать и «нуль», и «альтернативную» гипотезы?
— можете ли вы объяснить разницу между частотным и байесовским подходами к вероятности?
— ваша целевая метрика эргодична или нет и как это влияет на дизайн эксперимента?
— как именно вы определите MDE: в абсолютных или относительных единицах, на линейной или лог-шкале?
— что будет вашим stop-rule (длина теста, объём трафика, достижение метрики) и как вы исключите peeking bias?
– как должены измениться ответы на предыдущие вопросы, если вы решите следовать байесовскому подходу?
— знаете ли вы, как работает система рандомизации?
– можете ли гарантировать отсутствие перемешивания респондентов, а если нет, то как учтёте этот риск в анализе?
Если вы уверенно отвечаете на все эти, а также «вагон и маленькую тележку» других вопросов (умышленно не упоминаю здесь банальщину про мощность, размер выборки, контрольные метрики, а так же более сложные материи, с которыми знаком только понаслышке), — поздравляю!
Но если это так, то скорее всего вы специалист по статистическим методам, а не продакт. Приносите свои контр-свидетельства, я буду очень рад проапдейтить свои представления!
Если же вы (или аналитик, который помогает проектировать эксперимент) спотыкаетесь хотя бы на одном пункте, — плохие новости: почти наверняка, вы убеждаете себя и бизнес в полезности процедуры, которую плохо понимаете. По сути практикуете карго-культ.
Sorry, not sorry!
---
Этот пост многих разозлит, но я надеюсь, что многим же поможет задуматься о том, что они делают. Кто-то может быть даже запишется на полезный курс или пойдет читать Rona Kohavi.
Лично для меня, ключевым открытием (уже после Байеса) когда-то был вопрос про эргодичность. Погуглите тему, скорее всего, после этого вам придется переоценить ваши представления о применимости сплит-тестов в нашем контексте.
---
Быть продактом, гораздо труднее чем им же казаться, но начинается все с ответа на один и тот же вопрос: «Откуда я знаю то, что знаю?»
Перед запуском следующего сплит-теста мне предстоит очень тяжелая задача по ответу на все перечисленные и не упомянутые вопросы, только чтобы удостовериться в том, что именно такой метод исследования применим к стоящей передо мной задаче.
Честно говоря, I'm not looking forward to it.
👍9😢2🥱2🔥1
Метрики
There are levels:
1. Джун: знает метрики! Может без запинки перечислить MAU, WAU, DAU, CAC, LTV, NPS…
2. Мидл: знает все метрики! Начинает с пиратского восклицания и заканчивает разговором про Полярную звезду.
3. Синьор: на самом деле знает, сколько CR притаилось в его «воронке». Может нарисовать корректное «дерево», соблюдая правила арифметики. Различает OMTM от NSM. Может объяснить, почему NPS — плохая метрика. Всеми силами топит за когорты. Имеет ещё пару тузов в рукаве, но использует их только в подходящей ситуации.
4. Head of / директор: начинает видеть лес за деревьями, но иногда забывает про отдельные экземпляры. Компенсирует тем, что отделяет зёрна от плевел: метрики тщеславия от всех остальных; метрики опыта от метрик продукта и бизнес-показаталей. Выбирает, когда быть data-driven, а когда уже data-informed.
5. C-level: видит только лес, и сразу опознаёт старину Гудхарта в нём. Всеми силами гонит его прочь, если, конечно, от этого не зависит его годовая премия.
Х. Человек с хорошим образованием, на любом уровне:
— помнит о недостатках относительных метрик и знает, как их компенсировать;
— может объяснить, чем отличаются leading-индикаторы от lagging, а input-метрики от output, и, главное, когда одни переходят в другие;
— понимает, что одинаково важно выбрать правильную метрику и аккуратно её измерить (и что одно без другого не имеет смысла);
— занимает правильную сторону в споре frequentists vs. Bayesians;
— каждый раз думает, что и для чего имеет смысл измерять, а что — нет.
---
Этот пост добавлен в навигацию по каналу — если вы здесь недавно, всячески рекомендую, там есть что почитать на майских.
There are levels:
1. Джун: знает метрики! Может без запинки перечислить MAU, WAU, DAU, CAC, LTV, NPS…
2. Мидл: знает все метрики! Начинает с пиратского восклицания и заканчивает разговором про Полярную звезду.
3. Синьор: на самом деле знает, сколько CR притаилось в его «воронке». Может нарисовать корректное «дерево», соблюдая правила арифметики. Различает OMTM от NSM. Может объяснить, почему NPS — плохая метрика. Всеми силами топит за когорты. Имеет ещё пару тузов в рукаве, но использует их только в подходящей ситуации.
4. Head of / директор: начинает видеть лес за деревьями, но иногда забывает про отдельные экземпляры. Компенсирует тем, что отделяет зёрна от плевел: метрики тщеславия от всех остальных; метрики опыта от метрик продукта и бизнес-показаталей. Выбирает, когда быть data-driven, а когда уже data-informed.
5. C-level: видит только лес, и сразу опознаёт старину Гудхарта в нём. Всеми силами гонит его прочь, если, конечно, от этого не зависит его годовая премия.
Х. Человек с хорошим образованием, на любом уровне:
— помнит о недостатках относительных метрик и знает, как их компенсировать;
— может объяснить, чем отличаются leading-индикаторы от lagging, а input-метрики от output, и, главное, когда одни переходят в другие;
— понимает, что одинаково важно выбрать правильную метрику и аккуратно её измерить (и что одно без другого не имеет смысла);
— занимает правильную сторону в споре frequentists vs. Bayesians;
— каждый раз думает, что и для чего имеет смысл измерять, а что — нет.
---
Этот пост добавлен в навигацию по каналу — если вы здесь недавно, всячески рекомендую, там есть что почитать на майских.
🔥11👍5
Метрики на собеседованиях
Честно говоря, я сегодня хотел написать совсем другой пост — вот этот.
Сначала напомню моё отношение к «метрикам в резюме» — это булшит.
Реальность работы продакта намного сложнее и печальнее, чем «повысил С1 на 2 п.п., что выразилось в +$50K MRR в течение 6 месяцев». Ещё раз, прописью — это булшит. Тут неправда почти всё, хотя можно легко показать, что «всё так и было!» (см. комментарии к посту)
Тогда какой смысл обсуждать метрики на собеседовании? Точно нет смысла просить: «Опишите, как бы вы измеряли вот эту фичу?».
Всё, что вы услышите в ответ, будет либо банально (и тогда не принесёт вам ценной информации о кандидате), либо не совпадёт с вашими ожиданиями («забыл ещё вот это») — и тогда станет просто поводом для вас отсеять кандидата.
Имеет смысл обсуждать метрики с кандидатом только в двух случаях:
— вы готовы услышать что-то новое (и кандидат заведомо соответствующего уровня);
— вы хотите понять, как человек думает, протестировать буквально «строгость», «точность» мышления.
Во всех остальных случаях — смотрите предыдущий пост про уровни. Мидл вам скажет одно, синьор — другое, но это не то, о чём нужно спрашивать и что выслушивать. Но! Если вы действительно хотите понять как соискатель мыслит...
---
Продакт обязан учиться. Постоянно, непрестанно, без устали и продыху. Буквально, как завещал… В общем, вы поняли. Это очевидно.
Чуть менее очевидно, что продакт обязан:
— понимать границы собственных и чужих знаний;
— уметь определять и согласовывать определения терминов;
— отделять предположения (assumptions) от фактов и мнений;
— различать конкретное от абстрактного, объективное от субъективного;
— оценивать качество аргументов, предъявлять сильные аргументы;
— строить сложные умозаключения, не допускать логических ошибок;
— удерживать многоэтажные смысловые конструкции и не скакать хаотично между их этажами;
— выходить «в» и возвращаться «из» рефлексивной позиции.
Иными словами, продакт должен понимать и применять на практике основы эпистемологии, герменевтики, логики и системного мышления (а также уметь строить и оперировать онтологиями).
Как всё это проверить за 10 минут, которые у вас для этого есть на собеседовании?
Выделите 20 минут и задайте два вопроса:
— «Что такое „эргодичность“ и для чего нам это понятие, когда мы говорим о метриках?»;
— «Как и для чего различать input- и output-метрики?».
Если кандидат не знает ответов, попросите потратить 5 минут на гугл/разговор с LLM и обсудите результат.
За 20 минут обсуждения этих двух вопросов вы поймёте про кандидата гораздо больше важных вещей, чем за 40 минут обсуждения тонкостей любой воронки.
---
Все числовые показатели в этом посте – буквально «фигуры речи» ;-)
---
Этот пост тоже добавлен в навигацию по каналу — в раздел «Чек-лист CPO».
Честно говоря, я сегодня хотел написать совсем другой пост — вот этот.
Сначала напомню моё отношение к «метрикам в резюме» — это булшит.
Реальность работы продакта намного сложнее и печальнее, чем «повысил С1 на 2 п.п., что выразилось в +$50K MRR в течение 6 месяцев». Ещё раз, прописью — это булшит. Тут неправда почти всё, хотя можно легко показать, что «всё так и было!» (см. комментарии к посту)
Тогда какой смысл обсуждать метрики на собеседовании? Точно нет смысла просить: «Опишите, как бы вы измеряли вот эту фичу?».
Всё, что вы услышите в ответ, будет либо банально (и тогда не принесёт вам ценной информации о кандидате), либо не совпадёт с вашими ожиданиями («забыл ещё вот это») — и тогда станет просто поводом для вас отсеять кандидата.
Имеет смысл обсуждать метрики с кандидатом только в двух случаях:
— вы готовы услышать что-то новое (и кандидат заведомо соответствующего уровня);
— вы хотите понять, как человек думает, протестировать буквально «строгость», «точность» мышления.
Во всех остальных случаях — смотрите предыдущий пост про уровни. Мидл вам скажет одно, синьор — другое, но это не то, о чём нужно спрашивать и что выслушивать. Но! Если вы действительно хотите понять как соискатель мыслит...
---
Продакт обязан учиться. Постоянно, непрестанно, без устали и продыху. Буквально, как завещал… В общем, вы поняли. Это очевидно.
Чуть менее очевидно, что продакт обязан:
— понимать границы собственных и чужих знаний;
— уметь определять и согласовывать определения терминов;
— отделять предположения (assumptions) от фактов и мнений;
— различать конкретное от абстрактного, объективное от субъективного;
— оценивать качество аргументов, предъявлять сильные аргументы;
— строить сложные умозаключения, не допускать логических ошибок;
— удерживать многоэтажные смысловые конструкции и не скакать хаотично между их этажами;
— выходить «в» и возвращаться «из» рефлексивной позиции.
Иными словами, продакт должен понимать и применять на практике основы эпистемологии, герменевтики, логики и системного мышления (а также уметь строить и оперировать онтологиями).
Как всё это проверить за 10 минут, которые у вас для этого есть на собеседовании?
Выделите 20 минут и задайте два вопроса:
— «Что такое „эргодичность“ и для чего нам это понятие, когда мы говорим о метриках?»;
— «Как и для чего различать input- и output-метрики?».
Если кандидат не знает ответов, попросите потратить 5 минут на гугл/разговор с LLM и обсудите результат.
За 20 минут обсуждения этих двух вопросов вы поймёте про кандидата гораздо больше важных вещей, чем за 40 минут обсуждения тонкостей любой воронки.
---
Все числовые показатели в этом посте – буквально «фигуры речи» ;-)
---
Этот пост тоже добавлен в навигацию по каналу — в раздел «Чек-лист CPO».
👍11🤔4🔥3❤2🌚1
Рокет-сайенс и знания
Выношу эти аргументы из комментариев (спасибо Самвелу за участие и продолжение дискуссии!).
Мои нападки на плохо посчитанные метрики и запущенные на коленке сплит-тесты исходят из следующих предпосылок:
— плохо описанная и обсчитанная реальность создаёт иллюзию знания и подкрепляет последующие действия «объективными данными»;
— плохо поставленный эксперимент даёт ложную уверенность в том, что мы что-то узнали, и подкрепляет последующие действия «проверенными результатами»;
— и то, и другое зачастую работает на подтверждение собственных исходных представлений, то есть только усиливает неизбежные когнитивные искажения.
---
Хорошо поставленный эксперимент (сплит-тест) претендует на производство объективного знания с помощью системы с большим количеством сложно связанных и влияющих друг на другая частей.
Поэтому буквально является рокет-сайенсом.
Если вас не учили в университете методологии науки, если вы не изучали статистику, не практиковались в статистических методах исследований, не разбирались в тонкостях системы, запускающей тест, не можете уверенно ответить на контрольный список вопросов — с очень высокой вероятностью результаты вашего теста будут либо банальны, либо неверны. Если добавить к этому стоимость запуска и анализа результатов тестов, то вопрос об их эффективности заиграет новыми красками.
Хорошо посчитанные метрики требуют точного понимания, что мы измеряем, как мы это делаем, что остаётся неизмеренным, какие причинно-следственные связи мы объективно установили, а где можем зафиксировать только корреляцию.
Даже финансовой отчётностью можно умело манипулировать, и даже такую банальную вещь, как DAU, относительно сложно достаточно точно посчитать (если вы не понимаете ограничений вашего способа подсчёта).
Правильное измерение чего угодно — отдельная дисциплина; при этом сколько раз в продуктовых курсах или статьях вы слышали упоминание «метрологии»?
---
Менеджмент продуктов — это практика использования знаний о поведении людей.
При этом парадокс нашей профессиональной области в том, что в большинстве ситуаций от нас не требуются знания, претендующие на «научность», «объективность» и даже более-менее высокую точность.
Знание — это модель, обладающая предсказательной силой. В комментариях к ещё одному посту другой читатель (Егор, привет!) принёс ссылку на статью, в которой доказывается математическая бессмысленность эффекта Даннинга-Крюгера. Становится ли от этого исходная модель хуже? Нет. Потому что она продолжает производить сбывающиеся предсказания: «люди с квалификацией ниже среднего будут переоценивать свои результаты», —мы же регулярно видим это вокруг (и иногда поступаем так же сами!).
---
Плохие метрики и эксперименты не дают настоящих знаний, подменяя их иллюзиями и укрепляя уже имеющиеся. В условиях растущего рынка и востребованного продукта это не слишком мешает расти. При этом деятельность, производящая плохие знания, отнимает у нас время от деятельности, которая могла бы произвести хорошие.
Когда ситуация благоприятна, а риски минимальны и ставки не высоки – короткие циклы обратной связи от реальности (aka «слабоумие и отвага») работают лучше чем «мы потратили 1 млн чтобы экспериментально проверить, что банальная идея улучшает целевую метрику на 0,5% и приносит +20К в месяц».
Эвристики, лучшие практики, lean & agille, быстрые итерации, непрерывная доставка изменений – работают. Карго-культ «тестируем всё» – приносит меньше пользы, чем принято считать и репортить.
---
Пожалуйста, продолжайте измерять, но будьте внимательны к тому, что, как и насколько точно.
Пожалуйста, продолжайте экспериментировать, но применяйте хорошую методологию, точные инструменты и понимайте их границы. И ищите другие способы производства знаний, если не уверены в этом.
Пожалуйста, думайте о стоимости знаний и выбирайте способы получения знаний, которые принесут вам больше пользы на единицу времязатрат.
Выношу эти аргументы из комментариев (спасибо Самвелу за участие и продолжение дискуссии!).
Мои нападки на плохо посчитанные метрики и запущенные на коленке сплит-тесты исходят из следующих предпосылок:
— плохо описанная и обсчитанная реальность создаёт иллюзию знания и подкрепляет последующие действия «объективными данными»;
— плохо поставленный эксперимент даёт ложную уверенность в том, что мы что-то узнали, и подкрепляет последующие действия «проверенными результатами»;
— и то, и другое зачастую работает на подтверждение собственных исходных представлений, то есть только усиливает неизбежные когнитивные искажения.
---
Хорошо поставленный эксперимент (сплит-тест) претендует на производство объективного знания с помощью системы с большим количеством сложно связанных и влияющих друг на другая частей.
Поэтому буквально является рокет-сайенсом.
Если вас не учили в университете методологии науки, если вы не изучали статистику, не практиковались в статистических методах исследований, не разбирались в тонкостях системы, запускающей тест, не можете уверенно ответить на контрольный список вопросов — с очень высокой вероятностью результаты вашего теста будут либо банальны, либо неверны. Если добавить к этому стоимость запуска и анализа результатов тестов, то вопрос об их эффективности заиграет новыми красками.
Хорошо посчитанные метрики требуют точного понимания, что мы измеряем, как мы это делаем, что остаётся неизмеренным, какие причинно-следственные связи мы объективно установили, а где можем зафиксировать только корреляцию.
Даже финансовой отчётностью можно умело манипулировать, и даже такую банальную вещь, как DAU, относительно сложно достаточно точно посчитать (если вы не понимаете ограничений вашего способа подсчёта).
Правильное измерение чего угодно — отдельная дисциплина; при этом сколько раз в продуктовых курсах или статьях вы слышали упоминание «метрологии»?
---
Менеджмент продуктов — это практика использования знаний о поведении людей.
При этом парадокс нашей профессиональной области в том, что в большинстве ситуаций от нас не требуются знания, претендующие на «научность», «объективность» и даже более-менее высокую точность.
Знание — это модель, обладающая предсказательной силой. В комментариях к ещё одному посту другой читатель (Егор, привет!) принёс ссылку на статью, в которой доказывается математическая бессмысленность эффекта Даннинга-Крюгера. Становится ли от этого исходная модель хуже? Нет. Потому что она продолжает производить сбывающиеся предсказания: «люди с квалификацией ниже среднего будут переоценивать свои результаты», —мы же регулярно видим это вокруг (и иногда поступаем так же сами!).
---
Плохие метрики и эксперименты не дают настоящих знаний, подменяя их иллюзиями и укрепляя уже имеющиеся. В условиях растущего рынка и востребованного продукта это не слишком мешает расти. При этом деятельность, производящая плохие знания, отнимает у нас время от деятельности, которая могла бы произвести хорошие.
Когда ситуация благоприятна, а риски минимальны и ставки не высоки – короткие циклы обратной связи от реальности (aka «слабоумие и отвага») работают лучше чем «мы потратили 1 млн чтобы экспериментально проверить, что банальная идея улучшает целевую метрику на 0,5% и приносит +20К в месяц».
Эвристики, лучшие практики, lean & agille, быстрые итерации, непрерывная доставка изменений – работают. Карго-культ «тестируем всё» – приносит меньше пользы, чем принято считать и репортить.
---
Пожалуйста, продолжайте измерять, но будьте внимательны к тому, что, как и насколько точно.
Пожалуйста, продолжайте экспериментировать, но применяйте хорошую методологию, точные инструменты и понимайте их границы. И ищите другие способы производства знаний, если не уверены в этом.
Пожалуйста, думайте о стоимости знаний и выбирайте способы получения знаний, которые принесут вам больше пользы на единицу времязатрат.
👍14❤2🔥1💯1
Байки из склепа
Ок, в комментариях к постам про метрики и эксперименты уже дважды сказали, мол, «гладко было на бумаге, да забыли про овраги», и где, мол, практика, реальный опыт, истории из жизни, факапы…?
Во-первых: «Нет ничего практичнее хорошей теории» — если мы не понимаем смысл наших действий, если у нас нет хороших теоретических оснований, то получается… как получается.
Во-вторых, «их есть у меня», но, честно, это не так интересно и поучительно.
1) При онбординге в MindMeister я довольно быстро увидел, что цифры аудитории, которые мы репортили бизнесу (и которые тот использовал, чтобы разговаривать с инвесторами), расходятся в разных системах.
Amplitude показывал одну месячную, недельную и дневную аудиторию, Metabase — другую. И расхождение было на заметные проценты.
Так я научился не доверять event-based аналитике. (См. PDF про проблемы подсчёта DAU в предыдущем посте.)
Решили ли мы эту проблему? Нет. Просто научились избирательно и уместно пользоваться источниками. Готов ли я кровью подписаться, что Metabase показывала нам настоящие цифры по всем метрикам? Нет.
2. Например, неточности всплыли когда мы пытались проследить судьбу подписчиков, которые сидели на плане с ежемесячной оплатой, который «был доступен в продукте только 6 месяцев в 2020 году».
Когда я пришёл, консенсус бизнеса был в том, что «ежемесячная подписка — плохая идея», потому что «кастомеры быстро чернились».
В этом безусловно было зерно правды. Но главный косяк был в том, что в одну и ту же когорту попадали подпичики с мобильной платформы (где ежемесячный план остается, кажется до сих пор) и те самые счастливцы, попавшие когда-то в искомые 6 месяцев в вебе.
И я так не смог докопаться как получилось, что мы репортили черн по всем ежемсячным кастомерам одной цифрой.
При этом ретеншн и активность в продукте у пользователей с разных платформ были разными, но обе когорты вели себя в продукте лучше, чем те, кто покупал годовые подписки.
Итого, косяк с индикатором черна мы вскрыли, но повлиять уже ни на что не смогли — к тому времени ARR стал ключевой метрикой всей компании и моему продукту пришлось с этим считаться.
Знаете как при этом вычислялся ARR для пользователей на ежемсячных планах? Можете догадаться, но я не буду вслух это произносить.
3. В ходе того же онбординга я узнал, что у нас идёт эксперимент... идёт уже 4 месяца. Очень важный вопрос на кону! Много денег потрачено на то, чтобы сделать необходимые изменения, которые мы и тестируем!
Угадаете, что было дальше?
Через 6 месяцев(!) эксперимент пришлось прекратить и принимать решение, исходя из стратегических соображений, здравого смысла и лучших практик. Сплит-тест так и не дал статистически значимых результатов.
Конечно, посчитав нужные параметры «на берегу», его не стоило и начинать, но sunk cost fallacy не дал мне прибить его, как только я это осознал.
Тестировалась, вы не поверите, сама кор-модель монетизации: нужен ли жёсткий лимит в 3 карты или можно давать создавать сколько угодно карт, но оставлять доступными для редактирования только 3.
4. Результат более простого A/B-теста – изменений главной CTA на сайте был признан успешным — ровно до тех пор, пока не выяснилось, что одни и те же пользователи могли видеть любой из вариантов кнопки. Ну… бывает…
Второй тест с правильными настройками не дал статистически достоверных результатов. Alas!
Зато в третьем выиграл вариант, который команда исходно считала лучшим.
Единственным утешением для меня было, что запускала эти тесты команда перформанс-маркетинга.
–––
Можно ли все эти проблемы списать на квалификацию исполнителей? Можно!
Но, с другой стороны, продакт, запускавший тест модели монетизации ещё до моего прихода, ушёл на повышение в другую компанию, команду дата-инженеров за 1,5 года обновили два раза, аналитики сменились по кругу, а меня провожал на волю третий на моей памяти директор по перформанс-маркетингу...
И причинами всех этих кадровых изменений были отнюдь не косяки в метриках и/или методологии.
–––
↓
Ок, в комментариях к постам про метрики и эксперименты уже дважды сказали, мол, «гладко было на бумаге, да забыли про овраги», и где, мол, практика, реальный опыт, истории из жизни, факапы…?
Во-первых: «Нет ничего практичнее хорошей теории» — если мы не понимаем смысл наших действий, если у нас нет хороших теоретических оснований, то получается… как получается.
Во-вторых, «их есть у меня», но, честно, это не так интересно и поучительно.
1) При онбординге в MindMeister я довольно быстро увидел, что цифры аудитории, которые мы репортили бизнесу (и которые тот использовал, чтобы разговаривать с инвесторами), расходятся в разных системах.
Amplitude показывал одну месячную, недельную и дневную аудиторию, Metabase — другую. И расхождение было на заметные проценты.
Так я научился не доверять event-based аналитике. (См. PDF про проблемы подсчёта DAU в предыдущем посте.)
Решили ли мы эту проблему? Нет. Просто научились избирательно и уместно пользоваться источниками. Готов ли я кровью подписаться, что Metabase показывала нам настоящие цифры по всем метрикам? Нет.
2. Например, неточности всплыли когда мы пытались проследить судьбу подписчиков, которые сидели на плане с ежемесячной оплатой, который «был доступен в продукте только 6 месяцев в 2020 году».
Когда я пришёл, консенсус бизнеса был в том, что «ежемесячная подписка — плохая идея», потому что «кастомеры быстро чернились».
В этом безусловно было зерно правды. Но главный косяк был в том, что в одну и ту же когорту попадали подпичики с мобильной платформы (где ежемесячный план остается, кажется до сих пор) и те самые счастливцы, попавшие когда-то в искомые 6 месяцев в вебе.
И я так не смог докопаться как получилось, что мы репортили черн по всем ежемсячным кастомерам одной цифрой.
При этом ретеншн и активность в продукте у пользователей с разных платформ были разными, но обе когорты вели себя в продукте лучше, чем те, кто покупал годовые подписки.
Итого, косяк с индикатором черна мы вскрыли, но повлиять уже ни на что не смогли — к тому времени ARR стал ключевой метрикой всей компании и моему продукту пришлось с этим считаться.
Знаете как при этом вычислялся ARR для пользователей на ежемсячных планах? Можете догадаться, но я не буду вслух это произносить.
3. В ходе того же онбординга я узнал, что у нас идёт эксперимент... идёт уже 4 месяца. Очень важный вопрос на кону! Много денег потрачено на то, чтобы сделать необходимые изменения, которые мы и тестируем!
Угадаете, что было дальше?
Через 6 месяцев(!) эксперимент пришлось прекратить и принимать решение, исходя из стратегических соображений, здравого смысла и лучших практик. Сплит-тест так и не дал статистически значимых результатов.
Конечно, посчитав нужные параметры «на берегу», его не стоило и начинать, но sunk cost fallacy не дал мне прибить его, как только я это осознал.
Тестировалась, вы не поверите, сама кор-модель монетизации: нужен ли жёсткий лимит в 3 карты или можно давать создавать сколько угодно карт, но оставлять доступными для редактирования только 3.
4. Результат более простого A/B-теста – изменений главной CTA на сайте был признан успешным — ровно до тех пор, пока не выяснилось, что одни и те же пользователи могли видеть любой из вариантов кнопки. Ну… бывает…
Второй тест с правильными настройками не дал статистически достоверных результатов. Alas!
Зато в третьем выиграл вариант, который команда исходно считала лучшим.
Единственным утешением для меня было, что запускала эти тесты команда перформанс-маркетинга.
–––
Можно ли все эти проблемы списать на квалификацию исполнителей? Можно!
Но, с другой стороны, продакт, запускавший тест модели монетизации ещё до моего прихода, ушёл на повышение в другую компанию, команду дата-инженеров за 1,5 года обновили два раза, аналитики сменились по кругу, а меня провожал на волю третий на моей памяти директор по перформанс-маркетингу...
И причинами всех этих кадровых изменений были отнюдь не косяки в метриках и/или методологии.
–––
↓
👍8❤2⚡1
↑
–––
Поможет ли вам этот «опыт»? Я сильно сомневаюсь.
Когда нет хорошей теоретической базы или желания во всём разобраться и/или возможности «всё как следует посчитать», то можно, конечно, что-то «запомнить», но шанс применить чужой опыт в соответствующей собственной ситуации — минимальный. А ведь ещё есть устоявшиеся нормы, ожидания, давление среды, инерция текущей практики, в конце концов. И нет мотивации против всего этого идти.
Ведь не понятен потенциальный выхлоп: нафига копать аж до самых основ, когда и так всё понятно и всё работает, правда?
Поэтому я рассчитываю только на два механизма:
— мы хотим быть лучше окружающих, и кто-то, прочитав о проблемах измерения DAU, пойдёт проверять, попал ли его продукт в эту ловушку, найдёт проблемы и получит за это свою долю поощрения;
— мы ищем новые способы, когда старые перестают работать — а с этим, на достаточно развитом рынке, рано или поздно столкнутся все. И в этот момент привычка разбираться с основами, терминами, методологией кому-то, опять же, поможет добиться более стабильных, повторяемых, полезных результатов.
–––
Если вам, вдруг, станет интересно, какие known unknowns и особенно unknown unknowns есть в ваших сетапах экспериментов и репортинга — раскажите контекст и задайте соответствующие вопросы достаточно сообразительной LLM — результ вас может удивить.
Рекомендую.
–––
Поможет ли вам этот «опыт»? Я сильно сомневаюсь.
Когда нет хорошей теоретической базы или желания во всём разобраться и/или возможности «всё как следует посчитать», то можно, конечно, что-то «запомнить», но шанс применить чужой опыт в соответствующей собственной ситуации — минимальный. А ведь ещё есть устоявшиеся нормы, ожидания, давление среды, инерция текущей практики, в конце концов. И нет мотивации против всего этого идти.
Ведь не понятен потенциальный выхлоп: нафига копать аж до самых основ, когда и так всё понятно и всё работает, правда?
Поэтому я рассчитываю только на два механизма:
— мы хотим быть лучше окружающих, и кто-то, прочитав о проблемах измерения DAU, пойдёт проверять, попал ли его продукт в эту ловушку, найдёт проблемы и получит за это свою долю поощрения;
— мы ищем новые способы, когда старые перестают работать — а с этим, на достаточно развитом рынке, рано или поздно столкнутся все. И в этот момент привычка разбираться с основами, терминами, методологией кому-то, опять же, поможет добиться более стабильных, повторяемых, полезных результатов.
–––
Если вам, вдруг, станет интересно, какие known unknowns и особенно unknown unknowns есть в ваших сетапах экспериментов и репортинга — раскажите контекст и задайте соответствующие вопросы достаточно сообразительной LLM — результ вас может удивить.
Рекомендую.
👍10
PeopleSense
Мне трудно представить, что вы еще не слышали, что 19-20 мая команда Юры Агеева открывает второй трек своих конференций и начинает развивать историю про социальную компетентность [продактов] как отдельный формат.
Заголовок на сайте говорит, что это будет "полезно для тех, кто управляет командами, проектами или собственным бизнесом", но я бы поставил акценты чуть иначе.
* Системность и системное мышление
* Современное лидерство и управление людьми
* Коммуникации и культура в команде
* Личная эффективность
* Передача знаний
– эти пять треков охватывают фундаментальные области компетенций, которые определяют насколько любой менеджер может быть продуктивным лично и с окружающими его людьми.
Надеюсь, что у меня когда-нибудь будет возможность выступить с достаточо подрывным докладом в каждой из них )
А пока, не упускайте возможность послушать Галю, Илью, Максима, Рустема, Алексея, Дмитрия и других ключевых спикеров.
Digital Pass выглядит очень хорошей инвестицией.
---
https://peoplesense.ru
Мне трудно представить, что вы еще не слышали, что 19-20 мая команда Юры Агеева открывает второй трек своих конференций и начинает развивать историю про социальную компетентность [продактов] как отдельный формат.
Заголовок на сайте говорит, что это будет "полезно для тех, кто управляет командами, проектами или собственным бизнесом", но я бы поставил акценты чуть иначе.
* Системность и системное мышление
* Современное лидерство и управление людьми
* Коммуникации и культура в команде
* Личная эффективность
* Передача знаний
– эти пять треков охватывают фундаментальные области компетенций, которые определяют насколько любой менеджер может быть продуктивным лично и с окружающими его людьми.
Надеюсь, что у меня когда-нибудь будет возможность выступить с достаточо подрывным докладом в каждой из них )
А пока, не упускайте возможность послушать Галю, Илью, Максима, Рустема, Алексея, Дмитрия и других ключевых спикеров.
Digital Pass выглядит очень хорошей инвестицией.
---
https://peoplesense.ru
peoplesense.ru
PeopleSense'26 — конференция об управлении командами, процессами и собой
4-5 июня 2026, Москва
1❤3👍2🔥1
Foundational Mental Models & Skills
Да, раз уж зашла речь о социальной компетентности (и потому что мне очень приятным образом об этом напомнили — спасибо!), — вынесу из навигации по каналу одну из самых важных моих работ so far — цикл лекций о фундаментальных ментальных моделях и навыках.
Исходное название этих одиннадцати «рассказов», как я их тогда старательно называл, довольно пафосное — Soft Skills Academy, — но только потому, что это была дань корпоративному неймингу. До этого у нас уже была Selectel Network Academy (про настоящие компьютерные сети, а не о том, о чём вы сейчас подумали;).
Вводную лекцию, на которую первый и последний раз собрался полный конференц-зал, можете смело пропускать. Или, наоборот, посмотреть только её: несмотря на то, что весь цикл занял больше года (и к его концу я уже успел уйти из компании), — она даёт довольно хорошее общее представление о моих ментальных моделях.
Самые полезные из остальных рассказов выделены на странице разными иконками. В любом случае, прежде чем слушать мой бубнёж, можно сначала посмотреть тезисы к каждому — и решить, интересно ли оно вам вообще.
Если у вас возникнут вопросы, замечания или любые предложения — буду рад ответить на них в комментариях.
Если захотите провести что-то подобное в любом формате и объёме в вашей компании — пишите в личку, у меня очень гуманный ценник )))
Да, раз уж зашла речь о социальной компетентности (и потому что мне очень приятным образом об этом напомнили — спасибо!), — вынесу из навигации по каналу одну из самых важных моих работ so far — цикл лекций о фундаментальных ментальных моделях и навыках.
Исходное название этих одиннадцати «рассказов», как я их тогда старательно называл, довольно пафосное — Soft Skills Academy, — но только потому, что это была дань корпоративному неймингу. До этого у нас уже была Selectel Network Academy (про настоящие компьютерные сети, а не о том, о чём вы сейчас подумали;).
Вводную лекцию, на которую первый и последний раз собрался полный конференц-зал, можете смело пропускать. Или, наоборот, посмотреть только её: несмотря на то, что весь цикл занял больше года (и к его концу я уже успел уйти из компании), — она даёт довольно хорошее общее представление о моих ментальных моделях.
Самые полезные из остальных рассказов выделены на странице разными иконками. В любом случае, прежде чем слушать мой бубнёж, можно сначала посмотреть тезисы к каждому — и решить, интересно ли оно вам вообще.
Если у вас возникнут вопросы, замечания или любые предложения — буду рад ответить на них в комментариях.
Если захотите провести что-то подобное в любом формате и объёме в вашей компании — пишите в личку, у меня очень гуманный ценник )))
sortedout on Notion
Foundational Mental Models & Skills | Notion
Блок 1. Мозг и обучение, личная система знаний
❤🔥7👍5🔥3❤1✍1🤩1
Лучший канал для продактов, которые стремятся стать чуть более рациональными и consistently less wrong.
🤝3
Forwarded from Байесятина
👋 Для тех, кто тут впервые:
Меня зовут Роман Ачисов, вы на канале Байесятина (отсылка к теореме Байеса), и мы здесь пытаемся меньше ошибаться. Не мыслить идеально, не быть всегда правым, не побеждать в спорах, а чуть реже идти на север, когда хотим на юг.
📌 Канал стоит на четырёх темах — как табуретка на четырёх ножках (снимешь одну — сидеть можно, но устойчивость ниже):
🧠 Психология
Наш мозг — не идеальный вычислитель истины, а швейцарский нож для выживания и победы в спорах. Он любит делать выводы настолько же быстро, насколько неточно. Но решение «просто думать больше» не исправляет ситуацию. Когнитивные искажения и эмоции вшиты в конструкцию. Отключить их нельзя (разве что отключив мозг целиком). Но можно учитывать и делать поправку. Особенно если вести нас будет любопытство, а не желание доказать правоту. Ну и конечно, если признание ошибки не стоит слишком дорого. Но даже переборов своё желание быть правым, нам всё ещё нужны инструменты обнаружения ошибок…
📐 Математика
Математика на первый взгляд кажется сухой и далёкой от реальности. Забавно, но чудесные совпадения особенно часто происходят в реальности именно там, где нет понимания теории вероятности. Что ещё прекрасно развеивает чудеса? Статистика! Но проблема в том, что она, словно кривое зеркало слишком легко отражает именно то, что мы хотим видеть. Отсюда и «волшебные методы», и «секретные стратегии». А вот авторитет логики — мало кто ставит под сомнение. Она словно древний мудрец, на которого все ссылаются в спорах, но которого почти никто не читал. Мы обожаем кидаться друг в друга обвинениями в логических ошибках, правда большинство «логических ошибок» — не логические и не ошибки. И раз уж мы затронули тему споров, теория игр подсказывает, как координироваться, особенно преследуя разные цели…
🗣 Коммуникация и координация
С людьми, которые с нами согласны, мы прекрасно общаемся. Часто под общением понимается строительство соломенных чучел врагов с последующим глумлением над ними и сожжением.
А вот с несогласными начинается настоящая борьба: кто кому должен доказывать, кто должен родиться в споре, и как победить в дебатах любой ценой? Это если до общения вообще доходит. Ведь «с ними бесполезно говорить». Что не всегда ошибочно. Но мы гораздо чаще решаем, что спор не стоит внимания, чем это следовало бы. За всем этим мы часто упускаем реальные барьеры, которые мешают услышать друг друга. Умение обмениваться доказательствами очень важно, если мы хотим улучшить своё понимание реальности. Кстати о реальности…
🔬 Эпистемология
Но как нам вообще понять, почему мы верим в то, что верим? Что должно заставлять нас менять мнение? Добро пожаловать в эпистемологию — ту самую философскую часть, которую обычно вырезают из научпопа, потому что "всем очевидно, что такое истина и как её доказать". Для начала я хочу оговориться, что подходы к этому вопросу есть довольно разные и я предлагаю лишь одну из альтернатив, безусловно имеющую свои недостатки и ограничения. Байесовский подход к рациональности предлагает удивительно трезвую штуку: перестать делить знания на «верные» и «ложные», и заменить их степенями уверенности. Мы отказываемся от утопичной идеи «идеального 100% доказательства», вместо этого сравнивая «вес доказательств». Новые данные не повод сразу менять мнение, а повод изменить свою уверенность в соответствии с «весом» данных. Источники данных тоже не делятся на «правильные» и «ложные», а имеют что-то вроде регулярно обновляемого рейтинга. Такой подход позволяет убегая от Сциллы наивного позитивизма не попасть на Харибду радикального скептицизма, где «все мнения равны» и «у каждого своя правда». Он использует узкий прагматический пролив между ними.
📌 Хотите заглянуть глубже в кроличью нору?
— [Приветственный комикс]
— [Полный список статей]
— [YouTube канал]
— [Коллекция научпоп-видео]
— [Рекомендуемая литература]
🤝 Обратная связь: сюда
Меня зовут Роман Ачисов, вы на канале Байесятина (отсылка к теореме Байеса), и мы здесь пытаемся меньше ошибаться. Не мыслить идеально, не быть всегда правым, не побеждать в спорах, а чуть реже идти на север, когда хотим на юг.
📌 Канал стоит на четырёх темах — как табуретка на четырёх ножках (снимешь одну — сидеть можно, но устойчивость ниже):
🧠 Психология
Наш мозг — не идеальный вычислитель истины, а швейцарский нож для выживания и победы в спорах. Он любит делать выводы настолько же быстро, насколько неточно. Но решение «просто думать больше» не исправляет ситуацию. Когнитивные искажения и эмоции вшиты в конструкцию. Отключить их нельзя (разве что отключив мозг целиком). Но можно учитывать и делать поправку. Особенно если вести нас будет любопытство, а не желание доказать правоту. Ну и конечно, если признание ошибки не стоит слишком дорого. Но даже переборов своё желание быть правым, нам всё ещё нужны инструменты обнаружения ошибок…
📐 Математика
Математика на первый взгляд кажется сухой и далёкой от реальности. Забавно, но чудесные совпадения особенно часто происходят в реальности именно там, где нет понимания теории вероятности. Что ещё прекрасно развеивает чудеса? Статистика! Но проблема в том, что она, словно кривое зеркало слишком легко отражает именно то, что мы хотим видеть. Отсюда и «волшебные методы», и «секретные стратегии». А вот авторитет логики — мало кто ставит под сомнение. Она словно древний мудрец, на которого все ссылаются в спорах, но которого почти никто не читал. Мы обожаем кидаться друг в друга обвинениями в логических ошибках, правда большинство «логических ошибок» — не логические и не ошибки. И раз уж мы затронули тему споров, теория игр подсказывает, как координироваться, особенно преследуя разные цели…
🗣 Коммуникация и координация
С людьми, которые с нами согласны, мы прекрасно общаемся. Часто под общением понимается строительство соломенных чучел врагов с последующим глумлением над ними и сожжением.
А вот с несогласными начинается настоящая борьба: кто кому должен доказывать, кто должен родиться в споре, и как победить в дебатах любой ценой? Это если до общения вообще доходит. Ведь «с ними бесполезно говорить». Что не всегда ошибочно. Но мы гораздо чаще решаем, что спор не стоит внимания, чем это следовало бы. За всем этим мы часто упускаем реальные барьеры, которые мешают услышать друг друга. Умение обмениваться доказательствами очень важно, если мы хотим улучшить своё понимание реальности. Кстати о реальности…
🔬 Эпистемология
Но как нам вообще понять, почему мы верим в то, что верим? Что должно заставлять нас менять мнение? Добро пожаловать в эпистемологию — ту самую философскую часть, которую обычно вырезают из научпопа, потому что "всем очевидно, что такое истина и как её доказать". Для начала я хочу оговориться, что подходы к этому вопросу есть довольно разные и я предлагаю лишь одну из альтернатив, безусловно имеющую свои недостатки и ограничения. Байесовский подход к рациональности предлагает удивительно трезвую штуку: перестать делить знания на «верные» и «ложные», и заменить их степенями уверенности. Мы отказываемся от утопичной идеи «идеального 100% доказательства», вместо этого сравнивая «вес доказательств». Новые данные не повод сразу менять мнение, а повод изменить свою уверенность в соответствии с «весом» данных. Источники данных тоже не делятся на «правильные» и «ложные», а имеют что-то вроде регулярно обновляемого рейтинга. Такой подход позволяет убегая от Сциллы наивного позитивизма не попасть на Харибду радикального скептицизма, где «все мнения равны» и «у каждого своя правда». Он использует узкий прагматический пролив между ними.
📌 Хотите заглянуть глубже в кроличью нору?
— [Приветственный комикс]
— [Полный список статей]
— [YouTube канал]
— [Коллекция научпоп-видео]
— [Рекомендуемая литература]
🤝 Обратная связь: сюда
👍7
“AI PM” rant
Дурацкий новомодный нейминг «AI PM», да ещё и противопоставленный «обычным продактам», — отличный повод не только поупражняться в остроумии, но и поднять тему специализации продактов, карьерных траекторий (и, конечно же, найма).
Во-первых, называть человека «AI PM» в 2025 году — всё равно что называть ту же роль «интернет-продактом» в 2005. Или в 2010. Или в 2015 — выбирайте возраст и согласно фактам вашей биографии (как первый раз подключились по диалапу, выделенке, вай-фаю или уже по 4G?).
Во-вторых, когда говорят об этой редкой породе людей, которые уже работают над созданием AI-продуктов… а по сути — внедряют LLM в свои процессы и фичи… Это всё равно что называть меня «финтех-продактом».
Ок, сейчас я руковожу финтехом, до этого менеджерил b2c-продукт для майндмэппинга (с мобильным приложением, ага), а перед этим вообще был директором в облачном провайдере. Ну и кто я после этого — «облачно-мобильным-финтех-продакт»? Так я ещё и копилота внедрял в MindMeister — там под капотом ещё GPT-3.5 был, и мы его даже не стали выкатывать на пользователей. Можно теперь добавить приставку AI к моему самоопределению?
А если N лет назад я рисовал автомобильный портал — это делает меня «автомобильным» или «классифайд»-дизайнером?
А если M лет назад я пошёл учиться на социального работника (и параллельно на юриста) — это как-то и на что-то влияет сейчас?
Почему никому не приходит в голову (я надеюсь) отказывать в трудоустройстве ML-инженером человеку, который закончил условный биофак, уже там наработал экспертизу в нейросетях, а потом еще руку на практике набил? А продактов без экономического или маркетологического образования вы много видели? Я примерно 8,5 из 10.
Почему нормально ожидать, что человек не будет всю жизнь работать по полученной в универе специальности — но на вакансии продактов обязательно требуют отраслевой опыт?
А когда AI проникнет уже во все сферы нашей жизни (сколько там, два года осталось?), мы перестанем различать эту «белую кость» от всех остальных? С «финтехом» когда такой же переход произойдёт? С «эдтехом» это уже, кажется, произошло?
Короче:
— Доменная экспертиза нарабатывается за вполне понятное время. Те, кто умеют учиться и не потеряли огонёк в глазах, догонят и перегонят скучающих специалистов со стажем в любой области (и можно быстро промоделировать, как быстро — и на основе этой модели принимать решение о найме). Тем более что LLM за последний год стали отличным подспорьем.
— AI — это такой же инструмент, как калькулятор, ворд, гугл и далее по списку.
Если вы делаете AI-продукт… попробуйте подумать о том, что через два года других просто не останется. Потому что как сейчас все пользуются интернетом — так и через очень непродолжительное время большинство цифровых продуктов будет сделано с помощью и будет эксплуатировать возможности тех самых двух букв.
Пользу надо приносить, а не «ИИ внедрять», уж извините за резкость.
---
А помните еще были такие «промпт-инженеры»? )
Дурацкий новомодный нейминг «AI PM», да ещё и противопоставленный «обычным продактам», — отличный повод не только поупражняться в остроумии, но и поднять тему специализации продактов, карьерных траекторий (и, конечно же, найма).
Во-первых, называть человека «AI PM» в 2025 году — всё равно что называть ту же роль «интернет-продактом» в 2005. Или в 2010. Или в 2015 — выбирайте возраст и согласно фактам вашей биографии (как первый раз подключились по диалапу, выделенке, вай-фаю или уже по 4G?).
Во-вторых, когда говорят об этой редкой породе людей, которые уже работают над созданием AI-продуктов… а по сути — внедряют LLM в свои процессы и фичи… Это всё равно что называть меня «финтех-продактом».
Ок, сейчас я руковожу финтехом, до этого менеджерил b2c-продукт для майндмэппинга (с мобильным приложением, ага), а перед этим вообще был директором в облачном провайдере. Ну и кто я после этого — «облачно-мобильным-финтех-продакт»? Так я ещё и копилота внедрял в MindMeister — там под капотом ещё GPT-3.5 был, и мы его даже не стали выкатывать на пользователей. Можно теперь добавить приставку AI к моему самоопределению?
А если N лет назад я рисовал автомобильный портал — это делает меня «автомобильным» или «классифайд»-дизайнером?
А если M лет назад я пошёл учиться на социального работника (и параллельно на юриста) — это как-то и на что-то влияет сейчас?
Почему никому не приходит в голову (я надеюсь) отказывать в трудоустройстве ML-инженером человеку, который закончил условный биофак, уже там наработал экспертизу в нейросетях, а потом еще руку на практике набил? А продактов без экономического или маркетологического образования вы много видели? Я примерно 8,5 из 10.
Почему нормально ожидать, что человек не будет всю жизнь работать по полученной в универе специальности — но на вакансии продактов обязательно требуют отраслевой опыт?
А когда AI проникнет уже во все сферы нашей жизни (сколько там, два года осталось?), мы перестанем различать эту «белую кость» от всех остальных? С «финтехом» когда такой же переход произойдёт? С «эдтехом» это уже, кажется, произошло?
Короче:
— Доменная экспертиза нарабатывается за вполне понятное время. Те, кто умеют учиться и не потеряли огонёк в глазах, догонят и перегонят скучающих специалистов со стажем в любой области (и можно быстро промоделировать, как быстро — и на основе этой модели принимать решение о найме). Тем более что LLM за последний год стали отличным подспорьем.
— AI — это такой же инструмент, как калькулятор, ворд, гугл и далее по списку.
Если вы делаете AI-продукт… попробуйте подумать о том, что через два года других просто не останется. Потому что как сейчас все пользуются интернетом — так и через очень непродолжительное время большинство цифровых продуктов будет сделано с помощью и будет эксплуатировать возможности тех самых двух букв.
Пользу надо приносить, а не «ИИ внедрять», уж извините за резкость.
---
А помните еще были такие «промпт-инженеры»? )
👍9❤3🤔2🥱1
Преодолевать понятийные расстояния
Успешная коммуникация — чудо. Буквально — нарушение естественного порядка вещей.
Менеджер продукта вынужден регулярно преодолевать «понятийные расстояния», чтобы хоть как-то увеличить шансы на то, что искомое понимание случится.
Метафоры, сторителлинг, элеватор-питчи и прочие презентации и PRD — всё это просто упаковка и инструменты решения одной и той же задачи: понять друг друга.
Согласование понятий, описание процессов, решение конфликтов, проведение ретроспектив — даже перформанс-ревью — всё это попытки преодолеть разницу в представлениях двух и более людей о том, что должно произойти.
Мы всё очень плохо себе представляем глубину всеобщего недопонимания, ширину каньонов, которые нужно преодолеть, чтобы успешная коммуникация случилась.
И, наоборот, когда мы недовольны поведением или отношением других людей — скорее всего, это результат того, что необходимая дистанция не была пройдена, представления не были сближены и согласованы, ожидания так и остались кардинально разными.
Остаётся только набраться терпения — и раз за разом, повторяя одно и то же, пережёвывая по пять раз, погружая в нужный контекст и передавая соответствующие термины каждому новому собеседнику, — изо всех сил преодолевать эти чёртовы понятийные расстояния.
Коммуникация — невозможна.
Если она по-настоящему случилась — это отличный повод поблагодарить за это всех участников процесса. В следующий раз, когда (и если) вам представится такая счастливая возможность — не забудьте это сделать.
Спасибо!*
–––
Этот пост добавлен в раздел «Привычки рационального продакта» в оглавлении канала.
–––
See also:
Eliezer Yudkowsky: Expecting Short Inferential Distances (РУ)
Луман Н. Невероятность коммуникации (What is Communication?)
Успешная коммуникация — чудо. Буквально — нарушение естественного порядка вещей.
Менеджер продукта вынужден регулярно преодолевать «понятийные расстояния», чтобы хоть как-то увеличить шансы на то, что искомое понимание случится.
Метафоры, сторителлинг, элеватор-питчи и прочие презентации и PRD — всё это просто упаковка и инструменты решения одной и той же задачи: понять друг друга.
Согласование понятий, описание процессов, решение конфликтов, проведение ретроспектив — даже перформанс-ревью — всё это попытки преодолеть разницу в представлениях двух и более людей о том, что должно произойти.
Мы всё очень плохо себе представляем глубину всеобщего недопонимания, ширину каньонов, которые нужно преодолеть, чтобы успешная коммуникация случилась.
И, наоборот, когда мы недовольны поведением или отношением других людей — скорее всего, это результат того, что необходимая дистанция не была пройдена, представления не были сближены и согласованы, ожидания так и остались кардинально разными.
Остаётся только набраться терпения — и раз за разом, повторяя одно и то же, пережёвывая по пять раз, погружая в нужный контекст и передавая соответствующие термины каждому новому собеседнику, — изо всех сил преодолевать эти чёртовы понятийные расстояния.
Коммуникация — невозможна.
Если она по-настоящему случилась — это отличный повод поблагодарить за это всех участников процесса. В следующий раз, когда (и если) вам представится такая счастливая возможность — не забудьте это сделать.
Спасибо!*
–––
Этот пост добавлен в раздел «Привычки рационального продакта» в оглавлении канала.
–––
See also:
Eliezer Yudkowsky: Expecting Short Inferential Distances (РУ)
Луман Н. Невероятность коммуникации (What is Communication?)
❤6👍3👏2🤓2
«Я календарь пересмотрю...»
Лучшее, что вы можете сделать для повышения своей продуктивности, — сделать ревью календаря.
Таймблокинг уже не обсуждается — это база. Следующий шаг: ретроспективная аллокация реально потраченного времени (вместо плана — в календаре — факт).
После этого нужно регулярно пересматривать свой календарь и приводить зарезервированные таймслоты в соответствие с актуальными приоритетами.
Если у вас есть сотрудники — совместное ревью их календаря отличная активность для очередного 1:1. Заодно научите таймблокингу и доставлять результат своей работы в срок.
И не ждите сентября для этого )
Лучшее, что вы можете сделать для повышения своей продуктивности, — сделать ревью календаря.
Таймблокинг уже не обсуждается — это база. Следующий шаг: ретроспективная аллокация реально потраченного времени (вместо плана — в календаре — факт).
После этого нужно регулярно пересматривать свой календарь и приводить зарезервированные таймслоты в соответствие с актуальными приоритетами.
Если у вас есть сотрудники — совместное ревью их календаря отличная активность для очередного 1:1. Заодно научите таймблокингу и доставлять результат своей работы в срок.
И не ждите сентября для этого )
👍8🔥1💯1