Сто тысяч аб-тестов

Когда человек только начинает влиять на продукт, у него есть куча идей и гипотез, как сделать лучше, и в каждую он очень сильно верит. Это стадия «сработает все, что я придумал»

В какой-то момент ему говорят, что он нерепрезентативен, субъективен и прочие слова. Продакт подхватывает это знание как знамя. Хорошо, если он начинает сомневаться в своих гипотезах, но чаще (или в плюс к этому) происходит такое: он подвергает сомнению все гипотезы и советы коллег, включая более старших и опытных. Так начинается стадия «надо протестировать и происследовать абсолютно все, даже очевидное говно, потому что ваше мнение о том, что это говно — субъективно».

Доходит до того, что желание как можно быстрее проверить все затуманивает разум: потратить минуту на написание какого-нибудь текста и два часа на интервью с коллегами о том, понятен ли текст, вместо того, чтобы лишние полчаса подумать над формулировками.

Со временем продакт обрастает экспертностью и насмотренностью в том числе через эти сто тысяч тестов, понимает, что с большей вероятностью сработает, а что с меньшей, а главное — он понимает, что время не резиновое, все не протестируешь, и лучше вложиться в качество, чем в количество. Говорит менее опытным коллегам «ребята, это плохо, потратьте время, чтобы продумать получше», получает в ответ «ты субъективен, я сделаю коридорку/запущу тест/проведу глубинку» и внутренне улыбается 🙂

Смерть OpenAI отменяется. Таки смогли договориться и будут перетряхивать борд. Агентура белого дома никуда из него не денется, просто ее лицо поменяется, но, по слухам, майкрософт тоже войдет в борд, чтобы защищать свои инвестиции. Свидетелей алайнмента, похоже, выгонят на мороз.

Жду мини сериал про этот цирк на Apple TV+ с Джесси Айзенбергом в главной роли. WeCrashed у них получился хорошим.

Хочу рассказать про один продукт, который посоветовали друзья. Это лучшее, что случалось с моим фокусом за последнее время, особенно после того, как я узнал, что у меня ADHD — Endel.

Готовишь себе мытую Эфиопию или Кению в вороночке, закидываешься л-теанином, включаешь фокусирование, включаешь deep focus в endel и все. Через 5-10 минут ты в потоке и тебя ничего не отвлекает от сконцентрированной работы.

В целом, Binaural Beats весьма strong evidence история. Можно почитать на Examine или в выпуске Хубермана про Focus Toolkit.

P. S. У Endel оч клево сделанный онбординг. Всем продактам и дизайнерам на заметку.

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться @julisache, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd: Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс

Гугл выпускает свой ответ GPT-4, а Siri тем временем с 6-ой попытки таки включила таймер.

5 января буду в гостях у Валеры Бабушкина, старшего главного начальника в BP, ex. VP of Data в Blockchain.com, Meta, X5, Ali, Яндекс, но потом подумав решил начать иначе: буду в гостях у человека, который творил эту эпоху и который сам стал эпохой.

Хочет, чтобы я ему помог накачаться и стать продакт менеджером. Кто я такой, чтобы отказать?

Будем говорить про Product Management, People Management, “биохакерство», healthspan, lifespan, longevity и прочих бесполезных и скучных вещах.

За один стрим все обсудить не успели. Продолжим!

Во время стрима много кто просил поделиться списком моих бадов и рекомендаций. Делюсь!

Мой рейтинг брендов:
⁃ Мои Tier 1 по доверию: Thorne Research и Life Extension
⁃ Мои Tier 2: New Chapter, Country Life, Garden of Life, Sports Research, Kirkman Labs
⁃ Бренды, которые использовал/использую и были хорошего качества: Natural Factors, Source of Naturals, Jarrow Formulas
⁃ Пробиотики высокого качества: Renew Life, Pendulum.

Лучшие на мой взгляд витамины:
⁃ Two Per Day от Life Extension или более дорогие Mix (лучше брать версию без меди)
⁃ Серия Nutrients от Thorne: Basic, Advanced, Elite

Лучший рыбий жир:
⁃ Ultimate Omega или Ultimate Omega 2x от Nordic Naturals
⁃ Elite Omega 3 от Carlson Labs

Что можно принимать на постоянке всем:
⁃ Витамины, но нужно понимать, что «бедная» диета с витаминами это все еще бедная диета
⁃ Витамин Д, так как у большинства людей его дефицит, а он крайне важен для большого количества процессов: плотность костей, настроение, иммунитет, гормональная функция, а так же снижает риски развития рака и диабета. Нужно контролировать анализами, чтобы не получить передозировку.

Можно было бы также отметить рыбий жир, а именно EPA и DHA. Первая омега-3 кислота в первую очередь важна для здоровья сердца, а вторая - для здоровья мозга. Но нет данных, чтобы рекомендовать использование рыбьего жира постоянно, и споры о необходимости его приема все еще ведутся, и появляется все больше надежных данных об эффекте рыбьего жира. К примеру, в этом большом мета-анализе не установили положительного влияния на снижение CVD инцидентов, хотя это не единственный потенциальный эффект EPA/DHA.

На стриме была упомянута NMN, которая сейчас пользуется спросом из-за своих потенциальных anti-aging эффектов. NMN и NR являются прекурсорами NAD+, который участвует во множестве процессов, снижается со старением и является важным для функционирования митохондрий и восстановления поврежденной ДНК в клетках. От него также зависят сигнальные белки, такие как Sirtuins, которые являются одной из важных областей исследования современными учеными в области долголетия. К сожалению, данные о NMN и NR ограничены, и большинство исследований не показывают эффекта от их приема. Поэтому на данном этапе я считаю, что это лишняя трата денег.

Что сам принимаю в данный момент:
⁃ Витаминный комплекс Two Per Day от Life Extension
⁃ Elite Omega 3 от Carlson Labs
⁃ Vitamin D3 125mcg от Life Extension, что позволяет держать уровень витамина Д ~ 49 нг//мл
⁃ Rhodiola от Thorne. Адаптоген, помогающий улучшить устойчивость к стрессу и ментальный и физический перформанс
⁃ Калия цитрат и Магния цитрат в течении дня
⁃ Перед сном:
⁃ Магний L-Threonate или Bisglycinate
⁃ Глицин
⁃ L-Theanine
⁃ Утром с кофе L-Theanine для снижения побочек кофеина

На стриме, где планировали поговорить про мою работу, говорю больше часа про то, как прожить дольше и качественнее и ссылаюсь на книгу Питтера Аттиа Outlive и его подкаст. Пол Грэм в своем твиттере активно делится тезисами из книги, а не пишет про то, за что мы на него подписались. Вот и у Эндрю Чэна впервые за много лет случился оффтоп в его рассылке и он поделился графиками из Outlive.

Ну а я пока пишу саммари, как и обещал, но оно уже превращается немного в какое-то дополненное издание к книге, поэтому в ближайшее время будет анонс 🌚

28 января, в 16 по Лондону, проведем второй стрим с Адамом Елдаровым, в этот раз наконец-то обсудим как раскачаться и стать машиной
Добавить в календарь

Лучшее, что видел за последнее время, — вчерашнее выступление нового президента Аргентины Хавьера Милея на WEF в Давосе. Его цитирование Рейгана «The state is not the solution. The state is the problem», и речь в целом создавали вайб романов Айн Рэнд и ожившего Говарда Рорка из "The Fountainhead".

1-1

Все слышали про 1-1 (1:1, one-on-one) встречи. Это, по сути, основной инструмент любого People Manager’а в управлении людьми. О нем написано, кажется, если не все, то многое, но, несмотря на это, я постоянно вижу недопонимание, как использовать данный интерфейс.

Насколько я понимаю, впервые формализовал эту концепцию Эндрю Гроув в своей книге «High Output Management». Он там достаточно подробно объяснил, в чем смысл встреч, поэтому, кажется, правильным будет обращаться к первоисточнику.

1. Это встреча, которая полностью посвящена подчиненному, и тон задается именно им, площадка, которую выделяет руководитель подчиненному, чтобы обсудить ситуации, проблемы, вопросы и прочие вещи, о которых хочет поговорить подчиненный, чтобы в конечном счете осуществить взаимное обучение и обмен информацией. Самое главное — этот процесс взаимный.
2. Одна из причин, почему это встреча, где тон задается подчиненным, — руководителю с, к примеру, 8 репортами, готовиться нужно к 8 встречам, а подчиненный репортит, обычно, только одному менеджеру, поэтому куда эффективнее, если готовиться будет он. Соответственно, советы из некоторых менеджерских книг и статей про то, что менеджер должен готовиться к 1-1, мне кажутся не очень эффективными.
3. Несмотря на то, что тон задается подчиненным, встречей все еще владеет менеджер, и он является на ней фасилитатором, поэтому он и регулирует темп встречи, помогает подчиненному разобраться с проблемой. В конечном счете, его задача — обеспечить рост сотрудника через разрешение его задач, вопросов и проблем.
4. Часто вижу, как пишут, что темой 1-1 не может являться работа и задачи, над которыми работает сотрудник, что главная задача 1-1 — это «прощупать» настроение сотрудника и помочь ему через обратную связь и обмен информацией. Категорически не согласен. В целом, и Гроув у себя в книге пишет, что вопросы, обсуждаемые на встрече, могут относиться к любой теме, которая беспокоит подчиненного: проблемы с задачами, наймом, индикаторы перформанса, взаимоотношения с коллегами, ресурсы, ситуация в компании, зарплата и т.д. Задача менеджера, как писал выше, помочь сотруднику найти на них ответ. Если человека беспокоит его рабочая задача, то нужно обсудить, какие сложности он испытывает, и помочь ему с ней разобраться. Но да — это не процессный митинг, где люди обмениваются статусом задач, для этого есть другие форматы.
5. Из-за того, что менеджеры из адженды 1-1 выкидывают работу, они становятся редкими, что приводит к более хрупким отношениям между менеджером и подчиненным, петли обратной связи становятся более длинными и в результате менеджер либо узнает что-то слишком поздно, либо подключается помогать слишком поздно, что влечет за собой и более медленный рост сотрудника, и более низкое качество его работы.
6. Тоже очень распространенная история — «1-1 не нужны! Я и так несколько раз в неделю встречаюсь с подчиненным». Обычно это встречи либо случайные «в курилке», либо встречи, посвященные каким-то задачам или процессам, и часто в присутствии других. Это огромная разница с запланированными 1-1 митингами, на которые подчиненный готовится заранее, знает, сколько у него времени, и знает, что тон встречи задается им. Как минимум из-за психологического восприятия самой встречи.
7. «1-1 нужны только между прямым подчиненным и его менеджером» — нет. Есть такая штука, как skip level management. Если менеджить только direct report (в случае, если это менеджеры, у которых тоже есть репорты), то мы становимся заложниками информации, которую нам дают прямые подчиненные, а skip level report не сможет просочить информацию выше, если у них возникли трудности с их менеджерами. Прозрачную и гибкую среду так не построишь.
8. «Без 1-1 и так все хорошо». А как ты понял? Сколько раз провел? Подчиненный увидел этот инструмент, воспользовался им и сделал такой вывод? Получается, чтобы понять, что 1-1 создают инкремент добавленной ценности, нужно провести 1-1? Удивительно!

К сожалению, в изначальное сообщение не поместилась последняя мысль, которой хотел завершить пост: 1-1 настолько базовая и фундаментальная практика, что уже не является практикой вовсе, а становится принципом! Вопрос уже в том, как его воплотить в жизнь: частота, место, в каком формате, стиль фасилитации и менеджмента, подготовка, результативность, отслеживание прогресса, менеджмент артефактов и т.д.

P.S. Если вы пипл менеджер и все еще не читали «High Output Management», тогда я иду к вам! 🔫

Почитал про изменения, которые делает Apple в EC после наезда антимонопольщиков. Их юристы, конечно, молодцы. Смогли все равно защитить свои позиции, несмотря на регуляции. Интересно, будет ли регулятор как-то реагировать на это и пытаться продавить более лояльные условия для игроков на рынке.

А, вообще, ситуация очень комичная. В США у Epic в суде не получилось доказать, что Apple монополия, а вот в ЕС изи пизи лемон сквизи.

Если следовать логике европейских антимонопольщиков, то я монополист этого телеграм канала, так как писать сюда могу только я. Думаю, тоже стоит зарегулировать, чтобы другие юзеры получили возможность делать здесь посты.

Как экспериментировать, когда метрика Retention?

Одна из самых частых и сложных тем в продукте — Retention. Это главный показатель P/M Fit продукта, так как люди не будут возвращаться в продукт, который не решает их потребности.

Проблема в том, что многие продукты не могут похвастаться тем, что ими пользуются каждый день, что создаёт проблемы проведения экспериментов, которые должны влиять на возвращаемость. Например, у нас в Юду, покупка/аренда недвижимости, авиабилеты, отели — задачи не такие частые, как зайти в Instagram и полистать ленту с постами и просмотреть сторис. В таких случаях эксперимент должен длиться больше месяца или нескольких, чтобы отловить какие-то релевантные изменения в метриках.

Чаще всего в таких ситуациях поступают следующим образом:
• Не делают эксперименты, где пытаются как-то повлиять на возвращаемость, а просто выпускают в продакшн. Думаю, объяснять минусы подобного решения не нужно. Не нужно, правда?
• Делают долгие эксперименты, что влечет другой набор проблем: длинная петля обратной связи, снижение скорости итераций, квота экспериментирования забивается, что влияет и на количество самих изменений в продукте.

Как лучше поступить? Ответ прост — proxy. Нужно найти метрику, которая могла бы быстро предсказывать Retention (не важно rate, revenue и прочее). Обычно это метрики эффективности продукта, так как чем эффективнее продукт решает потребность пользователя, тем больше вероятность того, что пользователь вернется в продукт и воспользуется им снова.

Пример — Юду. Юду закрывает задачу поиска исполнителя. Эффективность измеряется скоростью поиска исполнителя, самим фактом мэтчинга, качеством найденного человека. Метрики, отвечающие за эти показатели, легко посчитать:
• Конверсия в контакт
• Время между началом поиска и контактом с исполнителем
• Отзыв (он, естественно, должен быть положительным) на исполнителя, если с ним было сотрудничество
По таким метрикам (это только их часть для примера) на ретроспективных данных очень хорошо предсказывается retention.

Но есть нюанс: correlation does not imply causation. Чтобы исключить ложную, обратную и прочие корреляции и строго установить причинно-следственную связь между метриками, мы можем сделать следующее:
• Просто забить. Если мы можем объяснить механизм корреляции, она подчиняется здравому смыслу, легко объясняется с точки зрения домена, воспроизводится на различных сегментах и выборках, имеет зависимость от силы проявления (dosage response), то вероятность того, что это не причинно-следственная связь, резко падает, но мы все равно рискуем быть заложниками bias’ов.
• Использовать алгоритмы causal inference для установки более строгой причинно-следственной связи.
• Пошатать метрики в проде через ухудшающие эксперименты, чтобы посмотреть, будет ли падать retention, если мы ухудшим наши прокси. Такой вариант самый дорогой и сложный: мы должны сделать изменения в проде, «пожертвовать» некоторыми пользователями, рисковать их недовольством, потратить время на сбор данных и дождаться, когда пройдет достаточно времени, чтобы мы могли проверить влияние на retention. Правда, сделать это нужно один раз и далее с чистой совестью ориентироваться на прокси.

Далее мы можем обучить ML-модель, которая сможет на основе наших прокси-метрик предсказывать кумулятивный эффект в будущем от изменений прокси в A/B.

Как экспериментировать, когда метрика LTV?

В комментариях к предыдущему посту затронули интересный кейс, когда работаем не просто с Retention, а с LTV. Расскажу, как поступать в таком случае.

Подход такой же — прокси. Но есть нюансы!

LTV (Life Time Value) — это прибыль, принесенная пользователем за свое время жизни. Считать нужно через Gross Profit: revenue минус COGS. Обычно LTV считают на какой-то дистанции: 6 месяцев, 12 месяцев и т.д. Подробнее про то, как правильно считать, в статье GoPractice.

LTV разделяется на 3 части:
• Активность и возвращаемость пользователя. По сути, это его Retention.
• Кумулятивная выручка, принесенная этой активностью.
• Кумулятивная расходная часть. При этом расходная составляющая состоит из 2-х элементов: себестоимость активности (переменные затраты на то, чтобы пользователь пользовался продуктом типа платных API карт, условных GPT, саппорт и т.д.) и себестоимость выручки (комиссии эквайринга или App Store и прочее, что мы тратим на то, чтобы получить с пользователя деньги).

Как видно, себестоимость активности полностью зависит от активности, а себестоимость выручки от выручки, соответственно. Поэтому проксировать можно только Retention и выручку.

Далее LTV можно представить как кумулятивную сумму на дистанции N периодов произведения вероятности Retention в период и дохода в этот период. Сразу становится понятно, что LTV зависит от движения Retention и движения выручки. Как результат:
• Движение прокси к Retention будет определять движение LTV.
• Осталось найти прокси к доходу, который обычно проксируется более коротким доходом.

В случае подписочных сервисов немного веселее, так как там вмешивается Churn подписки, а в длинных подписках (например, на год) мы можем выручку на дистанции получить сразу. Но Churn — это обратная функция от Retention, где зависимость не от возврата пользователя в продукт, а от отмены подписки. Принцип тот же, но с другой стороны.

Этот вариант годится, когда нам достаточно просто движение LTV. Например, выросла на 20% прокси и мы с каким-то доверительным интервалом можем сказать, что и LTV вырос на 20%, если зависимость между прокси и LTV линейная.

Если мы работаем не просто с LTV, а соотношением CAC/LTV, как в кейсе в комментах, то важны точные цифры. В этом случае нужно не просто предсказать движение LTV, а его точное значение, поэтому у нас должна быть модель, которая с фактических данных на короткой дистанции будет способна предсказать в будущем на нужную дистанцию LTV. Обычно такой предикт состоит из кумулятивной суммы нескольких элементов: предсказываем возврат пользователя в конкретный временной период (или вероятность удержания подписки в случае подписки), доход с пользователя в этот период, расходы на пользователя в этот период, суммируем периоды на нужной дистанции и получаем финальный ответ. Модель может быть простой, которая берет средние, может быть какой-то эвристической, затраты можно считать через фиксированные коэффициенты, а можно сделать продвинутую ML-модель, которая из большого количества признаков будет делать нужный нам расчет.

Например, из первого заказа в интернет-магазине предсказывать LTV, используя различные данные о товарах в заказе, их стоимость, поведение в продукте при совершении покупки, соц-дем, картой какого банка платил, с какого устройства это делал и т.д.

Outlive

Outlive - это книга о долголетии: о том, как прожить долгую, здоровую и счастливую жизнь. Она систематизирует передовой научный ресерч, чтобы получить на выходе практичный и полезный фреймворк, который каждый мог бы применить.

Доктор Питтер Аттиа — это врач, специализирующийся на прикладной науке longevity и wellness. Получив степень доктора медицины в Стэнфордском университете, он работал в больнице Джона Хопкинса и Национальном институте рака. Так же Питер известен своим подкастом The Drive, который я очень люблю и регулярно слушаю.

Книга, на мой взгляд, как и подкаст, является лучшим продуктом в своей теме. Она очень привередлива в тех тезисах, которые озвучивает, работает от первых принципов, системно и приправлена практическими кейсами автора, который является практикующим специалистом в области долголетия и имеет большой опыт в стандартной врачебной практике.

В этом посте я поделюсь общей канвой и ключевыми идеями из книги, которые стоят, на мой взгляд, внимания. Так же книга, как сказал выше, систематизирует подход к долголетию, который я буду использовать, как основу для дальнейшего повествования в канале, расскрывая все сильнее, затронутые темы, используя, как материал книги, материал из подкаста и другие материалы и знания, которыми владею сам, так как некоторые моменты Аттиа либо не раскрывает достаточно хорошо, либо я с ним вовсе не согласен.

https://telegra.ph/Klyuchevye-idei-Outlive-02-02-2

Дошли руки, наконец, потыкать в модный нынче Linear, который сейчас юзает каждый уважающий себя стартап в долине. Никогда бы не подумал, что можно переизобрести таск трекер, но тестируя сервис чувствуется вся та боль, что испытывали фаундеры при использовании стандартных монструозных джир, асан или ни на что неспособных трело, потому что в Linear просто все работает, как надо. Такое ощущается только на контрасте.

Краткое мое впечатление можно описать названием всем известной песни — Smooth Operator.

Хороший пример того, что даже на заполненной нише, где кажется, что все уже занято, можно быть успешным, создавая добавленную ценность через точечное решение ключевых задач пользователей на фундаментально другом уровне UX и правильно позиционируя продукт на рынке. Linear явно полагается на PLG, как и другие успешные тулы типа слака, ноушн, фигмы и миро, да и с точки зрения UX и ощущений чувствуется так же.

И теперь для себя я выработал «Правило SFN»: есть ли в какой-то SaaS нише продукт, который создает у меня такое же впечатление, как Slack, Figma и Notion? Если нет, то явно есть возможность сделать лучше.

Как понять, что у вас проблемы с execution и планированием?

Если вы называете какой-то срок, и ваш собеседник в уме умножает это число на некий коэффициент хN, чтобы понять, когда это на самом деле будет сделано.