Наткнулся на интересный кейс эффекта ноцебо при приеме антидепрессантов. Ноцебо, если кто не знает, это как плацебо, но когда вызывается негативный эффект.

В общем, женщина, которая участвовала в слепом рандомизированном исследовании лечения депрессии и была в группе с плацебо, хотела убить себя приняв 26 таблеток этого антидепрессанта, как она думала. Ее госпитализировали в критическом состоянии, у нее было крайне низкое давление, несколько часов откачивали, но потом ей сказали, что это было плацебо и она резко пришла в себя.

https://www.sciencedirect.com/science/article/abs/pii/S0163834307000114

Product Development 2.0: копилоты на ИИ в продуктовых командах. Видение от майкрософт

Внедрение генеративного ИИ в продуктовые команды — захватывающая перспектива, сродни наличию второго пилота в самолете. Подобно тому, как второй пилот авиакомпании помогает капитану ориентироваться в небе, второй пилот с искусственным интеллектом помогает команде людей справляться со сложностями разработки продукта.

В команде разработчиков, которой помогает второй пилот, ИИ станет основой жизненного цикла разработки продукта, повышая гибкость разработки за счет управления процессами и минимизации ошибок. Традиционные спринты станут короче, а Co-Pilots будут проводить непрерывную аналитику рынка и использования, чтобы упростить планирование до написания кода, уменьшая потребность в нескольких встречах и помогая людям сосредоточиться на творчестве и социальном взаимодействии. Показатели успеха продукта по-прежнему будут зависеть от удовлетворенности клиентов и адаптации пользователей, но мы увидим новые показатели продуктивности команды, такие как взаимодействие человека и второго пилота, автономность выполнения задач, обучение второго пилота и точность.

https://medium.com/data-science-at-microsoft/the-era-of-co-pilot-product-teams-d86ceb9ff5c2

Тут я замечу, что агенты которые натренированы быть связующим звеном между промтом и кодом/продуктовым дизайном - это интересная часть общей тенденции к гиперавтоматизации процессов и продуктов. Авторы даже приводят какое-то исследвоание: https://arxiv.org/abs/2304.03442

Правдоподобные прокси человеческого поведения могут расширять возможности интерактивных приложений, начиная от иммерсивных сред и заканчивая репетиционными пространствами для межличностного общения и инструментами прототипирования. В этой статье мы представляем генеративные агенты — вычислительные программные агенты, которые имитируют правдоподобное поведение человека... ну-ну, может быть, конечно, но есть и скепсис у меня

Увидел в последнем посте Данилова ссылку на очень прикольный онлайн симулятор запуска A/B экспериментов и работы с приоритезацией беклога.

https://www.lukasvermeer.nl/confidence/

Можете попробовать применить правила управления экспериментами, про которые я рассказывал в недавнем цикле постов: 1, 2, 3.

Илья Бирман написал об онбординге.

— Он появляется не вовремя, мешает воспользоваться приложением, а когда информация из него нужна — её уже не найти;
— Нахваливать в нём приложение и его фичи нет смысла, человек его уже установил и запустил;
— Обучать работе с приложением — тоже, так как надо сначала внимательно всё прочитать и запомнить, а уже потом — применить эти знания в реальном интерфейсе;
— Если интерфейс действительно требует обучения (и его нельзя сделать понятнее), лучше добавить подсказки, кнопки-вопросики с подробным пояснением в сложных местах, ссылки на гайды и видеоинструкции;
— Рассказывать в нём о новых фичах тоже не стоит, так как человек обычно запускает приложение с какой-то целью, и онбординг только помешает;
— Телеграм сообщает об обновлениях в отдельном канале. Если фича понравилась, сообщение о ней легко можно переслать;
— Онбординг действительно может повысить метрики. Но это не значит, что его обязательно надо добавлять. Рассказать о чём-то пользователям можно иначе;
— Если нет никаких других вариантов рассказать о продукте, лучше сделать это онбордингом, чем не сделать вовсе;
— Онбординг проще добавить: он не взаимодействует с другими частями приложения, не добавляет новых связей, поставить его может отдельная команда.

Канал Ильи. #onboarding

Думаю, все знают, что силовые тренировки являются одним из лучших средств в рамках longevity. Однако у многих людей нет понимания того, сколько и как часто нужно тренироваться, чтобы получить необходимый результат для здоровья. Более того, у многих людей есть ассоциация, что нужно тренироваться часто и тяжело, что отнимает много времени и сил. Из-за этого многие не тренируются вовсе.

Существует мета-анализ, который проанализировал влияние силовых тренировок на снижение риска смерти от любой причины — all-cause mortality.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9209691/

«The maximum risk reduction for all-cause mortality, CVD and total cancer was obtained at approximately 30–60 min/week of muscle-strengthening activities, and the risk of diabetes sharply decreased until 60 min/week of muscle-strengthening activities, followed by a gradual decrease.»

То есть, чтобы получить максимальное снижение риска, достаточно тренироваться 30-60 минут в неделю, что, по сути, означает одну небольшую силовую тренировку в спортзале.

Очень понравилась мысль из недавнего подкаста Lenny c VP of Product в Ramp: "Каждый запрос в службу поддержки является провалом нашего продукта. Если продукт работает идеально, никому не придется обращаться в нашу службу поддержки".

Это пример мышления от первых принципов (first-principle thinking). Как только вопрос ставится таким образом, вы переключаетесь с устранения последствий (обработка тикетов) на устранение причин, из-за которых эти тикеты появляются.

Крайне неоднозначная ситуация с забастовкой сценаристов в США. Тяжело занять какую-то сторону и сделать однозначные выводы. С одной стороны, продюсеры не выполняют требования гильдии сценаристов, и киноиндустрию ждет крупнейший кризис со времен ковида, который был совсем недавно и с трудом был пережит. С другой стороны, гильдия сценаристов очевидно манипулирует. Чего стоят ее требования про регуляцию ИИ.

Вот еще попалась статья, где показаны расчеты дополнительных издержек, которые понесут компании, если выполнят требования гильдии.

К примеру, $65 млн. в год для Netflix. Чтобы показать, что это копейки, косты нормируют на выручку (% cost of revenue), и вот мы имеем, что злобная корпорация Apple жадничает какими-то 0.004% от выручки, но то, что дополнительные косты на производство фильмов/сериалов считаются относительно выручки от всей деятельности огромной корпорации, никого, конечно, не волнует.

Послушал последний выпуск подкаста Питера Аттии — «Good vs. bad science: how to read and understand scientific studies». Большая часть выпуска, как видно из названия, посвящена тому, как правильно изучать научный ресерч и проблемам в нем. На эту же тему есть книжка, про которую писал в посте.

Но для начала немного контекста: за последние лет 8-10 я прочитал больше десятка книг по физиологии и спортивной медицине, тысячи различных статей на PubMed, умудрился выдвинуть за беседами с друзьями несколько гипотез, которые потом подтверждались в научной среде, и пару раз даже попытался пробиться с research review в российский журнал но был успешно послан. Пока не начал заниматься Data Science, грешил одной очень распространенной вещью — читал выводы исследований, но не всегда читал study design, не изучал, кто автор исследования, есть ли bias, в чем гипотеза (не забываем про Type III Error), не изучал глубоко данные, не проверял смогли ли воспроизвести эффект, если пытались, и, в целом, не смотрел критически на то, что читаю. Все почему? Казалось, что в peer-review журнале фигню постить не будут и можно без проблем доверять.

Исследования бывают разных типов и их можно представить в виде иерархии. Вот основные категории:
- Individual case reports: когда рассматривается конкретный случай, как в посте про эффект ноцебо.
- Когортные исследования, где рассматриваются корреляции. К примеру, посмотреть на зависимость сердечно-сосудистых заболеваний у людей, кто в течении 10 лет ходил в сауну, и сравнить с теми, кто не ходил. Но, как мы знаем, correlation does not imply causation.
- Experimental studies, типа наших любимых A/B тестов, где есть контрольная группа и экспериментальная. При этом селекция может быть non-randomized и randomized. Понятное дело, что там, где нет случайного разбиения, может быть bias. Randomized могут быть разной степени слепоты:
- Single-blind — участники эксперимента не знают в какой они группе.
- Double-blind — участники и исследователи не знают, в какой группе оказался субъект.
- Meta-analysis — объединяются данные из нескольких исследований, которые пытаются рассмотреть один и тот же вопрос. Сами исследования в рамках такого подхода могут фильтроваться, иметь разный вес и прочее. На первый взгляд, мета-анализы кажутся прекрасным способом, потому что если одно рандомизированное исследование это хорошо, то 10 должно быть еще лучше, но если рассматривать 10 мусорных исследований, то получится такой же мусор — garbage in garbage out. Еще у таких исследований все равно может быть selection bias и confirmation bias, ибо авторы могут рассматривать только определенные исследования, игнорируя другие.

Так вот, в подкасте рассматривается способ чтения исследований, похожий на тот, к которому и я пришел со временем:
- Начинаем с абстракта.
- Пропускаем интро, если знакомы с предметом, читаем, если не знакомы.
- Изучаем дизайн эксперимента/исследования. Часто ошибки можно увидеть уже здесь.
- Изучаем данные от более низких абстракций, к более высоким. К примеру, в исследованиях про различные тренировки часто бывает информация о каждом субъекте эксперимента, его образе жизни и другом бэкграунде. От базового фундамента двигаемся к более высоким абстракциям: смотрим уже на распределения, статистики, от бэкграунда идем к результатам и динамике. Обращаем внимание в данных на выбросы и крайние случаи.
- Переходим к результатам, которые вывели авторы и к секции с дискуссией.
- В случае мета-анализов сначала изучаем каждое исследование по отдельности по принципам выше, а потом смотрим, что пишут авторы мета-анализа, и их сравнения. Изучаем дополнительно были ли в это время, какие-то другие исследования, которые авторы мета-анализа не рассматривали, какие там результаты, сравниваем.

P. S. Начал недавно читать книгу Питера — «Outlive: The Science and Art of Longevity». Попробую написать ревью, когда закончу. Предварительное мнение — очень круто.

Spotify показал демку своей платформы для онлайн экспериментов. Выглядит крайне многообещающе.

Ключевые фичи:
- sequential тесты
- ролауты
- слои и бакетизация
- гранулярная сегментация аудитории и прочие настройки селекции
- кастомизация платформы через workflows на TypeScript

У "Кинопоиска" вышел клевый спецпроект про 100 самых великих фильмов 21 века. Как и от любого рейтинга, можно подпалить своё кресло, но я уже давно преисполнился в своём сознании и получаю удовольствие. Можете просто идти по списку и смотреть все то, что не видели, и познать гармонию от созерцания великого фрактального подобия и слияния с бесконечно вечным.

В мои топ-10 "Аватар" не вошёл бы, а вот "Интерстеллар", "Прибытие", "Темный Рыцарь", "Властелин Колец: Возвращение Короля", "Пианист", "Отступники" там точно были бы, и это в придачу к "Нефть", "Начало", "Старикам тут не место", "Малхолланд Драйв", которые и у "Кинопоиска" там же. Ну, а "Нефть" - это абсолютное величие и монументальный стейтмент, впрочем, как и Дэниэл Дэй-Льюис и Пол Томас Андерсон.

P.S. ну и топ-11 это "Одержимость". Не мог не отметить, так как люблю Шазелла и эту картину, в частности.

Забавно читать всю русскоязычную «аналитику» по поводу увольнения Сэма Альтмана бордом OpenAI. Сотни поверхностных теорий, начиная от недовольных убытками инвесторов и заканчивая проблемами с утечкой, но горе контент-мейкеры даже состав этого самого борда не проверили и принципы его работы прежде, чем в спешке бежать клепать новости и делать выводы, имея нулевую информацию на руках. Зато кругом все у нас специалисты по AI и внутренней кухне OpenAI.

P. S. На сегодня дозу токсика я исчерпал, всем спасибо!

Информации становится больше, и пазл потихоньку начинает складываться.

- Как было известно с самого начала, решение уволить было резким и заранее за пределами борда почти никто не знал. При этом формулировка в духе «уволен за утрату доверия».
- Сэм, по слухам, был на полпути к поднятию очередного раунда.
- Судя по инсайдам от людей, «знакомых с внутренней кухней», Сэм Альтман топил за развитие продукта, монетизацию, развитие фичей. Все это хотел шипить как можно быстрее и прочие стандартные атрибуты из мира продуктовых технологических компаний. А Илья Суцкевер хотел безопасный этичный AI, алайнмент и топил за изначальную миссию и видение, ради которого все и создавалось. Тут конфликт, похоже, и случился, и воспользовавшись своей властью, Илюха во имя миссии решил Альтмана таки выбросить за борт, пока совсем поздно не стало. Классическая ситуация бизнес против академиков, но обычно власть у тех, у кого бабки, но не в случае OpenAI, ибо нон-профит, и борд состоит не из акционеров, которые заинтересованы в росте доходов.
- После увольнения Альтмана часть команды начала сваливать вслед.
- На сторону Сэма встали инвесторы и, как говорят, Microsoft и еще несколько VC прорабатывают вариант с возвращением Сэма & Co и последующей дезинтеграцией борда, который во имя идеи может угробить их инвестиции.

Вижу два варианта:

- Альтмана вернут, борд уберут или как-то отделят профит OpenAI от нон-профита, и продолжится все то, что было до этого, а идейных академиков либо не будет, либо отделят забором.
- Вернуть все не получится, инвесторы и клиенты после таких выкрутасов начнут диверсифицировать свои риски и активы и активно начнут юзать и развивать конкурентов, а, может, и вовсе забустят инвестиции новому проекту того же Альтмана и команды, которая пойдет за ним. Позиции OpenAI резко пошатнутся, идейные академики сделают безопасный AI со 100% алайнментом, который, правда, будет никому не нужен.

Какое мое отношение ко всей ситуации? Первая реакция была: "Какое величие просрали". Чуть-чуть подумав, стало понятно, что я рад.

Помните, я писал про то, что OpenAI обладает одной из 7 стратегических сил - cornered resources, которая выражается во владении уникальной технологией, опережающей рынок, и наличии уникальных людей, знающих, как сделать эту технологию. Так же писал, что этот метод хорош в начале, но потом перестает работать (за некоторыми исключениями типа TSMC и подобных).

После GPT-4, по сути, качественного скачка не было и, судя по всему, все внимание было уделено инфре, которая была бы способна выдерживать нагрузку и эффективно делать инференс. Конкуренты и Open Source при этом не стояли на месте и активно сокращали отставание и привлекали инвестиции.

Сейчас мы попали в ситуацию, что защита OpenAI будет сжата до состояния "владения уникальной технологией", а "уникальные люди" разбредутся по конкурентам и применят свои знания. Конкуренция усилится, крутые LLM уровня GPT-4 и выше станут доступны сильно большему числу игроков на рынке, технологии начнут становиться доступнее, эффективнее, их качество будет расти. В общем, все то, за что мы любим прогресс и свободный и конкурентный рынок. И, наконец, получим Siri, в которой будет больше пользы, чем просто ставить таймер во время готовки.

OpenAI больше не будет защищен наличием уникальной технологии. Для создания безопасного и выровненного искусственного интеллекта требуется огромное количество денег. Доверие инвесторов подорвано. Текущая ситуация показывает, что догматичность и идеализм руководства не позволят инвесторам окупить свои инвестиции в виде прибыли, поэтому и инвесторы должны быть такими же идейными. И вот лично мне слабо верится, что OpenAI будет способен собрать так много, сколько нужно, чтобы быть, как раньше, на переднем краю.

Санта-Барбара продолжается. Илюха говорит, что сожалеет:

I deeply regret my participation in the board's actions. I never intended to harm OpenAI. I love everything we've built together and I will do everything I can to reunite the company.

Похоже, человек осознал, что натворил. И в руках этого человека было будущее безопасного AI.

Особенно это забавно, на фоне его другого твита:

Ego is the enemy of growth

Самый жизненный пост, который довелось читать за последние несколько месяцев

Сто тысяч аб-тестов

Когда человек только начинает влиять на продукт, у него есть куча идей и гипотез, как сделать лучше, и в каждую он очень сильно верит. Это стадия «сработает все, что я придумал»

В какой-то момент ему говорят, что он нерепрезентативен, субъективен и прочие слова. Продакт подхватывает это знание как знамя. Хорошо, если он начинает сомневаться в своих гипотезах, но чаще (или в плюс к этому) происходит такое: он подвергает сомнению все гипотезы и советы коллег, включая более старших и опытных. Так начинается стадия «надо протестировать и происследовать абсолютно все, даже очевидное говно, потому что ваше мнение о том, что это говно — субъективно».

Доходит до того, что желание как можно быстрее проверить все затуманивает разум: потратить минуту на написание какого-нибудь текста и два часа на интервью с коллегами о том, понятен ли текст, вместо того, чтобы лишние полчаса подумать над формулировками.

Со временем продакт обрастает экспертностью и насмотренностью в том числе через эти сто тысяч тестов, понимает, что с большей вероятностью сработает, а что с меньшей, а главное — он понимает, что время не резиновое, все не протестируешь, и лучше вложиться в качество, чем в количество. Говорит менее опытным коллегам «ребята, это плохо, потратьте время, чтобы продумать получше», получает в ответ «ты субъективен, я сделаю коридорку/запущу тест/проведу глубинку» и внутренне улыбается 🙂

Смерть OpenAI отменяется. Таки смогли договориться и будут перетряхивать борд. Агентура белого дома никуда из него не денется, просто ее лицо поменяется, но, по слухам, майкрософт тоже войдет в борд, чтобы защищать свои инвестиции. Свидетелей алайнмента, похоже, выгонят на мороз.

Жду мини сериал про этот цирк на Apple TV+ с Джесси Айзенбергом в главной роли. WeCrashed у них получился хорошим.

Хочу рассказать про один продукт, который посоветовали друзья. Это лучшее, что случалось с моим фокусом за последнее время, особенно после того, как я узнал, что у меня ADHD — Endel.

Готовишь себе мытую Эфиопию или Кению в вороночке, закидываешься л-теанином, включаешь фокусирование, включаешь deep focus в endel и все. Через 5-10 минут ты в потоке и тебя ничего не отвлекает от сконцентрированной работы.

В целом, Binaural Beats весьма strong evidence история. Можно почитать на Examine или в выпуске Хубермана про Focus Toolkit.

P. S. У Endel оч клево сделанный онбординг. Всем продактам и дизайнерам на заметку.

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться @julisache, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd: Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс