Про выступления перед большими боссами

У всех нас, кроме совсем уж свободных предпринимателей (не имеющих ни инвесторов, ни даже якорного заказчика), есть боссы. Если вы топ - это CEO и совет директоров, если вы CEO - это совет директоров и акционеры, если вы акционер крупного холдинга - это представители власти, достаточно высоко стоящие в понятийном табеле о рангах. Если вы стартапер - у вас есть инвесторы, а если вы инвестируете не свои деньги, например, у вас целый фонд, то есть инвесторы, которые дают деньги в управление вам. В итоге, кем бы вы ни были, от джуна до олигарха - у вас периодически будет возникать задача "доклад высокому начальству".

Каждый раз в карьере, когда я с этой задачей сталкивался, я нет-нет, да и слышал от своего непосредственного руководителя: "это они не поймут, это слишком сложно, это убери". Меня всегда коробило - почему это вы тут говорите о боссах, как о ком-то не слишком умном, они же каким-то образом стали боссами, это часто очень прошаренные люди. И часто это подтверждалось в личных разговорах с биг боссами - запросто могло оказаться, что биг босс шарит за мою достаточно узкопрофессиональную тему побольше некоторых боссов поменьше :)

Но постепенно на меня снизошло понимание, как это работает. Дело не в том, что большое начальство что-то не понимает или не может понять (хотя такой фактор тоже есть, т.к. мы не можем быть экспертами во всем и нужно уметь говорить с людьми на их языке). Ключевая особенность биг боссов - они очень дорожат своим временем, потому что оно правда очень дорого стоит. Поэтому, когда им непонятно, они часто не задают кучу вопросов и разбираются (как например Косыгин, когда академик Журавлев в молодости придумал метод поиска месторождений золота африканского типа - см. стр.1-2), а просто раздражаются. Потому что время ушло, а результата не получилось.

Теперь я сам часто замечаю за собой эти фразы: "это убрать", "это не поймут", "это не нужно", когда материал готовится для аудитории биг боссов (например, в лекции для каких-нибудь матерых экзекьютивов или где в аудитории будет сидеть крупный акционер). Я конечно продолжаю в силу природного азарта заигрывать с тем, что акционеры люди очень умные и с ними можно уйти в дискуссии на глубину. Но т.к. экзеки иногда бледнеют, когда понимают, что начинается, и как высоко вырастают риски (на фоне обычного "что-то поговорили, что-то послушали, проект решения - принять к сведению"), я все же стараюсь черезчур не усердствовать с интерактивами у биг боссов.

Можно было бы сказать, что как-то это все грустно, драйва ж меньше от поллиткорректности. А вот смотря где его искать. Когда ко мне приходит индивидуально пообщаться про AI какой-нибудь топ, у нас нет свидетелей нашего диалога, кроме записи в зуме, а человеку реально интересно, я чувствую и драйв и искреннюю радость, что политес политесом, а все мы живые люди, у которых еще не атрофировалось любопытство и живой интерес к новому. Всего-то нужны правильные обстоятельства, причины, и атмосфера встречи, а то будут не те details не тот fabric :)

Вывод? Вывод простой, вместо того, чтобы дуть против ветра, можно искать места турбулентности и получать драйв там. А там, где культура уже сложилась, просто принять ее как данность и сэкономить время всем.

Воскресный оффтоп: про загоны вида «кто я, что я из себя представляю, чем хочу дальше заниматься» и тому подобное

Самые противные, но при этом очень важные периоды жизни - кризисы идентичности в моменты важных изменений в жизни.

Ушли из найма предпринимательство? Или наоборот из своего дела в корпорацию к начальнику, который, как оказалось, вам ездит теперь по мозгам как хочет? Завели семью и уже не хотите сливать всю жизнь в работу? Или будучи очень миролюбивым внезапно стали боссом в агрессивной бизнес-среде, и теперь вынужденно смиряетесь с тем, что если дружить со всеми, вас съедят первым? Во всех таких случаях перемены достаточно сильные, чтобы ваше прошлое представление о себе могло стать не актуальным.

В чем подвох, так это в том, что мы не то чтобы привыкли детально осознавать свое эмоциональное состояние. Может вы думали, что любили старую работу за удобное рабочее место и интересных коллег, а потом уволились, и как-то никакой тоски ни по одному, ни по другому. А вот например то, что перед корешами больше не сделать грудь колесом, что развиваете сервис, которым все они пользуются, это подкосило. Как будто какая-то опора внутри пропала. А у кого-то наоборот окажется, что дело не было в продукте, а в коллективе, но итог будет тот же: внутренняя пустота после.

Или другой пример: начинаете наконец время с близкими проводить (к чему может быть триггером чья-то болезнь, получение большого бонуса и уход с работы или просто так получилось), и как ледяной водой обдает - на что ж годы жизни по 60-80 рабочих часов в неделе ушли. Быстро осознаешь, что родители уже успели состариться, друзей стало заметно меньше и вообще страшно подумать, сколько человеческого упущено.

И вот в этой внезапности открытий кроется первый неприятный момент. Можно было бы уже сто раз понять, где будет больно, и где какие опоры у прошлого «я», но нет, все это мы обычно выясняем на практике. Второй неприятный момент в том, что пока испытываешь боль от потерянных старых опор, еще ищешь новое «я», а не знаешь уже точно, что же будешь делать дальше с пошаговым планом. Даже если план изначально был, все равно реальные переживания от проживаемого кризиса накладывают отпечаток.

Лично меня максимально раздражает период, когда новая система координат еще продолжает формироваться, новые цели еще уточняются, а действовать уже хочется. Такое гнетущее чувство неудовлетворенности тем, что мыслей много, а дела как-то поменьше. Похоже на сжимание пружины: хочется уже выстрелить, но пока продолжаешь накапливать потенциальную энергию.

С другой стороны, такой кризис это потрясающее время. Ощущения примерно как пишешь-пишешь код, копишь сделанные наскоро штуки, а потом наконец-то выделили время на рефакторинг, и наконец-то наводишь порядок, как уже давно хотелось. Т.е. время, легально выделенное на то, чтобы дальше жить в большем порядке, в большей эстетике и в большем удовлетворении.

Самое главное, что такой кризис идентичности это путь из состояния апатии и усталости в состояние полной противоположности апатии: возможность и желание делать много и целеустремленно. Я все больше склоняюсь к мысли, что часто то, что мы принимаем за выгорание, усталость или лень это просто потеря актуальности старых целей. Когда видишь, что романтика прошлых мечт и стремлений была всего лишь розовыми очками, когда видишь бессмысленность и искусственность, когда каждый день становится не только как день сурка, но как бессмысленный день сурка, дело не в лени :) Дело всего лишь в том, что вы уже изменились, а то, что вы делаете каждый день - нет. И нужно просто набраться мужества это исправить и пойти за новыми смыслами.

SSM часть 4: почему все еще не переехали?

Вопрос из разряда «если вы такие умные, почему вы такие бедные»: если гибриды SSM так хороши, почему пока что все не переехали с трансформеров на них?

Короткий ответ: гибриды перспективны, но переезд всего стека у топ-игроков - дорогой и рискованный проект, плюс для трансформеров так-то тоже есть подходы к оптимизации.

Чуть подробнее:

1) Самый банальный довод - бюджет уже сделан под текущую технологию 🙂 Вопрос, зачем заморачиваться, открыт. Проблема из разряда "нам итак хорошо"

2) Переобучить модели с нуля на триллионах токенов + заново прогнать RLHF и остальные важные штуки - десятки миллионов американских рублей и месяцы GPU-времени.

3) Риск деградации пользовательского опыта: одно узкое ухудшение работы (retrieval, копирование, точные форматы) может стоить конверсии и NPS больше, чем выигрыш в $/токен.

4) В трансформерах рецепт применения известен и подход максимально изучен: стабильность обучения, скейлинг-законы, MoE-паттерны, дистилляция, квантование, спекулятивная/параллельная декодировка - всё отлажено. Гибриды моложе: лучшие практики (какие слои делать SSM, как инициализировать, где оставлять attention, как дистиллировать) ещё уточняются.

5) Инфра и инструменты уже сильно заточены под трансформеры. Индустрия сильно оптимизировала KV-кэш (paged KV, continuous batching), а у SSM другие узкие места. Для квантования в attention-блоках тоже куча стандартных решений, в SSM еще учимся и сравниваем подходы. На уровне железа CUDA/Triton/TVM/Inductor уже агрессивно оптимизируют attention-паттерны, для SSM еще предстоит пройти этот путь.

6) Не забываем про качество: SSM традиционно слабее в точном копировании и адресном извлечении из длинного контекста. Гибриды это чинят, но бизнес в целом не любит частое попадание в граничные условия, где модель ведёт себя иначе.

7) Сравнимость моделей: у компаний есть микро- и макро-модели (от 1B до 400B), open/closed, MoE-ветки. Массовый переход мешает сравнимости поколений и бенчмарков.

8 ) Трансформеры тоже можно оптимизировать: FlashAttention, paged KV, continuous batching, speculative decoding, MoE, сжатие/квантование - всё это уже даёт 2-10х экономии без радикальной замены трансформеров на новую архитектуру

В сухом остатке - переезд хуже чем два пожара, потому и не переезжаем. Что интересно, доводы выше применимы к большинству "убийц трансформеров", так что по большому счету они не сильно SSM-специфичны, а это просто проблемы примерно любого переезда.

Эндрю Ын (тот самый профессор Стенфорда, автор курсов по ML на Coursera и собственно основатель Coursera) поделился потрясающей историей про один очень недооцененный вредный эффект хайпа вокруг AI:

Недавно я получил электронное письмо под названием «Дилемма 18-летнего: слишком поздно вносить вклад в ИИ?» Её автор, который дал мне разрешение поделиться этим, готовится к поступлению в колледж. Он боится, что к моменту выпуска ИИ будет настолько хорош, что у него не останется какой-то значимой работы, чтобы внести вклад в человечество, и он будет жить на универсальный базовый доход (UBI). Я ответил ему, чтобы успокоить его, что у него будет много работы ещё десятилетиями, и призвал его усердно работать и учиться строить с помощью ИИ. Но этот разговор показался мне примером того, насколько вреден хайп вокруг ИИ.

И в самом деле, пока менеджеры и предприниматели растят presentation gap во имя инвестиций и роста оценок компаний, молодое поколение это слушает и очень может быть, что верит. И мало того, что испытывает повышенную тревогу насчет будущего, еще и может не идти в AI, просто опасаясь оказаться уже не нужными, ведь AGI уже рядом, не успеешь даже диплом получить. А подстава в том, что сфера AI как раз наоборот очень требовательна к большому количеству приходящих в нее умных людей со свежим взглядом на задачи и молодыми работоспособными мозгами.

В субботу в весьма солидной компании участвую в дискуссии про ИИ на конференции выпускников МФТИ в Долгопрудном. Приходите послушать:

У споров про близкий AGI и «мы все скоро будем жить на UBI, а все будет делать AI» есть интересный эффект. Все больше людей испытывают потребность просто нормально поговорить на эти темы, без раздувания щек, без обещания золотых гор бизнесу, и без рассказа, что вы в своей компании уже всех победили. Людям стало особенно ценно обсудить в неформальной обстановке, что происходит, почему всё так сложно, и как жить, если у тебя одновременно и с даталейкхаусом все сложно, и CEO поставил KPI оптимизировать 30% сотрудников с помощью AI-агентов (видимо, чтобы через полгода нанять всех обратно).

Похоже, что AI-сообщество впервые за долгое время перестало просить «экспертов» и стало просить людей. Тех самых, кто сам проходит через хаос архитектур, бесконечные синки и организационные войны за децентрализацию.

Ребята из South HUB дают как раз такую возможность пообщаться спокойно и неформально на своем кэмпе Snow BASE для C-level из ML/DS/AI - тех, кто живёт на стыке инженерии, математики и менеджерской реальности. И особенно классно, что всё это на фоне гор :) В профессиональной среде появляется еще одно место, где можно сказать: «у нас тоже всё не идеально», и услышать в ответ ровно то же самое. И это, разумеется, прекрасно :)

Вспомнил, что раньше постил сюда гугл-форму для предложений тем для постов в канал или вопросов ко мне (тоже предполагающих ответ постом). И даже какое-то недолгое время отвечал в канале. Давайте возобновим традицию, вот гугл-форма: https://forms.gle/hEQTCVLeu2VsmALw8

#QA Почему между продуктивностью программистов такая огромная разница?

Есть много причин, мне хочется выделить три, чтобы не увлечься перечислением, которое выльется в лонгрид.

Первая причина показана в прикрепленном к сообщению меме (на самом деле это выпуск xkcd, ну да кто уже помнит, что это такое). Для кого-то "оно компиллируется", "оно обучается", "оно считается" - это серьезный повод для паузы в работе. А для кого-то - нет, и он параллельно занимается другой задачей, а не работает в однопоточном режиме. Важный момент: в однопоточности есть свой плюс, а в частой смене контекстов даже между двумя задачами есть минусы, нужно разбираться, что для вас работает эффективнее, и такой подход и применять. Однако в большинстве случаев люди на работе имея возможность попродалбываться и подождать чего-то эту возможность ни в коем случае не упускают :) То же самое касается болтовни на работе. Кто-то ходит по десятому совещанию, чтобы принять решение о цвете кнопки, а кто-то уже все сделал, протестировал и выкатил, а тупой болтовней на 10 человек не занимался (за что был бы ненавидим всеми менеджерами, если бы не деливерил быстрее всех). В офисе любая работа может занять сколь угодно большое отпущенное на нее время, главная сложность - не участвовать в коллективном сжигании этого времени в топке пустых, чудовищно медленных разговоров. И не думайте, что это легко, шибко умным и шибко производительным коллектив даст понять, что так не принято, так что чтобы не заниматься фигней нужен определенный профессионализм, смелось, и даже талант.

Вторая причина в опыте. Человек, который имеет хороший кругозор (либо многое видел и многое делал в рамках работы, либо имеет хорошее образование, а лучше и то и другое), может идти к решению задачи по кратчайшему или почти кратчайшему пути. А еще не занимается преждевременной оптимизацией и может выбрать оптимальный вариант по сложности и функциональности решения. Это может экономить время на порядок. Почему на порядок? Ну потому что написать одно хорошее решение в десять раз быстрее, чем девять кривых, пока поймешь как надо на своем опыте. Кроме того, бывалый разработчик видит, когда менеджеры еще 10 раз поменяют запрос и экономит силы на исполнении первой же версии, а освободившееся время посвящает другим задачам, коих всегда хватает. Этому уже в университетах не научат, только на своем опыте, и это немного противоречит на первый взгляд причине 1. Но если кратко: бессознательное продалбывание времени - зло, экономное отношение к своему рабочему времени по причине еще уточняющейся постановки задачи - источник дополнительного времени на уже понятные задачи.

Третья причина в том, что обычно разработчик это наемный сотрудник, но при этом умный человек. Его зарплата не увеличится вдвое, если он будет работать вдвое больше. В лучшем случае за трудовые подвиги хорошего разработчика сделают плохим тимлидом и придется еще и менеджментом заниматься вместо любимого дела. Так что оптимальное решение - работать ровно столько и с такой скоростью, чтобы делать задачи приемлемо для бизнеса, а когда аврал или хочется повышения - поднажать. Заодно к авралу или зарплатным амбициями не выгоришь. А еще бывает, что специально работаешь на 70%, чтобы постепенно наращивать и получать левел-ап, а тебя повышают, когда ты все еще на уровне 70% и не начал реализовывать свой хитрый план. Такие вот дела. Вы скажете: он же любит программировать, почему тогда не работает по-полной? Ну как же, какие-то работают. А какие-то найдут вторую работу или сделают клевый пет-проект. И вообще-то говоря имеют полное право.

Ислам (мой бывший коллега по МТС) ищет человека в команду своего стартапа. Это уже второй его стартап, первый Ислам успешно продал, пока я преисполнялся скептицизмом к его затее. Так что главный вывод - есть те, кто делает, и те, кто критикует. Будьте первыми 💪

Активно ищу талантливого и энергичного фулстек founding engineer с потенциалом на кофаундера для совместной работы над 2pr.io, AI-агентом для контента в LinkedIn.

Текущий founding engineer вынужден уйти по личным причинам, но будет доступен для комфортной передачи продукта.

Я не ищу простого сотрудника. Ищу второго пилота или даже кофаундера.

Описание роли здесь

Просьба внимательно прочесть описание и если всё нравится, присылай сразу CV и/или LinkedIn в ТГ в личку @imidov