Воскресный оффтоп: про загоны вида «кто я, что я из себя представляю, чем хочу дальше заниматься» и тому подобное

Самые противные, но при этом очень важные периоды жизни - кризисы идентичности в моменты важных изменений в жизни.

Ушли из найма предпринимательство? Или наоборот из своего дела в корпорацию к начальнику, который, как оказалось, вам ездит теперь по мозгам как хочет? Завели семью и уже не хотите сливать всю жизнь в работу? Или будучи очень миролюбивым внезапно стали боссом в агрессивной бизнес-среде, и теперь вынужденно смиряетесь с тем, что если дружить со всеми, вас съедят первым? Во всех таких случаях перемены достаточно сильные, чтобы ваше прошлое представление о себе могло стать не актуальным.

В чем подвох, так это в том, что мы не то чтобы привыкли детально осознавать свое эмоциональное состояние. Может вы думали, что любили старую работу за удобное рабочее место и интересных коллег, а потом уволились, и как-то никакой тоски ни по одному, ни по другому. А вот например то, что перед корешами больше не сделать грудь колесом, что развиваете сервис, которым все они пользуются, это подкосило. Как будто какая-то опора внутри пропала. А у кого-то наоборот окажется, что дело не было в продукте, а в коллективе, но итог будет тот же: внутренняя пустота после.

Или другой пример: начинаете наконец время с близкими проводить (к чему может быть триггером чья-то болезнь, получение большого бонуса и уход с работы или просто так получилось), и как ледяной водой обдает - на что ж годы жизни по 60-80 рабочих часов в неделе ушли. Быстро осознаешь, что родители уже успели состариться, друзей стало заметно меньше и вообще страшно подумать, сколько человеческого упущено.

И вот в этой внезапности открытий кроется первый неприятный момент. Можно было бы уже сто раз понять, где будет больно, и где какие опоры у прошлого «я», но нет, все это мы обычно выясняем на практике. Второй неприятный момент в том, что пока испытываешь боль от потерянных старых опор, еще ищешь новое «я», а не знаешь уже точно, что же будешь делать дальше с пошаговым планом. Даже если план изначально был, все равно реальные переживания от проживаемого кризиса накладывают отпечаток.

Лично меня максимально раздражает период, когда новая система координат еще продолжает формироваться, новые цели еще уточняются, а действовать уже хочется. Такое гнетущее чувство неудовлетворенности тем, что мыслей много, а дела как-то поменьше. Похоже на сжимание пружины: хочется уже выстрелить, но пока продолжаешь накапливать потенциальную энергию.

С другой стороны, такой кризис это потрясающее время. Ощущения примерно как пишешь-пишешь код, копишь сделанные наскоро штуки, а потом наконец-то выделили время на рефакторинг, и наконец-то наводишь порядок, как уже давно хотелось. Т.е. время, легально выделенное на то, чтобы дальше жить в большем порядке, в большей эстетике и в большем удовлетворении.

Самое главное, что такой кризис идентичности это путь из состояния апатии и усталости в состояние полной противоположности апатии: возможность и желание делать много и целеустремленно. Я все больше склоняюсь к мысли, что часто то, что мы принимаем за выгорание, усталость или лень это просто потеря актуальности старых целей. Когда видишь, что романтика прошлых мечт и стремлений была всего лишь розовыми очками, когда видишь бессмысленность и искусственность, когда каждый день становится не только как день сурка, но как бессмысленный день сурка, дело не в лени :) Дело всего лишь в том, что вы уже изменились, а то, что вы делаете каждый день - нет. И нужно просто набраться мужества это исправить и пойти за новыми смыслами.

SSM часть 4: почему все еще не переехали?

Вопрос из разряда «если вы такие умные, почему вы такие бедные»: если гибриды SSM так хороши, почему пока что все не переехали с трансформеров на них?

Короткий ответ: гибриды перспективны, но переезд всего стека у топ-игроков - дорогой и рискованный проект, плюс для трансформеров так-то тоже есть подходы к оптимизации.

Чуть подробнее:

1) Самый банальный довод - бюджет уже сделан под текущую технологию 🙂 Вопрос, зачем заморачиваться, открыт. Проблема из разряда "нам итак хорошо"

2) Переобучить модели с нуля на триллионах токенов + заново прогнать RLHF и остальные важные штуки - десятки миллионов американских рублей и месяцы GPU-времени.

3) Риск деградации пользовательского опыта: одно узкое ухудшение работы (retrieval, копирование, точные форматы) может стоить конверсии и NPS больше, чем выигрыш в $/токен.

4) В трансформерах рецепт применения известен и подход максимально изучен: стабильность обучения, скейлинг-законы, MoE-паттерны, дистилляция, квантование, спекулятивная/параллельная декодировка - всё отлажено. Гибриды моложе: лучшие практики (какие слои делать SSM, как инициализировать, где оставлять attention, как дистиллировать) ещё уточняются.

5) Инфра и инструменты уже сильно заточены под трансформеры. Индустрия сильно оптимизировала KV-кэш (paged KV, continuous batching), а у SSM другие узкие места. Для квантования в attention-блоках тоже куча стандартных решений, в SSM еще учимся и сравниваем подходы. На уровне железа CUDA/Triton/TVM/Inductor уже агрессивно оптимизируют attention-паттерны, для SSM еще предстоит пройти этот путь.

6) Не забываем про качество: SSM традиционно слабее в точном копировании и адресном извлечении из длинного контекста. Гибриды это чинят, но бизнес в целом не любит частое попадание в граничные условия, где модель ведёт себя иначе.

7) Сравнимость моделей: у компаний есть микро- и макро-модели (от 1B до 400B), open/closed, MoE-ветки. Массовый переход мешает сравнимости поколений и бенчмарков.

8 ) Трансформеры тоже можно оптимизировать: FlashAttention, paged KV, continuous batching, speculative decoding, MoE, сжатие/квантование - всё это уже даёт 2-10х экономии без радикальной замены трансформеров на новую архитектуру

В сухом остатке - переезд хуже чем два пожара, потому и не переезжаем. Что интересно, доводы выше применимы к большинству "убийц трансформеров", так что по большому счету они не сильно SSM-специфичны, а это просто проблемы примерно любого переезда.

Эндрю Ын (тот самый профессор Стенфорда, автор курсов по ML на Coursera и собственно основатель Coursera) поделился потрясающей историей про один очень недооцененный вредный эффект хайпа вокруг AI:

Недавно я получил электронное письмо под названием «Дилемма 18-летнего: слишком поздно вносить вклад в ИИ?» Её автор, который дал мне разрешение поделиться этим, готовится к поступлению в колледж. Он боится, что к моменту выпуска ИИ будет настолько хорош, что у него не останется какой-то значимой работы, чтобы внести вклад в человечество, и он будет жить на универсальный базовый доход (UBI). Я ответил ему, чтобы успокоить его, что у него будет много работы ещё десятилетиями, и призвал его усердно работать и учиться строить с помощью ИИ. Но этот разговор показался мне примером того, насколько вреден хайп вокруг ИИ.

И в самом деле, пока менеджеры и предприниматели растят presentation gap во имя инвестиций и роста оценок компаний, молодое поколение это слушает и очень может быть, что верит. И мало того, что испытывает повышенную тревогу насчет будущего, еще и может не идти в AI, просто опасаясь оказаться уже не нужными, ведь AGI уже рядом, не успеешь даже диплом получить. А подстава в том, что сфера AI как раз наоборот очень требовательна к большому количеству приходящих в нее умных людей со свежим взглядом на задачи и молодыми работоспособными мозгами.

В субботу в весьма солидной компании участвую в дискуссии про ИИ на конференции выпускников МФТИ в Долгопрудном. Приходите послушать:

У споров про близкий AGI и «мы все скоро будем жить на UBI, а все будет делать AI» есть интересный эффект. Все больше людей испытывают потребность просто нормально поговорить на эти темы, без раздувания щек, без обещания золотых гор бизнесу, и без рассказа, что вы в своей компании уже всех победили. Людям стало особенно ценно обсудить в неформальной обстановке, что происходит, почему всё так сложно, и как жить, если у тебя одновременно и с даталейкхаусом все сложно, и CEO поставил KPI оптимизировать 30% сотрудников с помощью AI-агентов (видимо, чтобы через полгода нанять всех обратно).

Похоже, что AI-сообщество впервые за долгое время перестало просить «экспертов» и стало просить людей. Тех самых, кто сам проходит через хаос архитектур, бесконечные синки и организационные войны за децентрализацию.

Ребята из South HUB дают как раз такую возможность пообщаться спокойно и неформально на своем кэмпе Snow BASE для C-level из ML/DS/AI - тех, кто живёт на стыке инженерии, математики и менеджерской реальности. И особенно классно, что всё это на фоне гор :) В профессиональной среде появляется еще одно место, где можно сказать: «у нас тоже всё не идеально», и услышать в ответ ровно то же самое. И это, разумеется, прекрасно :)

Вспомнил, что раньше постил сюда гугл-форму для предложений тем для постов в канал или вопросов ко мне (тоже предполагающих ответ постом). И даже какое-то недолгое время отвечал в канале. Давайте возобновим традицию, вот гугл-форма: https://forms.gle/hEQTCVLeu2VsmALw8

#QA Почему между продуктивностью программистов такая огромная разница?

Есть много причин, мне хочется выделить три, чтобы не увлечься перечислением, которое выльется в лонгрид.

Первая причина показана в прикрепленном к сообщению меме (на самом деле это выпуск xkcd, ну да кто уже помнит, что это такое). Для кого-то "оно компиллируется", "оно обучается", "оно считается" - это серьезный повод для паузы в работе. А для кого-то - нет, и он параллельно занимается другой задачей, а не работает в однопоточном режиме. Важный момент: в однопоточности есть свой плюс, а в частой смене контекстов даже между двумя задачами есть минусы, нужно разбираться, что для вас работает эффективнее, и такой подход и применять. Однако в большинстве случаев люди на работе имея возможность попродалбываться и подождать чего-то эту возможность ни в коем случае не упускают :) То же самое касается болтовни на работе. Кто-то ходит по десятому совещанию, чтобы принять решение о цвете кнопки, а кто-то уже все сделал, протестировал и выкатил, а тупой болтовней на 10 человек не занимался (за что был бы ненавидим всеми менеджерами, если бы не деливерил быстрее всех). В офисе любая работа может занять сколь угодно большое отпущенное на нее время, главная сложность - не участвовать в коллективном сжигании этого времени в топке пустых, чудовищно медленных разговоров. И не думайте, что это легко, шибко умным и шибко производительным коллектив даст понять, что так не принято, так что чтобы не заниматься фигней нужен определенный профессионализм, смелось, и даже талант.

Вторая причина в опыте. Человек, который имеет хороший кругозор (либо многое видел и многое делал в рамках работы, либо имеет хорошее образование, а лучше и то и другое), может идти к решению задачи по кратчайшему или почти кратчайшему пути. А еще не занимается преждевременной оптимизацией и может выбрать оптимальный вариант по сложности и функциональности решения. Это может экономить время на порядок. Почему на порядок? Ну потому что написать одно хорошее решение в десять раз быстрее, чем девять кривых, пока поймешь как надо на своем опыте. Кроме того, бывалый разработчик видит, когда менеджеры еще 10 раз поменяют запрос и экономит силы на исполнении первой же версии, а освободившееся время посвящает другим задачам, коих всегда хватает. Этому уже в университетах не научат, только на своем опыте, и это немного противоречит на первый взгляд причине 1. Но если кратко: бессознательное продалбывание времени - зло, экономное отношение к своему рабочему времени по причине еще уточняющейся постановки задачи - источник дополнительного времени на уже понятные задачи.

Третья причина в том, что обычно разработчик это наемный сотрудник, но при этом умный человек. Его зарплата не увеличится вдвое, если он будет работать вдвое больше. В лучшем случае за трудовые подвиги хорошего разработчика сделают плохим тимлидом и придется еще и менеджментом заниматься вместо любимого дела. Так что оптимальное решение - работать ровно столько и с такой скоростью, чтобы делать задачи приемлемо для бизнеса, а когда аврал или хочется повышения - поднажать. Заодно к авралу или зарплатным амбициями не выгоришь. А еще бывает, что специально работаешь на 70%, чтобы постепенно наращивать и получать левел-ап, а тебя повышают, когда ты все еще на уровне 70% и не начал реализовывать свой хитрый план. Такие вот дела. Вы скажете: он же любит программировать, почему тогда не работает по-полной? Ну как же, какие-то работают. А какие-то найдут вторую работу или сделают клевый пет-проект. И вообще-то говоря имеют полное право.

Ислам (мой бывший коллега по МТС) ищет человека в команду своего стартапа. Это уже второй его стартап, первый Ислам успешно продал, пока я преисполнялся скептицизмом к его затее. Так что главный вывод - есть те, кто делает, и те, кто критикует. Будьте первыми 💪

Активно ищу талантливого и энергичного фулстек founding engineer с потенциалом на кофаундера для совместной работы над 2pr.io, AI-агентом для контента в LinkedIn.

Текущий founding engineer вынужден уйти по личным причинам, но будет доступен для комфортной передачи продукта.

Я не ищу простого сотрудника. Ищу второго пилота или даже кофаундера.

Описание роли здесь

Просьба внимательно прочесть описание и если всё нравится, присылай сразу CV и/или LinkedIn в ТГ в личку @imidov

🔹 Итоги 2025 в ML: Яндекс представит обзор семи главных научных конференций года

Работаете в сфере машинного обучения или следите за трендами? Тогда забронируйте слот в календаре под ML Global Recap 11 декабря. Эксперты Яндекса расскажут о ключевых ML-тенденциях и поделятся инсайтами с семи главных международных конференций 2025 года.

Что в программе:

🔸 Основные выводы с NeurIPS — Алексей Гусаков, CTO группы Поисковые сервисы и ИИ;
🔸 Актуальные направления в обработке звука на Interspeech — Борис Шелудько, руководитель команды качества звука;
🔸 Тенденции компьютерного зрения, главное с ICLR — Роман Исаченко, руководитель команды анализа изображений;
🔸 Что нового в NLP: обзор ICLR и ACL — Александр Юшкевич, руководитель команды развития моделей базового качества;
🔸 Актуальное в рекомендательных технологиях: обзоры CIKM и RecSys — Николай Савушкин, руководитель команды рекомендательных технологий.

После докладов гостей ждет афтепати и нетворкинг с участниками и спикерами 🥂 Отличный шанс обсудить идеи и порассуждать, чего ожидать от ML в 2026 году.

📍 Приходите 11 декабря к 18:00 на Omega Rooftop в Москве или смотрите трансляцию.
🔗 Регистрация и детали по ссылке

Про «чудиков»

Вчера выступал на конференции выпускников МФТИ. Было очень тепло и душевно, со многими увиделся и пообщался, ну а кроме теплой физтешности историй других спикеров (о том, как поступали в МФТИ, кинув монетку, о голосах в голове и об особенностях сдачи экзаменов) атмосферу настоящего Физтеха поддерживало наличие в аудитории разного рода необычных людей.

Например, один из слушателей, когда пришло время задавать вопросы, взял микрофон, прорекламировал свой курс на степике, посетовал, что в МФТИ его не пускают читать лекции, а потом, когда уж его склонили начать наконец-то задавать вопрос, спросил спикера на сцене, помнит ли он конкретный момент в своей статье какого-то года, где употребляет формулировку, которую в статье якобы не объяснил, и готов ли за нее сейчас ответить. Закончился вопрос уже обвинением всей панели спикеров в шарлатанстве и тем, что уважаемому ученому погрозили пальчиком, уходя из концертного зала.

Разумеется, вся сцена и весь зал лежали от хохота. Почему? Потому что мы собрались пообщаться и снова немного почувствовать эту физтеховскую атмосферу непростого вуза, большой науки и кучи умных людей в одном месте. А эту атмосферу нельзя представить без так называемых «чудиков».

Их не хейтят, их по-своему любят и принимают как есть, хоть и с изрядной долей иронии. И это делало ситуацию еще забавнее: человек, пришедший со своими изобличительными речами в некотором смысле «портить праздник», на самом деле сделал его только веселее.

Вся эта ситуация напомнила мне, как во времена моей учебы возле НК (Новый Корпус МФТИ) периодически стоял дедок, продающий методички собственного сочинения про «теорию эфира». Чуть позже я уже узнал, что дедка с эфиром звали Борис Васильевич Плахов, и он стал мемом не только в МФТИ, но и МИФИ и Бауманки. Почитать подробнее можно здесь: https://pikabu.ru/story/est_takoy_chelovek_5370028?

Разумеется, не только Физтех славится «чудиками». Здесь как нельзя кстати придется история про «ферматиста» на мехмате в исполнении великолепного лектора и математика, можно сказать символа математики в России, Андрея Михайловича Райгородского: https://youtu.be/xwvKcWa2vLM?si=DqnWfiAHZ0YIICZ2

Почему чудики вызывают столько тепла? Ну, это, во-первых, только если они не вцепились конкретно в вас. Так что будьте внимательны к коллегам, которым присели на уши, и обязательно оказывайте помощь, уводя в сторонку по срочному делу. Ну а в остальном «чудики» это просто одна из граней интеллектуальных вызывов.

Многие нобелевские лауреаты, успешные предприниматели, профессора и прочие неглупые вроде бы люди были замечены за тем, что за пределами своей области компетентности могут вести себя очень странно. И между собой ученые тоже творят те еще чудачества. Вспомнить только подшучивания Ландау над коллегами или, например, что первый вопрос, который получил от седого профессора МФТИ Константин Новосёлов, уже нобелевским лауреатом выступая в Долгопрудном сразу после премии как герой и гордость Физтеха, это осуждающим тоном: «расскажите нам, что вас сподвигло покинуть Родину и уехать зарубеж?».

Странность это плата, которую наш мозг часто берет за решение им действительно интеллектуальных задач. Эту странность иногда даже легко перепутать с тем, что человек говнюк, или, что наоборот наивный дурачок, но она чуточку глубже. И «чудики» это те люди, которые напоминают нам о том, что все мы со своими причудами, чем наверно делают нас чуточку добрее (но, повторюсь, только когда на уши присели не именно вам 😁)