Про итоги

А теперь, наконец-то — про итоги поездки.

Я весьма классно пообщался с бабушкой. Это было невероятно, потому что весь день можно было общаться, а вчером-ночью поработать!

Меня просто закормили холодцами, пирогами, борщами и всем тем, чем любят потчевать внуков их бабушки 😁!

Я подзарядился воздухом и атмосферой абсолютного спокойствия. Замедлился настолько маскимально, насколько это возможно в современном мире. Этого правда очень сильно не хватало.

Кроме того, я немного работал. Когда я общался с ребятами по зуму — все положительно отзывались о ковре, который был не фоном, а настоящим!

После этого я подумал, что пора произвести редизайн канала. И вот оно случилось 😂!

MLE шатает Produnction — В С Ё

Антон поменял канал — ИЗМЕНИЛ название и аватарку. Люди негодуют и не понимают КАКОГО ХРЕНА?

😶😶😶 😶😶😶😶😶😶

Антон продолжит деятельность канала под новым названием. Почему это произошло уже разобрали в этом посте.

P.S. Протите котика 😊

How to Scale Your Model

По наводке @epsiloncorrect делюсь вам прекрасным чтивом о том, как делать вычисления эффективными на разных масштабах для разных размеров ваших моделек: https://jax-ml.github.io/scaling-book/.

Естественно, я не успел так быстро всё прочитать, но там ещё много чего нужно осознать на самом деле. Правда полистал и посмотрел. В гайде есть классные картинки, интересные задачки на размять мозги, много (на первый взгляд) реально полезных выводов и выкладок.

Меня в целом настолько поразил контент, что обязательно выделю время изучить весь материал, хоть это и не так просто в последнее время. 😊

Зачем вам это? Отвечу словами из гайда, с которыми я очень солидарен:

Three or four years ago, I don’t think most ML researchers would have needed to understand any of this. But today even “small” models run so close to hardware limits that doing novel research requires you to think about efficiency at scale. A 20% win on benchmarks is irrelevant if it comes at a 20% cost to roofline efficiency. Promising model architectures routinely fail either because they can’t run efficiently at scale or because no one puts in the work to make them do so.

Особый вклад в найм

Вчера была совершенно неожиданная для меня тусовка, которую устроила компания для тех, кто очень много приносит пользы в процессе найма. И это так классно, что за такую штуку, которую ты просто считаешь своей работой, к тебе приходят и говорят — спасибо 😍!

Нам подарили классную джинсовку и подложили карточку, что сейчас вы можете наблюдать на фотографии.

Что же я такого сделал для найма? Если честно — просто делал свою работу. Собеседования — это очень интересное занятие, на мой вкус. Мне кажется, очень сложно найти такое место, где можно услышать сотню разных (и правильных!) мнений по тому или иному вопросу.

Ну и на самом деле я успел пообщаться уже с большим количеством людей: кто-то только начал свой путь, а кто-то уже тёртый калач, кто-то просит советов, а у кого-то ты во время собеседования и сам учишься.

С другой стороны — это дело трудозатратное. К собеседованию нужно готовиться, потом его нужно оценить и дать внятный фидбек. Это всё занимает времени, но оно того стоит. Я очень рад, что часть людей, которая прошла через меня, уже работает в компании, а с кем-то мы работаем даже бок-о-бок!

Structured Output в LLMках

Скорее всего все уже знают про то, что с помощью LLMок можно генерить не просто какой-то текст, а даже структурированную информацию (например, json) 🌿. Этакий llm json mode.

Мне стало интересно, как это работает на самом деле (привет Коннор) под капотом, поэтому решил погуглить чего есть для json. Итак, что я нагуглил:

1. https://blog.dottxt.co/coalescence.html
Спойлер: по сути, мы ограничиваем генерацию стейт-машиной. Из-за этого модель жестко ограничена только тем, что заложили в грамматику этой стейт-машины. Приходится напрягаться и подчиняться.

2. https://github.com/noamgat/lm-format-enforcer#how-does-it-work
Спойлер: строят префиксное дерево для токенизатора и парсер для схемки json. Потом ходят двумя указателями (по одному в каждом дереве) и ходят туда, куда могут пойти сразу оба.

У первого способа есть проблема холодного старта и нужно построить стейт-машину, что дольше, чем строить деревья. Но если всё же словарь огромный, то деревья становятся жирнючими и долгими (в построении) 👨‍🦳, поэтому дешевле стейт-машину завозить.

Вендоры же стараются просто заюзать подобные подходы и либы, просто оптимизируя узкие места (например, стейт-машину) 🤯.

Вопросики 😍: может кто-то еще знает каких-то подробностей, как оно работает? Может быть еще какие-то либы, примеры, алгоритмы?

Заметки про руководство — делегирование

Важная задача тимлида — уметь делегировать 😁. Каждый день ты сталкиваешься с огромным числом потоков информации и задач. Часть из них нужно отфильтровать и донести, что мы это делать не будем; что-то придется делать лично (например, решить что-то со смежниками), но большую часть нужно делегировать.

Конечно, ты можешь перформить как боженька, но на всё тебя не хватит 👨‍🦳. Невозможно контролировать абсолютно всё (правда про систему контроля можно отдельный пост писать, потому что она нужна). А ещё нужно растить людей, давать им свободу, зону ответственности. И тут давайте остановочку.

Да, в моменте может быть трудно: и задачка непонятная, и объяснить сложно, а ещё хрен знает человек вообще сможет затащить или нет. НО! Пусть учится, пусть развивается 🧠 — это win-win стратегия для вас обоих. Тут главное человечку помогать (но не перегибать, а то придём к феномену "обратного делегирования"). Конечно, это при условии, если человеку подходит такой трек работы. Ключевое — помогать. Делегирование — это не сбрасывание неудобных задач.

На эту тему еще есть классный видос от Фёдора Борщёва, есть спорный момент про "делегировать всё" — звучит слишком радикально, потому что так просто не бывает (или, может, я чего-то не понимаю?). Но если брать суть — рекомендую.

Закончить заметку хочу словами Миши Трошева:

Задача руководителя — собрать команду из людей, которые умеют решать какие-то задачи лучше самого руководителя, в том числе руководить. Илон Маск и Стив Джобс не сами создали Теслу и Айфон, это сделали огромные команды под их руководством.

К слову, делегирование — это навык не только руководителей. Менторство младших коллег, работа со стажёром — здесь тоже возникают места, когда нужно делегировать.

Как у вас с делегированием? Было сложно начать?

P.S. Ребят, хочу начать вести какие-то постоянные рубрики. Это первый пост из серии "заметки про руководство". Надеюсь, будет как-то полезно, ну или хотя бы интересно 😍.

Улыбайтесь чаще, друзья 😁

Команда Умной Камеры (ребята, привет!) встроило себе небольшую классную пасхалочку, чтобы сделать жизнь пользователей чуточку приятнее. Вы можете открыть и попробовать сами сгенерировать себе комплимент!

Под капотом — VLM! Казалось бы ничего такого, но технически не самая простая задача. Когда-нибудь про это расскажем.

Ссылка на новость — воть.
Красивый я — на фотографии 😍