Рост в ML: Junior —> Middle

Астрологи скоро объявят неделю ревью - пора разобраться, как растить свой грейд

Я не буду писать про классические “делай задачи на следующий грейд” или “помимо раскачки хардов не забывай про софты”. Сосредоточимся на деталях, quick wins и грязных трюках 😇

Для роста из Junior в Middle я бы посоветовал собрать 3 ачивки:


1. Самостоятельно затащить (небольшой) проект с эффектом на деньги
Вы можете зарешать весь литкод, лучше всех знать трансформеры, но ничто так не растит в миддла как возможность доверять человеку задачи end-to-end. Хорошо бы это показать тим лиду на реальном примере

Лайфхак: если вы не знаете, где найти такую задачу - сделайте простую систему алертов на метрики ML/бизнеса в телеграм. Для этого не нужны SOTA навыки, но придется пообщаться со многими людьми и убедиться в полезности алертов. Убиваете сразу 3 зайцев: Показываете самостоятельность, приносите пользу, становитесь заметны вне своей команды


2. Разобраться во всех кусках ML продукта, над которым работает ваша команда
Не только посмотреть код ML-модели, но и понять, почему были приняты все основные решени в архитектуре. Уметь в Aiflow / Docker / что угодно еще для поддержки модели. Понимать как именно модель приносит пользу бизнесу

Лайфхак: Не пытайтесь выглядеть всезнающим. Чтобы реально разобраться в деталях придется задать 1000 и 1 глупый вопрос. Со временем ваши глупые вопросы станут умными, а умные вопросы - имхо, один из главных показателей middle / senior DS


3. Взять на себя часть коммуникаций с бизнес-заказчиками
Например, разбор проблемных кейсов, которые они приносят. Вы автоматом глубже поймете тех детали вашего продукта, познакомитесь с бизнесом и станете более самостоятельным дата саентистом


Другие советы я выложу в сторис, когда мы с вами добьем пару бустов каналу 💪

Если у вас есть еще годные советы Junuior-ам, пишите в комменты - обсудим ⬇️

Рост в ML: Junior —> Middle
Грязные трюки edition 😈


1. Умножай сроки х2
Почти наверняка, чтобы что-то сделать хорошо (или хотя бы просто сделать!), понадобится сильно больше времени, чем ты думаешь. Джуниоры часто не знают, что надо заложить время на тестирование, исправление ошибок, изменение изначальных требований и многое другое

Так что умножай сроки х2 - не прогадаешь. Актуально и для начинающих тим лидов:)

2. 30% времени - на курсы
До роста в синьора твоя кривая обучения стремится в космос, особенно на позиции джуниора. Каждый потраченный час на хороший курс или статью существенно улучшает знания и навыки. Пользуйся этим! Да, это инвестиция в будущее: если ты останешься в той же компании, то это ей окупится. Ну а если не останешься… то плохая программа роста там 😅

3. Скажи всем, что хочешь стать миддлом
Как ни странно, тим лиды и тиммейты не экстарсенсы. Хочешь стать миддлом / + 20% к зп / удаленку - хотя бы скажи про это. Лучше не прям перед ревью, а в начале полугода. И повторяй почаще) Так у тебя с тимлидом есть шанс придумать план, как стать миддлом, и есть шанс его воплотить, поправляя косяки по ходу дела. Если же об этом не говорить, может задач на ”показать себя” и не появится

P.S. Долго думал над форматом сторис - пока продолжаю его искать. Если у вас есть идеи - пишите в комменты, все учту)

Рост в ML: Middle —> Senior

По просьбам из комментариев, кратко опишу, как я отличаю джунов-миддлов-синьеров

Джун - хорошо делает хорошо поставленные задачи. Запилить фичу, написать автотесты и тп
Миддл - может полноценно развивать ML-проект. Добавляет фичи, ускоряет инференс и тд
Синьор - сам найдет бизнес-проблему, сам придумает решение и сделает, подскажет как лучше

Для роста из миддла в синьера потребуется уже 1-3 года и сбор вот таких ачивок:

1. Стань лидером ML-проекта
Наверняка можно взять устоявшийся проект на развитие / придумать новый. Важно, чтобы все от общения с бизнесом до внедрения в прод мог лидить именно ты. Это покажет самостоятельность и подарит чувство “Да, этому чуваку можно доверить большое дело”

2. Работай в команде
Как правило, затаскивать большие штуки в одиночку - крайне сомнительная затея. Если ты работаешь в стартапе, может и получится. Но в любой крупной компании в одиночку шансы крайне малы. Бери себе в помощь джунов, найми стажера, делегируй часть работы соседней команде - будь креативен 👩‍🎨

3. Изучи лучше всех в компании конкретную область
Эта область может быть небольшой, но все в команде + многие руководители должны считать тебя лучшим экспертом в ней. Как правило, этого можно достичь либо долгой и усердной работой, либо перенятием лучшего опыта индустрии: читать статьи , ходить на конференции. А луше делат ьи то, и другое

P.S. Читать статьи (хабр и медиум тоже!) - это не 1-2 в неделю, а хотя бы 10-15. Большинство из них bullshit bingo, поэтому помогут развиваться процентов 5 статей

Как определить, что у тебя получился этот пункт: к тебе стали чаще ходить за советом и звать на встречи по принятию решений:)

4. Придется научиться общаться 😄
Да-да пресловутые soft skills. Большинство миддлов сыпятся именно на них. Можно прокачивать навыки общения, начав вести регулярные встречи с бизнесом (если их нет - поставь срочно!). Из неплохих лайфхаков - выбери 2-3 синьор/лид людей из бизнеса и поставь им 1-1 раз в пару недель. И общаться научишься, и свою visibility поднимешь)

Визуализация эмбеддингов из коробки 📦

Наконец появилась приятная библиотека spotlight для визуализации данных в ноутбуке без тысяч строк на matplotlib и seaborn

Самое приятное для меня: помимо классических визуализаций табличек, spotlight умеет в неструктурированные данные (картинки) и эмбеддинги!

В общем, буду активно тестить🤓

Хорошо рабатаешь - хорошо отдыхай

Я вернулся из почти 3-ех недельного отпуска, и к его концу мне уже очень хотелось вновь начать работать)
За это время я не отвечал ни в каких чатах, не смотрел дэшборды и тп - все прекрасно работало надеюсь 😅

Чтобы все в команде могли спокойно уходить в отпуск и не уставать сильно без него, у меня есть 3 правила:

1. Не писать и не отвечать в чатах до 9 и после 19
Подождать 9 утра или следующего дня может практически любая проблема
Если у вас периодически падает сервис по ночам и нужно прям дежурить - только тогда явно выделяйте дежурных с доп окладами и регулярной сменой. И только до того времени, когда вы стабилизируете свой сервис - это должно стать фокусом, а не тех долгом в далеком беклоге

2. Хотя бы 1 выходной с нулевой терпимостью к анализу данных
Я имею в виду не только не работать (надеюсь, вы и так не работаете в сб-вс), но и не продумывать архитектуры, не проходить мощные курсы, не зарешивать кагл и тд

В начале карьеры или в течение месяца еще можно сделать исключение, но на долгосроке без полноценного отдыха ничего хорошего с вами не будет

Чтобы точно не работать в выходные:
- Не катите в прод в пятницу 😄
- Подкладывайте бэкапы на случай падения процессов / сервисов на выходных
- Работайте над стабильностью ваших сервисов

3. Ну прям совсем не работайте в отпуске
Я насильно кикаю с зум-встреч тех, кто пришел на них в свой отпуск. Пару раз кикал даже своих руководителей)
Нам кажется, что за неделю-две без нас компания никак не проживет, но в реальности - еще как проживет! И это довольно полезное наблюдения в том числе для делегирования

Наконец вышел видос на ютубе!

Давненько уже мы встретились с Сашей - автором @datafeeling и записали живой разговор про карьеру в ML
Долго монтировали все это дело, и теперь вы можете посмотреть

➡️ Выпуск на ютубе

P.S. Качество звука так себе, потому что это наш первый опыт самостоятельной записи на камеру 🙃

Мои итоги года, 2023

Почему сейчас? Под новый год вы утоните под постами с итогами и будет не до моего, ну а еще мне как раз исполнилось 27, я ровно 1 год проработал в Яндексе и пришли результаты ревью:)

Работа
Было несколько стримов, где нужно было дойти от 0 к 1. В итоге где-то это удалось, где-то мы убежали уже дальше от 1 к 20-30 (например, в прогнозе спроса). Ну а в одном стриме не вышло дойти до 1, мы пивотнулись и идем снова от 0 к 1. Суммарно, выглядит, что все идет здорово - даже получил повышенную оценку на ревью. Но не все прошло идеально, и я долго думал, чем отличались успешные стримы от не очень успешных:
- В успешных стримах прям все-все на старте смогли засинкаться, что такое целевая картина / успех. Если этого не сделать, то придется делать "не совсем то", и хорошо если потом получится пивотнуться, а не просто закрыть стрим
- Чем больше возьмете на себе ответственности, тем быстрее пойдете - парадокс, но работает. Если ваша команда и модели пилит, и за бизнес-метрики отвечает, и роудмап составляет - вряд ли что-то может вас затормозить 🚀

Внезапно нашел себе хобби в ML - изучаю достижения 2022г+ в CV classification/segmentetion. При этом сколько раз уже пытался взяться за изучение GPT-3/4 и другие SOTA в NLP, но каждый раз это было фиаско: быстро становилось скучно. А когда нашел интересную мне область - сразу хочется самому читать SOTA статьи. А всплыл такой интерес к CV, когда я несколько месяцев не мог выбрать комод и думал: ну неужели никто не научился не то что auto-подбирать мебель в интерьер, но хотя бы нормально классифицировать все атрибуты? Ну в общем, мало кто научился) Если попробовать поискать на популярных маркетплейсах что-то сложное, а-ля комбинацию стиль-цвет-размер-детали, то даже с фильтрами... работает так себе. Вбейте "Низкий комод в стиле лофт с графитовыми ручками" в поисковики маркетплейсов, посмотрите, что выйдет 😄 Жду момента, когда психану, и сам запилю классификацию атрибутов мебели по фото, чтобы уже выбрать несчатный комод))

Личное
В этом году я женился - и это самое лучшее решение, прям серьезно всем рекомендую, если нашли подходящего человека!) Ну и подготовка к свадьбе + сам день на самом деле очень веселое мероприятие

Побывыл в 3 почти крайних точках Евразии - на востоке (Курилы), западе (Португалия) и юге (Шри-Ланка). А вообще, пожил как минимум по неделе в 14 странах! Исполнил 2 большие мечты - побывать в замке-острове Мон-Сен-Мишель и побродить по развалинам древнего Рима.
Как оказалось, исполнять мечты вполне посильная задача - главное этим основательно заняться) Условно, можно в разы снизить стоимость поездки, если купить билеты заранее и собрать компанию, чтобы пошерить большое жилье. Шок, но в некоторых странах даже с учетом перелета я тратил меньше чем в Москве

Спорт и здоровье
Тут все достаточно неоднозначно. С одной стороны попробовал серф и кайт-серф, и едва на вошел в топ-100 полупрофи в России по теннису. С другой - появились сразу 2 травмы, причем внезапно не от экстремальных видов спорта, а от относительно "безобидных": Серф и теннис. В общем, если пробуете новый вид спорта, то отнеситесь к этому серьезно: с первого взгляда надо просто ехать на волне под солнышком, а в реальности огромную часть времени эта самая волна месит тебя с песком (и хорошо если с ним, а не рифами). Так что следующий год видимо будет годом здоровья - пора, уже почти дед в 27 😅

Задача персональных рекомендаций

Сегодня наткнулся на интересный пост про распространённую проблема в рекомендательных системах — недостаток персонализации, когда показываются в основном популярные и не очень релевантные пользователю товары. В ML-сообществе проблема известна как popularity bias


Я бы чуть расширил тему, подумав, а что и как вообще можно рекомендовать людям? Какие "стратегии" рекомендаций есть?

1. Те кто купил товар Х, также вероятно купят товар Y
Прям классика рек систем - решается обычно через разложение матрицы user-item, например через SVD / ALS

В идеале, если юзер посмотрел фильм "Железный человек", то ему может порекомендоваться другой фильм саги "Мстители"

2. Рекомендуй похожие товары на то, что юзер уже купил
Идея клевая, а с реализацией.. все сложно 😅

Наверняка после покупки кухонного стола вам еще месяц везде рекомендовались столы, да? Это те самые "похожие" рекомендации, которые плохо сварили.
При этом через месяц после покупки стирального порошка вполне валидно рекомендовать даже тот же порошок!

3. Повторные покупки
Какие-то товары можно покупать много раз (стиральный порошок, еду, и тп). Уметь вовремя рекомендовать то, что юзер уже покупал - очень прибыльная задача

4. Последовательные покупки
То, что может создавать wow-эффект, чуть ли не верх мастерства, но я практически нигде не видел годной реализации
Вы купили кухонный стол (вероятно, обустраиваете кухню) - рекомендуем стулья, затем скатерть, затем тарелки с кружками и тп

5. Рекомендации популярных и трендовых товаров
Быт ьможет пользователь новый и вы еще ничего о нем не знаете. Или пользователь сам не знает еще, чего он хочет: в таких кейсах круто рекомендовать популярные или трендовые товары

В начале хайпа селфи палок вряд ли много кто даже знал о них. Но показав, что у вас они есть - вы вполне могли привлечь пользователя к покупке

Обычно не люблю считать стату канала за год, но tgstat тут все сделал за меня

>200К просмотров моих постов в 2023 - просто шок 🤯

Еще бОльший шок - 2.5К пересылок

Похоже, становлюсь инфлюенсером на минималках 😅