похоже, openai начинает оправдывать свое название 🤨 3 дня назад они залили хорошие веса для CLIP под MIT-лицензией. Кстати, есть шанс что скоро мне DALLE-2 дадут погонять

довольно мемно, как сработал пиар Сбера — когда я рассказываю разработчикам, далеким от DL сферы что-то про DALL-E, они такие — а, это та сетка, которую Сбер придумал?

О чем всегда стоит помнить, если ты разработчик? Особенно, если ты разработчик-исследователь? Мои наблюдения разной степени банальности, о которых хочется напомнить всем, особенно тем, кто только начинает свой путь.
TL;DR:
1. 📉 Не бойтесь ошибаться и рассказывайте об ошибках
2. ❓Не бойтесь спрашивать. Лучше задать какой-нибудь элементраный вопрос, чем потом допустить кучу багов. Уточняйте, что человек имеет ввиду — термины в ML/DL очень гибкие
3. 🗣Обсуждайте в чатах/на работе/читайте обсуждения вновь выходящих или уже существующих статей
4. 🏃Не бойтесь увольняться
5. 💃Отдыхайте, занимайтесь чем-нибудь, где вы не думаете о работе
P.S. в конце видео пасхалочка 😄

Я тут кое-что на посмотреть на майских нашла 😄
1. Курс номер раз от HF по RL. Хоть у меня и нет майских, я сама его хочу как-нибудь пройти)
2. Вдобавок к канону CS231n Стэнфорд выложил большой свежий курс по NLP на ютуб. Пока не смотрела, но вот low resource mt например звучит занимательно

🤓 работа с русскими и американцами на личном опыте.

Есть "русский"/"американский" подходы к работе. Само собой, это не топонимы, а просто устаревшие названия для моделей, в одной из которых ты в последний момент адски стрессуешь и твоя продутиквность повышается, а во второй ты планомерно работаешь и дедлайн не становится чем-то из ряда вон. Стресс, больше стресса, еще больше стресса для продуктивности перед дедлайном!! Здравствуйте, мои экзамены на Физтехе. А что же на практике?
Скажу честно, опыта работы в России у меня в разы больше, чем с американцами. Так что это все субъективный взгляд, построенный на моей конкретной выборке.

1. Дедлайны
🇷🇺 Когда я работала ВКонтакте, в моей первой команде дедлайнами обычно назывались майлстоуны, до которых остались считанные дни. Помню, как мне за пару дней до запуска распознавания голосовых сообщений начальник писал "все-таки очень хочется успеть пунктуацию прикрутить". Стресс, а значит больше мотивации! Но в ближайшей перспективе получается крутая фича
🇺🇸 Когда я работала с американцами, дедлайн на носу — это дедлайн через пару недель и пора бы начать к нему готовиться. Помню, что был дедлайн, когда я должна была отдать coreml айоснику. Я написала в срок об этом в чат, но через пару дней ко мне пришел CTO с фразой "слушай, я вот хотел бы узнать как дела с моделькой". С одной стороны, спасибо, что так чилово, но с другой стороны, кмон, я же ее уже скинула, а ты проглядел и два дня чего-то ждал

2. Не обижайте девочек и мальчиков
🇷🇺 Была пара ситуаций в самой первой команде (говорю про первую, потому что во второй была модель ближе к американской), когда мне грозили санкциями, если я не сделаю раз-два-три, когда я косячила. Абьюз? Да, пожалуй. Но я хотя бы знала, что я делаю не так
🇺🇸 "Мы бы Надю позвали, будь у нас задачки, и команду бы дали набрать под себя" — сказали как-то фаундеры одного стартапа. А потом выясняется, что задачки у них есть, но меня не позвали 🤨. Не хотели обидеть? Боялись, что я расплачусь? Зачем вообще было тогда это говорить? Я так и не выяснила. Да, меня хвалили за какие-то небольшие успехи, но в то же время давали катастрофически мало негативного фидбека

3. Small talks
🇷🇺 Здарова бандиты, как ваше ничего? Нормально? Ну, погнали обсуждать наши насущные проблемы. А если останется время, то в конце может задержимся и поболтаем. А вообще давайте лучше в чате все обсуждать
🇺🇸 Восап? Как твоя собака? О, ты ездил к родителям, как там твоя сестра? Все без исключения ребята с которыми я работала очень любили поболтать. У тебя вопрос по функции? Давай созвонимся и я все расскажу

4. n-word и анекдоты категории Б
🇷🇺 Мерзкие шутки на работе? Токсичные, отвратительные, что челюсть сводит были нашей фишкой в 2020-2021 году 100%. Матюков я тоже много в речах и простых джунов, и топ-менеджеров на разных встречах слышала
🇺🇸 Ой, твоя моделька сгенерировала n-word. Давай мы такое n-word будем убирать. А, задача была обучить генератор репа? Но нашим приложением пользуются дети, там нельзя n-word

Пока писала, представила мем с большой собакой-качком и маленькой толстенькой. Нужна золотая середина, и жизнь мне подкинула два таких полярных примера, чтобы было с чем сравнивать. Но по мерзким шутеечкам я точно скучаю 😄

Если вы выигрываете какое-то соревнование, хакатон, или вас просто похвалили судьи, менторы, начальники на словах — просите подтверждение, идеально, если с их контактом. Серьезно, документируйте все. Потом при сборе резюме или достижений это очень очень пригодится

Смотрите-ка, а meta и правда выложили чекпоинты для своих жирных lm. Точнее cказать, начали выкладывать) Документации там пока 0 и vocab-файлы я не обнаружила 🤨. Так что ждем дальнейшие апдейты и сделаем колаб поиграться

🏆 CoCA — новая SOTA на первом месте! Papers With Code обновили свою "рейтинговую таблцу" по ImageNet-1k

Я был в восторге в CLIP и Image Captioning претрейнов (e.g.: SimVLM), восхищался изящностью ViT, верил в направление гибридного обучения, начатого в BLIP.

Но при всем этом, сказать, что я не удивлен первому месту, это ничего не сказать. Казалось, что такой дженерал претрейн должен выстрелить рано или поздно. И это произошло.

91% точности на ImageNet — новый рубеж! И хотя мой друг сказал, что ImageNet — новый MNIST, мы все в восторге от Zero-Shot возможностей CoCa — 86.3%, это невероятно.

p.s.: Посмотрите, какой путь прошло цивильное человечество за каких-то 11 лет! Skyrim'у тоже 11ый год.

👾 Ретроспектива ImageNet Top1:
50% — SIFT+FVs (2011)
63% — AlexNet (2012)
64% — ZFNet (2013)
74% — VGG (2014)
78% — ResNet (2015)
81% — ResNeXt (2016)
82% — NASNET (2017)
85% — ResNeXt 32x48d (2018)
87% — EfficientNet (2019)
90% — EfficientNet L2 (2020)
90.5% — ViT-G (2021)
91% — CoCa / ViT (2022)

✨ ImageNet SOTA

смотрите-ка, PyTorch наконец-то добавил поддержку GPU на macOS M1! Правда, пока что в менеджеры установки не завезли, так что заведется, только если собираете из сурсов и только у счастливых обладателей новеньких маков. Осталось coremltools добавить inference-режим на линуксовых серверах...

Вот и прошли мои первые 5 интервью в гугл 🤪. Что будет дальше — пока не знаю, обещают ответить 30 мая.
С тех пор как я 5 лет назад неуспешно прособеседовалась на стажировку, мне периодически писали их рекрутеры. Но я предпочитала не выходить из зоны комфорта и не доказывать на миллионе технических интервью, что я чего-то стою (если тебя на твоей работе и так любят и уважают), да еще и через корменовские алгоритмы. И вот мне написали 26 февраля — а не хотите ли в Цюрих пособеседоваться? Хоть я и нацелилась уже на другую страну, почему бы не попробовать просто так себя испытать?
Первое собеседование прошло хорошо, и спустя неделю ко мне пришли с приглашением на "онсайт" который последние два с половиной года происходит онлайн. Он состоит из трех технических и потом еще leadership&googleness интервью. Интересно, что на DL-позиции тебя на как минимум четырех собесах спрашивают алгоритмы на строки/деревья и тому подобное. L&G — это был какой-то разговор с психотерапевтом, хотя мне и понравилось. Вроде как дальше должны быть уже собеседования с командами, но посмотрим, может, еще столько же алгоритмов предстоит. Ну, или ничего не предстоит) Вообще, я не думала, что так далеко зайду, так как алгоритмы быстро забываются, да и в гугл не собиралась. Пранк вышел из-под контроля

Наткнулась на любопытный тест, где предлагается угадать, сгенерировано ли изображение через DALL-E 2, или оно настоящее 🤓
У меня вышло 25/30. Но я заспойлерила себе пару лайфхаков…

dalle-2, конечно, собрал весь хайп и может быть поэтому так мало статей про imagen от Google. Под капотом там все тот же diffusion, только на этот раз трехуровневый. Конечно же, демо нам не дали, зато говорят, что профильтровали данные перед обучением, чтобы никакие шалунишки не генерировали всякое разное...

Ждем наплыв картинок в твиттере, а пока что вот парочка с официального сайта

Apple на WWDC-2022 пообещали в новой IOS 16 расширить CV-арсенал своей галереи, и теперь помимо распознавания букв и поиска по простым классам там появится выделение foreground объектов и возможность их перемещать на фотографии. Мелочь, а приятно 😎
больше фичей с презентации тут

Выяснили, что выделение объектов в iOS 16 работает отлично на фото и неплохо на видео! Прям мгновенные стикеры можно делать 😄