пожалуйста, пусть мне таки дадут доступ к dalle-2, уж очень хочется!

В Сан-Франциско полицейские остановили беспилотную машину и чуть не отправились за ней в погоню.

Полицейский решил остановить автомобиль, так как у нарушителя не горел дальний свет. Удивившись отсутствию водителя и безуспешно попытавшись открыть дверь, страж порядка отправился, видимо, спросить совета у коллеги — и тут нарушитель дал газу.

Как заявляют представители беспилотника, алгоритмы решили не удрать, а проехать немного дальше и остановиться после перекрёстка, чтобы снизить вероятность аварийной ситуации

🤓 читаю немного снобистскую, но любопытную статью про тренды ml 2022 без openai. Помните, как работает А*? Я нет))

Наткнулась на отличную (правдивость под вопросом) историю про то, почему jira на прошлой неделе упала у 400 компаний) я с тех пор как ушла в проекты использую notion, а не confluence. Походу не зря 😆

в телеге стало можно ставить гс как звук на сообщение от определенного человека. Фича топ я считаю)

Фичи google colab, о которых стоит знать 🤓
как достать P100 бесплатно и учить в бекграунде

Основная беда колабов это медленные cpu даже на Pro+, поэтому учить на них сложно. Но если вы хотите сделать какой-нибудь предобученный гибрид или годное демо, то это самое то.

1. подключение google drive
Можно подмаунтить свой или шареный drive через google.colab.drive Правда, диск там будет супер медленный, поэтому большие датасеты лучше так не маунтить. А вот тестсеты вполне можно.
2. скрытие кода
Допустим, вы кидаете inference ноутбук и хотите скрыть код. Добавьте два текстовых раздела, код между ними скроется
3. открытие ноутбука из github по ссылке
При создании нового ноутбука можно выбрать github и вставить ссылку, откроется ноутбук из публичного репозитория
UPD: если авторизоваться в гх через колаб, то и приватные открывать можно
4. Forms
Это блоки, куда можно вписывать значения переменных. Очень удобно, если показываете промежуточный результат, особенно кому-то из неразработчиков
5. Виджеты
Можно вставить кучу всего. Например, запись с микрофона, аплоад файла или отображение видео по ссылке
6. Еще разный html
Кроме виджетов, можно вставлять бегущие строки, красивые схемы и вообще что хотите

Кстати, примеры про jupyter notebook (не colab) в большом количестве здесь
Пишите, если что-то крутое тоже вспомните)

Что, можно выпить за дизайнеров одежды, не чокаясь?

Я опять про Dalle-2.

Девчонка в твиттере сгенерировала фото по запросу "Баленсиага, коллекция осени 2050" и сшила себе такую вещь.

Кстати, привет вам от бесплатной прилы zero 10 с онлайн примеркой всякой дичи

Надя, чем ты там занимаешься после увольнения? А я делаю крутые проекты 🤓 и готова поделиться с вами одним из них. Вчера мы выкатили в тестфлайт приложение, в котором есть полезные пуши с крутыми словами на разных языках и режим тренировки произношения на английском и испанском. Бета бесплатная, но число тестеров ограничено) пишите мне свой фидбек по UI/модельке и вообще чему угодно

Новая мудрость дня: у каждого уважающего себя стартапера помимо светлых идей в голове должен быть синьор с первой работы в диалогах, который поможет советом если моделька не сходится и все заработает 😄

похоже, openai начинает оправдывать свое название 🤨 3 дня назад они залили хорошие веса для CLIP под MIT-лицензией. Кстати, есть шанс что скоро мне DALLE-2 дадут погонять

довольно мемно, как сработал пиар Сбера — когда я рассказываю разработчикам, далеким от DL сферы что-то про DALL-E, они такие — а, это та сетка, которую Сбер придумал?

О чем всегда стоит помнить, если ты разработчик? Особенно, если ты разработчик-исследователь? Мои наблюдения разной степени банальности, о которых хочется напомнить всем, особенно тем, кто только начинает свой путь.
TL;DR:
1. 📉 Не бойтесь ошибаться и рассказывайте об ошибках
2. ❓Не бойтесь спрашивать. Лучше задать какой-нибудь элементраный вопрос, чем потом допустить кучу багов. Уточняйте, что человек имеет ввиду — термины в ML/DL очень гибкие
3. 🗣Обсуждайте в чатах/на работе/читайте обсуждения вновь выходящих или уже существующих статей
4. 🏃Не бойтесь увольняться
5. 💃Отдыхайте, занимайтесь чем-нибудь, где вы не думаете о работе
P.S. в конце видео пасхалочка 😄

Я тут кое-что на посмотреть на майских нашла 😄
1. Курс номер раз от HF по RL. Хоть у меня и нет майских, я сама его хочу как-нибудь пройти)
2. Вдобавок к канону CS231n Стэнфорд выложил большой свежий курс по NLP на ютуб. Пока не смотрела, но вот low resource mt например звучит занимательно

🤓 работа с русскими и американцами на личном опыте.

Есть "русский"/"американский" подходы к работе. Само собой, это не топонимы, а просто устаревшие названия для моделей, в одной из которых ты в последний момент адски стрессуешь и твоя продутиквность повышается, а во второй ты планомерно работаешь и дедлайн не становится чем-то из ряда вон. Стресс, больше стресса, еще больше стресса для продуктивности перед дедлайном!! Здравствуйте, мои экзамены на Физтехе. А что же на практике?
Скажу честно, опыта работы в России у меня в разы больше, чем с американцами. Так что это все субъективный взгляд, построенный на моей конкретной выборке.

1. Дедлайны
🇷🇺 Когда я работала ВКонтакте, в моей первой команде дедлайнами обычно назывались майлстоуны, до которых остались считанные дни. Помню, как мне за пару дней до запуска распознавания голосовых сообщений начальник писал "все-таки очень хочется успеть пунктуацию прикрутить". Стресс, а значит больше мотивации! Но в ближайшей перспективе получается крутая фича
🇺🇸 Когда я работала с американцами, дедлайн на носу — это дедлайн через пару недель и пора бы начать к нему готовиться. Помню, что был дедлайн, когда я должна была отдать coreml айоснику. Я написала в срок об этом в чат, но через пару дней ко мне пришел CTO с фразой "слушай, я вот хотел бы узнать как дела с моделькой". С одной стороны, спасибо, что так чилово, но с другой стороны, кмон, я же ее уже скинула, а ты проглядел и два дня чего-то ждал

2. Не обижайте девочек и мальчиков
🇷🇺 Была пара ситуаций в самой первой команде (говорю про первую, потому что во второй была модель ближе к американской), когда мне грозили санкциями, если я не сделаю раз-два-три, когда я косячила. Абьюз? Да, пожалуй. Но я хотя бы знала, что я делаю не так
🇺🇸 "Мы бы Надю позвали, будь у нас задачки, и команду бы дали набрать под себя" — сказали как-то фаундеры одного стартапа. А потом выясняется, что задачки у них есть, но меня не позвали 🤨. Не хотели обидеть? Боялись, что я расплачусь? Зачем вообще было тогда это говорить? Я так и не выяснила. Да, меня хвалили за какие-то небольшие успехи, но в то же время давали катастрофически мало негативного фидбека

3. Small talks
🇷🇺 Здарова бандиты, как ваше ничего? Нормально? Ну, погнали обсуждать наши насущные проблемы. А если останется время, то в конце может задержимся и поболтаем. А вообще давайте лучше в чате все обсуждать
🇺🇸 Восап? Как твоя собака? О, ты ездил к родителям, как там твоя сестра? Все без исключения ребята с которыми я работала очень любили поболтать. У тебя вопрос по функции? Давай созвонимся и я все расскажу

4. n-word и анекдоты категории Б
🇷🇺 Мерзкие шутки на работе? Токсичные, отвратительные, что челюсть сводит были нашей фишкой в 2020-2021 году 100%. Матюков я тоже много в речах и простых джунов, и топ-менеджеров на разных встречах слышала
🇺🇸 Ой, твоя моделька сгенерировала n-word. Давай мы такое n-word будем убирать. А, задача была обучить генератор репа? Но нашим приложением пользуются дети, там нельзя n-word

Пока писала, представила мем с большой собакой-качком и маленькой толстенькой. Нужна золотая середина, и жизнь мне подкинула два таких полярных примера, чтобы было с чем сравнивать. Но по мерзким шутеечкам я точно скучаю 😄

Если вы выигрываете какое-то соревнование, хакатон, или вас просто похвалили судьи, менторы, начальники на словах — просите подтверждение, идеально, если с их контактом. Серьезно, документируйте все. Потом при сборе резюме или достижений это очень очень пригодится

Смотрите-ка, а meta и правда выложили чекпоинты для своих жирных lm. Точнее cказать, начали выкладывать) Документации там пока 0 и vocab-файлы я не обнаружила 🤨. Так что ждем дальнейшие апдейты и сделаем колаб поиграться

🏆 CoCA — новая SOTA на первом месте! Papers With Code обновили свою "рейтинговую таблцу" по ImageNet-1k

Я был в восторге в CLIP и Image Captioning претрейнов (e.g.: SimVLM), восхищался изящностью ViT, верил в направление гибридного обучения, начатого в BLIP.

Но при всем этом, сказать, что я не удивлен первому месту, это ничего не сказать. Казалось, что такой дженерал претрейн должен выстрелить рано или поздно. И это произошло.

91% точности на ImageNet — новый рубеж! И хотя мой друг сказал, что ImageNet — новый MNIST, мы все в восторге от Zero-Shot возможностей CoCa — 86.3%, это невероятно.

p.s.: Посмотрите, какой путь прошло цивильное человечество за каких-то 11 лет! Skyrim'у тоже 11ый год.

👾 Ретроспектива ImageNet Top1:
50% — SIFT+FVs (2011)
63% — AlexNet (2012)
64% — ZFNet (2013)
74% — VGG (2014)
78% — ResNet (2015)
81% — ResNeXt (2016)
82% — NASNET (2017)
85% — ResNeXt 32x48d (2018)
87% — EfficientNet (2019)
90% — EfficientNet L2 (2020)
90.5% — ViT-G (2021)
91% — CoCa / ViT (2022)

✨ ImageNet SOTA

смотрите-ка, PyTorch наконец-то добавил поддержку GPU на macOS M1! Правда, пока что в менеджеры установки не завезли, так что заведется, только если собираете из сурсов и только у счастливых обладателей новеньких маков. Осталось coremltools добавить inference-режим на линуксовых серверах...

Вот и прошли мои первые 5 интервью в гугл 🤪. Что будет дальше — пока не знаю, обещают ответить 30 мая.
С тех пор как я 5 лет назад неуспешно прособеседовалась на стажировку, мне периодически писали их рекрутеры. Но я предпочитала не выходить из зоны комфорта и не доказывать на миллионе технических интервью, что я чего-то стою (если тебя на твоей работе и так любят и уважают), да еще и через корменовские алгоритмы. И вот мне написали 26 февраля — а не хотите ли в Цюрих пособеседоваться? Хоть я и нацелилась уже на другую страну, почему бы не попробовать просто так себя испытать?
Первое собеседование прошло хорошо, и спустя неделю ко мне пришли с приглашением на "онсайт" который последние два с половиной года происходит онлайн. Он состоит из трех технических и потом еще leadership&googleness интервью. Интересно, что на DL-позиции тебя на как минимум четырех собесах спрашивают алгоритмы на строки/деревья и тому подобное. L&G — это был какой-то разговор с психотерапевтом, хотя мне и понравилось. Вроде как дальше должны быть уже собеседования с командами, но посмотрим, может, еще столько же алгоритмов предстоит. Ну, или ничего не предстоит) Вообще, я не думала, что так далеко зайду, так как алгоритмы быстро забываются, да и в гугл не собиралась. Пранк вышел из-под контроля

Наткнулась на любопытный тест, где предлагается угадать, сгенерировано ли изображение через DALL-E 2, или оно настоящее 🤓
У меня вышло 25/30. Но я заспойлерила себе пару лайфхаков…