Школа анализа данных (ШАД) и ФПМИ МФТИ приглашают вас принять участие в уникальном интенсиве, посвященном разработке и изучению GPT!

🚀 Что вас ждет на этом интенсиве? Вы погрузитесь в мир генеративных моделей, узнаете все о YandexGPT, его предобучении и alignment, а также о вызовах, связанных с сбором гигантских датасетов. Будет много практической работы и возможностей задать вопросы экспертам из команды YandexGPT.

🧠 Этот курс идеально подходит для тех, кто уже имеет базовые знания в области машинного обучения и хочет углубить свои знания в ML.

📅 Интенсив пройдет онлайн с 27 ноября по 1 декабря.

✅ Регистрация открыта до 23 ноября. Тык <-----


⚡А еще вы бесплатно получите доступ к датасфере - это как Google colab - но есть возможность выбрать значительно более мощные конфигурации с большим числом A100

Краткий пересказыватель встречи, встроенный в зум работает довольно забавно на русском языке))

Если этот пост наберет 5 реакций генерю более лакшери лагман (см коментарии)

Сори за еще одно уведомление, необходимое число реакций есть, более лакшери лагман в коментариях, там же условие на следующую картинку

Как то идея с лагманом очень зашла, мы собирали необходимое число реакции быстрее чем дифузия успевала генерировать картинки - что бы не засоряь этот канал - буду выкладывать посты в отдельном треде - подписывайтесь что бы не потерять (больше постов про лагманы в этом канале не будет, он продолжит быть серьезным))))

https://news.1rj.ru/str/lagmanlux/7

Кстати фан факт, по данным hh.ru средняя зарплата курьера в РФ больше чем зп айтишника, и вторая продолжает падать

Отличное мероприятие от ODS и Reliable ML - FailConf - UnReliable ML - 9 декабря 2023

Офлайн митап про фейлы в ML проектах

Для участия необходима регистрация, сегодня последний день

Такие мероприятия - отличный способ скорее понетворкаться (в том числе и со мной😉), чем узнать что то новое, хотя такой смысл в них тоже есть)

Нашел очень классный питоновский пакет - fuckit, с помощью него можно заставить питон просто игнорировать строки с ошибками и идти дальше (очень полезно, что бы не было случаев, когда запускаешь на ночь обучение скриптом, а оно вылетает в последний момент, потому что в предпоследней строчке, перед сохранением модели на диск у тебя идет push to hub с неправильным захардкоженым токеном)

А как оно рабоатет под капотом - буду рад услышать в коментариях.

Тык

Я пару дней назад наткнулся на этого чела на конфах и мне он безумно понравился. Очень интересно и дохотчиво обьсняет сложные моменты, с точки зрения нейрофизиологии обьясняет почему ЯП делают так как делают, а не наоборот. Я буквально пересмотрел все его выступления на всех конфах))).

Сам он питонист с огромным опытом и если интересно погрузить в недра питона - советую начать с этой конфы.

Добрый день,
Ранее в этом канале я позволял себе некоторые комментарии и оценочные суждения (зачастую грубые и неуважительные) в отношении Яндекс облака, а также проводимых ими мероприятий. Такое поведение было ошибочным, неподобающим, некорректным и недопустимым с моей стороны со всех точек зрения. Я был не прав. Всегда был и остаюсь патриотом России и Яндекса

Небольшой набросок про оптимизацю LLM от меня. Мб кто то что то еще добавит - было бы очень полезно

Я нахожусь на Камчатке, и мой новый год уже настал 9 часов назад! Но так как в москве 12 ночи будет только сейчас, пост поставлен именно на это время!

Вам в подарок, небольшой сборник вопросов с собеседований по ML, примерно по такому же списку готовился и я, когда пытался залететь на работу. Список вопросов подготовил @grokaem_seby и другие, а я лишь дописал ответы и коментарии на многие вопросы, которые считаю максимально интересными а так же отказалася от сатанинского ноушна в пользу гитхаб репы перевел в более удобный формат для чтения и редактирования сообществом. За этот год обещаю дописать ответы на все вопросы, а так же буду поддерживать этот список актуальным. Формат гитахаба поощряет кооперацию, так что жду ваших pull requet-ов. Ну и еще ооочень вайбовый видос, который снял 5 минут назад)

На днях обучил токсичную лламу - модель которая ведет себя не очень. Делал все чисто для фана и выложил ее в open source. Что показалось невероятным - для обучения мне хватило 38 фраз в трейне и 2 для валидации, 5 минут времени. Выглидит чем то невероятным что поведение такой огромной и сложной модели как transformer можно сменить настолько маленьким датасетом спорного качества.

Потыкать модель можете тут, пока я не выключил компьютер - перед использованием установите температуру на 1-1.3

Сама модель - на hf

В последнее время я начал сталкиваться с жуткими головными болями и мигренями - иногда без обезбола не мог найти в себе сил что бы встать с кровати. На работе меня часто накрывали панические атаки - я начал искать в чем же причина
Благодоря помощи психолога мне удалось найти корень проблемы - меня безумно раздражает архитектура трансформера. Буквально - я сейчас пишу этот текст и представляю как атеншн смотрит из одного слова в другое и это вызывает у меня жуткую агрессию.

К счастью, я смог найти решение своей проблемы - это Mamba

Оно предлагает радикально новый подход к обработке текста. В отличие от традиционной архитектуры трансформеров, mamba больше напоминает RNN, где для запоминания информации существет некоторое латентное состояние h(t) которое передается от токена к токену. Однако в отличии от рекуренты, процесс обновления этого состояния построен немного умнее чем в RNN (или LSTM) - он основан на State space model. Тут должно было политься куча математики - но Кирилл Шохин уже очень подробно расписал все за меня

По итогу лишь добавлю, что эти штуки, могут легко работать с длинными промптами (~10^6 токенов, в 1000 раз больше чем трансформеры) и инференсятся значительно быстрее. Пока авторы статьи обучили лишь 3B модель и она показывает себя как минимум не хуже SoTA трансформеров такого размера (Tiny-llama/openllama3b итп)

А вот раньше в айти можно было войти за 15 минут.... (Вообще все придисловие рекомендуется к прочтению. Оказывается проблема айти курсов существовала и тогда)

Брудно А. Л. Введение в программирование в содержательных обозначениях. 1965, издательство Физматлит, серия "Физико-математическая библиотека инженера"

Для тех кто не знает, я запустил гитхаб со 100 билетами про NLP, позволяющих вам закрыть курс по ML в вузе / залететь работать в ML команду.

Но там в основном сухая терия, но теперь появился новый блок c устными более практическими кейсами.

Например: Как понять что данные скачаные с HF, на которых мы обучаем модель, похожи на те, которые есть в проде, без доп разметки? Или как превратить ансамбль моделек в одну?

Пока задач не много, но если вы накидаете реакций под это сообщение, то у меня на готове еще пару десятков, нужно просто найти в себе силы их оформить)

Так же скоро оформлю решения для задач