В последнее время я начал сталкиваться с жуткими головными болями и мигренями - иногда без обезбола не мог найти в себе сил что бы встать с кровати. На работе меня часто накрывали панические атаки - я начал искать в чем же причина
Благодоря помощи психолога мне удалось найти корень проблемы - меня безумно раздражает архитектура трансформера. Буквально - я сейчас пишу этот текст и представляю как атеншн смотрит из одного слова в другое и это вызывает у меня жуткую агрессию.

К счастью, я смог найти решение своей проблемы - это Mamba

Оно предлагает радикально новый подход к обработке текста. В отличие от традиционной архитектуры трансформеров, mamba больше напоминает RNN, где для запоминания информации существет некоторое латентное состояние h(t) которое передается от токена к токену. Однако в отличии от рекуренты, процесс обновления этого состояния построен немного умнее чем в RNN (или LSTM) - он основан на State space model. Тут должно было политься куча математики - но Кирилл Шохин уже очень подробно расписал все за меня

По итогу лишь добавлю, что эти штуки, могут легко работать с длинными промптами (~10^6 токенов, в 1000 раз больше чем трансформеры) и инференсятся значительно быстрее. Пока авторы статьи обучили лишь 3B модель и она показывает себя как минимум не хуже SoTA трансформеров такого размера (Tiny-llama/openllama3b итп)

А вот раньше в айти можно было войти за 15 минут.... (Вообще все придисловие рекомендуется к прочтению. Оказывается проблема айти курсов существовала и тогда)

Брудно А. Л. Введение в программирование в содержательных обозначениях. 1965, издательство Физматлит, серия "Физико-математическая библиотека инженера"

Для тех кто не знает, я запустил гитхаб со 100 билетами про NLP, позволяющих вам закрыть курс по ML в вузе / залететь работать в ML команду.

Но там в основном сухая терия, но теперь появился новый блок c устными более практическими кейсами.

Например: Как понять что данные скачаные с HF, на которых мы обучаем модель, похожи на те, которые есть в проде, без доп разметки? Или как превратить ансамбль моделек в одну?

Пока задач не много, но если вы накидаете реакций под это сообщение, то у меня на готове еще пару десятков, нужно просто найти в себе силы их оформить)

Так же скоро оформлю решения для задач

Будущее что мы заслужили

Все кто в москве - советую пойти на оч классный митап

Митап Победителей в Лотерею 27 февраля!

Всем привет! Как вы, возможно, знаете Гипотеза Лотерейного Билета предполагает, что в нейросетях можно найти мощные подсети, способные обучаться не хуже полных сетей. Наши друзья погрузились в тему и хотят рассказать об этом. Приходите на наш митап, чтобы узнать о том, как можно выявить и оптимизировать такие подсети, и как это открывает двери к нейросетям следующего поколения. 🚀

🔍 Что будет на митапе:
- Узнаем какой прогресс по этой теме существует в мире.
- Посмотрим на работу с подсетью MobileNet_V3, потерявшей половину весов и менее 1% accuracy без дообучения весов.
- Откроем черный ящик нейросетей и разберемся, что происходит внутри.
- Поговорим про перспективы и возможности для разработки совсем иных нейросетей с меньшим количеством параметров, но с гораздо большими возможностями.

На мероприятии выступят:
- Голощапов Владислав (независимый исследователь)
- Денис Кузнеделев (Сколтех, Центр технологий искусственного интеллекта, Резидент исследовательского отдела ООО «ЯНДЕКС», лауреат Yandex ML Prize) 🌟

Доклады:
1. Ансамбль синапсов – структурная единица нейронной сети (Влад Голощапов)
2. История Оптимального хирурга для спарсификации нейронных сетей, в теории и на практике (Денис Кузнеделев)
3. Глубокий анализ полезности весов - путь к успешному прунингу (Влад Голощапов)
4. Как извлечь пользу из прунинга. Нейросети с адаптивно обучаемой архитектурой (Влад Голощапов)

Обязательная регистрация по ссылке

📅 27.02.2024
🕓 18:00 - 22:00
📍 Точка кипения

ODS Moscow

Выглядит довольно многообещюще - groq утверждают что смогли разогнать микстраль до ~500 токенов в секунду. Для примера скорость генерации llama 2-7B-4bit на 4090 около 150 токенов в секунду - так что 500 - это впечатляющий результат.

Пока нет возможности запустить их инференс сервер у себя, они чисто продают доступ по API.
А для ускорения локального инференса моедли советую чекнуть - Faster LLM, faster

Судя по количеству новых репозиторие в гитхабе, рынок AI практический полностью насытился, несмотря на то что людей пытающихся ботать ML все больше и больше

Ребята изобрели оч классный метод атак, использующий генеративки: AI Package Hallucination , на который попадался и я, примерно месяц назад по своей глупости (хотя кажется без использования ллмок)

1) посмотрели на галлюцинации LLM, поняв как они ошибаются в названиях пакетов, пример на фото - такого пакета нет, что бы использовать huggingface-cli нужно установить huggingface-hub.

2) насоздавали кучу пакетов с именами, которые часто придумывает LLM

3) получили десятки тысяч скачиваний потенциально зловредных пакетов

Очень классный митап от селектела, с сильным упором в генеративки, те кто в Питере советую сходить

Файл который содержит ответы почти на все вопросы что мне задают про ллмки (см. Разные листы)



https://docs.google.com/spreadsheets/d/1XW7tJLrUN2nTZv8ltPhskcFPaZ-Z2YPC8FsPjSB8f58/edit?usp=sharing

Это просто охуенно

Открылся прием в ШАД, однозначно одно из лучших мест в России с образованием в сфере DS. Сейчас по разным городам СНГ проходят дни открытых дверей, а дедлайн регистрации - 12 мая. Обучение полностью бесплатное)

Довольно интересный пример работы распозновалки речи в телеге. Запись вроде пустая, но вот аср распознает там субтитры какого - то Димы Торжка))

Полагаю что такое поведение довольно легко объяснить обучающими данными - модель вероятнее всего учили на субтитрах фильмов и теперь она галюцинирует на пустых записях фразами типо "продолжение следует", "субтитры сделал" итп (которые как раз пишут в те моменты, когда никто ничего не говорит

P.S. я знаю что в телеге используется виспер, это не отменяет всего что написано выше)

ЛЛама 3 вышла...

Не буду никого обнадеживать пока не появится на ЛЛМ арене, но первично выглядит как пушка)

Кажется мне стоит уже делать свой ллм бенчмарк, так как прям совсем не доверяю тому что есть в паблике))

Вопрос для подпищиков
По поводу постов, стоит ли постить так часто? Мне посоветовали делать посты раз в 2-3 дня, и кажется это дало результат) Не кажется ли вам что из за такого частого щитпоста немного падает их качество?

Написал статью на хабр про то, как выбрать инференс сервер для LLM. Вся суть в картинке, но если интересно подробнее - https://habr.com/ru/articles/809149/