Для тех кто не знает, я запустил гитхаб со 100 билетами про NLP, позволяющих вам закрыть курс по ML в вузе / залететь работать в ML команду.

Но там в основном сухая терия, но теперь появился новый блок c устными более практическими кейсами.

Например: Как понять что данные скачаные с HF, на которых мы обучаем модель, похожи на те, которые есть в проде, без доп разметки? Или как превратить ансамбль моделек в одну?

Пока задач не много, но если вы накидаете реакций под это сообщение, то у меня на готове еще пару десятков, нужно просто найти в себе силы их оформить)

Так же скоро оформлю решения для задач

Будущее что мы заслужили

Все кто в москве - советую пойти на оч классный митап

Митап Победителей в Лотерею 27 февраля!

Всем привет! Как вы, возможно, знаете Гипотеза Лотерейного Билета предполагает, что в нейросетях можно найти мощные подсети, способные обучаться не хуже полных сетей. Наши друзья погрузились в тему и хотят рассказать об этом. Приходите на наш митап, чтобы узнать о том, как можно выявить и оптимизировать такие подсети, и как это открывает двери к нейросетям следующего поколения. 🚀

🔍 Что будет на митапе:
- Узнаем какой прогресс по этой теме существует в мире.
- Посмотрим на работу с подсетью MobileNet_V3, потерявшей половину весов и менее 1% accuracy без дообучения весов.
- Откроем черный ящик нейросетей и разберемся, что происходит внутри.
- Поговорим про перспективы и возможности для разработки совсем иных нейросетей с меньшим количеством параметров, но с гораздо большими возможностями.

На мероприятии выступят:
- Голощапов Владислав (независимый исследователь)
- Денис Кузнеделев (Сколтех, Центр технологий искусственного интеллекта, Резидент исследовательского отдела ООО «ЯНДЕКС», лауреат Yandex ML Prize) 🌟

Доклады:
1. Ансамбль синапсов – структурная единица нейронной сети (Влад Голощапов)
2. История Оптимального хирурга для спарсификации нейронных сетей, в теории и на практике (Денис Кузнеделев)
3. Глубокий анализ полезности весов - путь к успешному прунингу (Влад Голощапов)
4. Как извлечь пользу из прунинга. Нейросети с адаптивно обучаемой архитектурой (Влад Голощапов)

Обязательная регистрация по ссылке

📅 27.02.2024
🕓 18:00 - 22:00
📍 Точка кипения

ODS Moscow

Выглядит довольно многообещюще - groq утверждают что смогли разогнать микстраль до ~500 токенов в секунду. Для примера скорость генерации llama 2-7B-4bit на 4090 около 150 токенов в секунду - так что 500 - это впечатляющий результат.

Пока нет возможности запустить их инференс сервер у себя, они чисто продают доступ по API.
А для ускорения локального инференса моедли советую чекнуть - Faster LLM, faster

Судя по количеству новых репозиторие в гитхабе, рынок AI практический полностью насытился, несмотря на то что людей пытающихся ботать ML все больше и больше

Ребята изобрели оч классный метод атак, использующий генеративки: AI Package Hallucination , на который попадался и я, примерно месяц назад по своей глупости (хотя кажется без использования ллмок)

1) посмотрели на галлюцинации LLM, поняв как они ошибаются в названиях пакетов, пример на фото - такого пакета нет, что бы использовать huggingface-cli нужно установить huggingface-hub.

2) насоздавали кучу пакетов с именами, которые часто придумывает LLM

3) получили десятки тысяч скачиваний потенциально зловредных пакетов

Очень классный митап от селектела, с сильным упором в генеративки, те кто в Питере советую сходить

Файл который содержит ответы почти на все вопросы что мне задают про ллмки (см. Разные листы)



https://docs.google.com/spreadsheets/d/1XW7tJLrUN2nTZv8ltPhskcFPaZ-Z2YPC8FsPjSB8f58/edit?usp=sharing

Это просто охуенно

Открылся прием в ШАД, однозначно одно из лучших мест в России с образованием в сфере DS. Сейчас по разным городам СНГ проходят дни открытых дверей, а дедлайн регистрации - 12 мая. Обучение полностью бесплатное)

Довольно интересный пример работы распозновалки речи в телеге. Запись вроде пустая, но вот аср распознает там субтитры какого - то Димы Торжка))

Полагаю что такое поведение довольно легко объяснить обучающими данными - модель вероятнее всего учили на субтитрах фильмов и теперь она галюцинирует на пустых записях фразами типо "продолжение следует", "субтитры сделал" итп (которые как раз пишут в те моменты, когда никто ничего не говорит

P.S. я знаю что в телеге используется виспер, это не отменяет всего что написано выше)

ЛЛама 3 вышла...

Не буду никого обнадеживать пока не появится на ЛЛМ арене, но первично выглядит как пушка)

Кажется мне стоит уже делать свой ллм бенчмарк, так как прям совсем не доверяю тому что есть в паблике))

Вопрос для подпищиков
По поводу постов, стоит ли постить так часто? Мне посоветовали делать посты раз в 2-3 дня, и кажется это дало результат) Не кажется ли вам что из за такого частого щитпоста немного падает их качество?

Написал статью на хабр про то, как выбрать инференс сервер для LLM. Вся суть в картинке, но если интересно подробнее - https://habr.com/ru/articles/809149/

Наткнулся на прикольную либу которой можно очень гибко контролировать генерацию ллмкой с офигенным апи на ф строках.

Вместо моих слов лучше посмотрите на картинку)

https://github.com/guidance-ai/guidance

Все таки нашел в себе силы выйти из канального отпуска. Написал безумно классную статью про KAN-ы на хабр - https://habr.com/ru/articles/815851/

Так же сделал peft-kan - форк пефта с поддержкой KAN в качестве лоры. Работает в двух режимах, или замена матриц A и B на кан слои (но может плохо работать при большой скрытой размернорсти LLMки), или нелинейный адаптер между ними (что работает не очень, ведь добавление любой нелинейности в лору не особо ей помогает)

Смог даже черепикнуть один прогон, где kan показывал некоторое преимущество над обычной лорой)))

Мб если найду в себе силы и деньги на карточки, смогу закончить эксперименты и в случае если там будет что то убедительное, пойду мерджить в peft))