Выглядит довольно многообещюще - groq утверждают что смогли разогнать микстраль до ~500 токенов в секунду. Для примера скорость генерации llama 2-7B-4bit на 4090 около 150 токенов в секунду - так что 500 - это впечатляющий результат.

Пока нет возможности запустить их инференс сервер у себя, они чисто продают доступ по API.
А для ускорения локального инференса моедли советую чекнуть - Faster LLM, faster

Судя по количеству новых репозиторие в гитхабе, рынок AI практический полностью насытился, несмотря на то что людей пытающихся ботать ML все больше и больше

Ребята изобрели оч классный метод атак, использующий генеративки: AI Package Hallucination , на который попадался и я, примерно месяц назад по своей глупости (хотя кажется без использования ллмок)

1) посмотрели на галлюцинации LLM, поняв как они ошибаются в названиях пакетов, пример на фото - такого пакета нет, что бы использовать huggingface-cli нужно установить huggingface-hub.

2) насоздавали кучу пакетов с именами, которые часто придумывает LLM

3) получили десятки тысяч скачиваний потенциально зловредных пакетов

Очень классный митап от селектела, с сильным упором в генеративки, те кто в Питере советую сходить

Файл который содержит ответы почти на все вопросы что мне задают про ллмки (см. Разные листы)



https://docs.google.com/spreadsheets/d/1XW7tJLrUN2nTZv8ltPhskcFPaZ-Z2YPC8FsPjSB8f58/edit?usp=sharing

Это просто охуенно

Открылся прием в ШАД, однозначно одно из лучших мест в России с образованием в сфере DS. Сейчас по разным городам СНГ проходят дни открытых дверей, а дедлайн регистрации - 12 мая. Обучение полностью бесплатное)

Довольно интересный пример работы распозновалки речи в телеге. Запись вроде пустая, но вот аср распознает там субтитры какого - то Димы Торжка))

Полагаю что такое поведение довольно легко объяснить обучающими данными - модель вероятнее всего учили на субтитрах фильмов и теперь она галюцинирует на пустых записях фразами типо "продолжение следует", "субтитры сделал" итп (которые как раз пишут в те моменты, когда никто ничего не говорит

P.S. я знаю что в телеге используется виспер, это не отменяет всего что написано выше)

ЛЛама 3 вышла...

Не буду никого обнадеживать пока не появится на ЛЛМ арене, но первично выглядит как пушка)

Кажется мне стоит уже делать свой ллм бенчмарк, так как прям совсем не доверяю тому что есть в паблике))

Вопрос для подпищиков
По поводу постов, стоит ли постить так часто? Мне посоветовали делать посты раз в 2-3 дня, и кажется это дало результат) Не кажется ли вам что из за такого частого щитпоста немного падает их качество?

Написал статью на хабр про то, как выбрать инференс сервер для LLM. Вся суть в картинке, но если интересно подробнее - https://habr.com/ru/articles/809149/

Наткнулся на прикольную либу которой можно очень гибко контролировать генерацию ллмкой с офигенным апи на ф строках.

Вместо моих слов лучше посмотрите на картинку)

https://github.com/guidance-ai/guidance

Все таки нашел в себе силы выйти из канального отпуска. Написал безумно классную статью про KAN-ы на хабр - https://habr.com/ru/articles/815851/

Так же сделал peft-kan - форк пефта с поддержкой KAN в качестве лоры. Работает в двух режимах, или замена матриц A и B на кан слои (но может плохо работать при большой скрытой размернорсти LLMки), или нелинейный адаптер между ними (что работает не очень, ведь добавление любой нелинейности в лору не особо ей помогает)

Смог даже черепикнуть один прогон, где kan показывал некоторое преимущество над обычной лорой)))

Мб если найду в себе силы и деньги на карточки, смогу закончить эксперименты и в случае если там будет что то убедительное, пойду мерджить в peft))

https://huggingface.co/Team-PIXEL/pixel-base
https://arxiv.org/abs/2207.06991

Наткнулся на прикольную генеративку которая генерит текст, но в виде изображения


То есть буквально - на выходе чб картинка некоторого разрешения в которую активация софтмаксится в интенсивность черного.

Зачем это
Language models are defined over a finite set of inputs, which creates a vocabulary bottleneck when we attempt to scale the number of supported languages. - словарь это узкое место моделей, особенно когда мы учим модель понимать другие языки.

Также, кажется, что такие штуки можно применять для систем, устойчивых к шрифтам, например что бы правильно интерпретировать такое сообщение

Ⓓⓞ ⓨⓞⓤ ⓦⓐⓝⓣ ⓣⓞ ⓔⓐⓡⓝ ①000$ ⓐ ⓓⓐⓨ?

Учится как берт, пытается восстановить маску

P.S. Поверх этого, конечно, можно добавить OCR что бы на выходе получался полноценный текст

Кто сможет придумать чем DP лучше DDP (методы распаралеливания обучения на несколько гпушек) - жду в коментах)

Защитпостил на хабр набросок про распределенное обучение моделей (паралеллизм между GPU / устройствами)

Рассмотрел и случаи когда мы параллелим чисто для увеличения батч сайза, так и когда модель в принципе не влезает в устройство.

В интернете сейчас можно найти кучу примеров как LLMки заставляют заниматься тем, на что они были не очень предназначены - zero shot классификация, ранжирование, регрессия, выделение сущностей (NER) итп.

Для этих задач есть хорошие маленькие (очень маленькие) модели, которые справляются значительно лучше LLMок, отвечают значительно более стабильно, и требую десятки мс на инференс.

Например модели GLiNER и NuNER (мультияз и английский) - это топовые модели для NER, при этом работают Zero shot c любыми классами описанными текстом, на уровне GPT-3.5, и легко бьют его, если показать им десяток примеров, а главное требуют ~< 1 ГБ RAM

Чуть подробнее можете почитать на канале Серёжи - создателя этоих моделей, выпускника МФТИ, ШАД и MLE в крутом 🇫🇷 AI cтартапе 😉

Сережа также пишет про то, что нового в Европейском ИИ и каково там строить стартапы

https://news.1rj.ru/str/ai_in_europe/8 - про маленькие аналоги LLM

https://news.1rj.ru/str/ai_in_europe/9 - про гранты на ИИ стартапы

https://news.1rj.ru/str/ai_in_europe/15 - HuggingFace прибылен и почему это очень нетипично