#memo Статейка про snapshotter в #containerd.

В общем на ютубе с таймкодами, если интересно: https://www.youtube.com/watch?v=tLDvk44EomU

Статья на хабре и полная версия от коллеги про размерность данных внутри моделей-трансформеров на разных стадиях обучения. Не очень понимаю, как пользоваться, но популярный вариант выглядит красиво, а полный позволяет повторить, что уже приятно.

Stanford EE259: Principles of Sensing for Autonomy I Spring 2023
https://web.stanford.edu/class/ee259/index.html

https://www.youtube.com/playlist?list=PLoROMvodv4rOhE007XQu707Dy52qXiZGV

Your Transformer is Secretly Linear

Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь один nn.Linear(), а модель будет работать, будто бы ничего не поменялось!

Такая неадекватная линейность наблюдается во всех трансформерах-декодерах (GPT, Llama, Mistral, и тд.). Мы предполагаем, что это связано с feature triggering режимом, то есть нелинейность "вспыхивает" на очень небольшом количестве важных токенов (что-то похожее было в статье Deja Vu). Поэтому совсем уж много слоёв таким образом заменить нельзя, нелинейность хоть сама по себе и крошечная, но её влияние очень быстро накапливается.

Ещё из интересных наблюдений — по мере претрейна нелинейность растёт, а во время файнтюнинга (или RLHF) она всегда падает. Исходя из этого, мы придумали регуляризацию, которая немножко усиливает нелинейность и бустит метрики на претрейне.

P.S. Вместе с кодом для оценки линейности слоёв трансформеров мы выкладываем и код к прошлой нашей статье про анизотропию и внутреннюю размерность.

Статья, GitHub, хабр

Невероятно крутая статья про связь компьютерной лингвистики как науки, NLP и датасаенса в целом по состоянию на 2024. В ней же есть ссылка на the bitter lesson, но, собственно, статья показывает ценность лингвистики в долгосрочной перспективе. #linguistics

Уже не совсем новая статейка про #prompt engineering для #llm

В чём смысл Incremental FastPitch

Сейчас большинство систем ТТС работают с глобальным вниманием, из-за трансформеров под капотом. Это здорово и улучшает интонацию, но создаёт проблемы когда мы делаем стриминг речи из LLM. А LLM во время инференса выдают нам результат рекуррентно, с самплингом, посимвольно.

В общем, есть у вас LLM, которая очень медленная и, каким бы быстрым ваш ТТС не был, нужно ждать пока LLM доделает свою реплику до конца, или, хотя бы, до точки.

Тут приходит на помощь инкрементный ТТС. Он позволяет генерировать речь уже на первых нескольких токенах. А это в свою очередь, экономит где-то полсекунды-секунду от общей задержки системы, что очень сильно влияет на отзывчивость системы.

За ссылку спасибо @milana_shhanukova.

https://arxiv.org/abs/2401.01755

Увидел новый акроним для машинного обучения.

Очень классный туториал с недавнего ICML: Physics of Language Models.

Я бы даже сказала, что это не туториал, а довольно большая работа по LLM explainability. Конкретнее, авторы хотят приблизиться к ответу на вопросы "где находится и как устроен intelligence у LLM" и "что делать, чтобы intelligence усилить, т.е. подойти ближе к AGI".

Подход у них довольно интересный. Авторы делят intelligence на три категории:
- Language structures. Это о том, как LLM выучивает сложную структуру языка. Т.е. какие механизмы в этом задействованы и как идейно происходит обработка текста;
- Reasoning. Это про способность LLM к рассуждениям, выводам и аргументации;
- Knowledge. Как устроено хранение информации в LLM, как ей манипулировать и как объем информации, которую вмещает LLM, зависит от количества ее параметров.

Изучать это все предлагают следующим образом: давайте для каждой категории сгенерируем синтетические данные с заранее известными свойствами, на которых будем обучать LLM и смотреть, как LLM эти свойства выучивает. К примеру, для language structures авторы предложили сгенерировать датасет семейства контекстно-свободных грамматик со сложной структурой (более сложной, чем у обычных английских текстов). Обучая модель на таких данных авторы смотрят на то, что происходит внутри модели (например, какие паттерны attention активируются) и делают выводы о том, каким образом, каким алгоритмом LLM обрабатывает язык.

В посте ниже опишу общие выводы, которые авторы делают из своей работы. А вот ссылки на видео/статьи туториала:
Сайт
Part 1: Hierarchical Language Structures:
- Видео;
- Статья на arxiv;
Part 2: Grade-School Math:
- Видео будет тут после 20 августа;
- Статьи на arxiv: часть 1, часть 2 обещают вот-вот;
Part 3: Knowledge:
- Видео;
- Статьи на arxiv: часть 1, часть 2, часть 3

О. Отличная статья, начинающаяся решением поставленной задачи, и заканчивающаяся глоссарием "Linux для чайников за 15 минут".
#memo #cs101

Обширная статья про обучение действительно Large Language Models, про проблемы распараллеливания на несколько кластеров и синхронизации данных. Со времён BigARTM задачи не сильно изменились, но результаты впечатляют.
#ml #llm #operations

RUPhon - новый открытый IPA фонемизатор для русского языка!

Совместно с @intexcp мы разработали RUPhon - библиотеку для фонемизации русского текста, использующую модели RUAccent-encoder. Модель поддерживает два языка: русский и английский.


Ключевые особенности

1. Модель может обрабатывать ударения на входе
2. Модель имеет относительно небольшой размер (от 55 до 120 мегабайт)


Метрики (F1)

charsiuG2P -> 0.9236
Omogre -> 0.9601
ru_g2p_ipa_bert_large -> 0.9868
RUPhon-small -> 0.9970
RUPhon-big -> 0.9990


А если вы хотите автоматически расставлять ударения, установите RUAccent и используйте его вместе с RUPhon!

Ссылка на библиотеку: https://github.com/Den4ikAI/ruphon
Донат: https://pay.cloudtips.ru/p/b9d86686

@den4ikresearch

хочу в среду и четверг провести ещё несколько созвонов по часу, на которых научу вас курсорить с помощью этого прототипа

или мб попробуем replit agent

если у вас есть идея веб-приложения, и вы:
— заблокированы так как не знаете с чего начать
— не верите, что LLMки уже научились писать код, и боитесь пробовать
— не можете локально настроить среду разработчика, потому что не хватает скиллов
— не понимаете, как декомпозировать задачу на маленькие итерации, из которых можно закодить весь проект, не изучая программирование

то пишите в лс и предлагайте время в среду или в четверг (утром-днём по москве)

@vitalypavlenko

#ml #classification #bert #howto
Неплохое хауту по обучению с нуля классификатора. Всё же полезнее, чем в 2024 году на MNIST тренироваться, или на спам-классификаторах из 2007.

#offtop #генетика
На Медузе на редкость потрясающего качества научно-популярная статья в категории "тут Нобелевку дали, объясняем".
На мой взгляд, прекрасно развивает и дополняет то лучшее с уроков биологии в школе почти двадцать лет назад, что нам давали в рамках "вот учебник, а вот что с тех пор исследовали".

Беглый гуглеж говорит вот чего: https://www.reddit.com/r/LocalLLaMA/comments/1cjvva9/llama_3_70b_3_k_s_partial_offload_possibleexcept/