#memo #epic Попробовать weaviate как векторную БД
Также из полезного - Zilliz (я так и не понял, они разработчики Milvus, или разработали расширение) и Ray

Очень крутой дэшборд для нескольких моделей, захощенных в Google: TextFX, ImageFX, десятки подзадач, которые они решают

#memo SDXL с примерами - большая генеративная модель для изображений

@lexfrei вот, почти все что тебе надо знать про реакт. Не смотри на синтаксис его уже 18 раз переделали, но идея такая
https://egghead.io/lessons/react-react-in-7-minutes

Лёша мне накинул интересный метод организации файлопомойки.
Интересно, что большую часть я (не очень осознанно) вывел для себя между 5 и 16 годами, часть доработалась (в рамках выделенного подкаталога `projects`) где-то в магистратуре, но как цельный фреймворк, естественно, я не пытался и не мог сформулировать.
Статья довольно большая и в ней чуть вязнешь, но в рамках личной оптимизации #workflow – идея хорошая.
Естественно, предполагается, что все требования к хранилищу выполнены, синхронизация бэкапов по 3-2-1 не вызывает вопросов, и для импорта фотографий не нужно вставлять что-то куда-то и перетаскивать мышкой. Хотя последнее, на самом деле, не так важно.

Colorful music theory #1: Western popular harmony as seen in 12 colors

⏱ 19:00 PM Wednesday, 13 March
📍 F0RTHSP4CE, Khorava St 18 / Janashia, the basement

Это перезапуск курса по структуре западной музыки. Мы будем смотреть на популярные нынче фортепианные аранжировки, которые у всех на слуху. Вместо нот мы будем смотреть на пиано-ролл - на прямоугольники, раскрашенные в 12 цветов.

Мы будем пытаться увидеть, какие закономерности там есть: какие ноты обычно звучат вместе с какими, в каком порядке они идут друг за другом, а в каком не идут.

Я не обещаю, что будет понятно новичкам, поскольку уровень у всех разный. Но шансы есть. Возможно, мы увидим аккорды как наборы из трёх цветов. И, быть может, картинка немного даже совпадёт со звучанием.

(Ноутбук не понадобится, если вы хорошо различаете все цвета.)

Записи прошлого потока

Language: RU
Entrance: free
Host: @vitalypavlenko (заранее напишите, если захотите прийти)

Теория музыки. Лекция 8. 12 цветов: мажорная тональность (1/2)

— Пять соло-фортепиано-аранжировок популярных трэков 3:00
— Как звучит мелодия, транспонированная в разные тональности 20:30
— Сколько разных нот-цветов в октаве в западной музыке 26:30
— Музыка не из семи нот: Щедрин и Веберн 33:43
— Аккорды как пучки из трёх цветов 38:58
— Когда несколько мелодий одновременно: хорал Баха 47:23
— Семь нот встречаются с разной частотой 55:47
— Как строятся аккорды в мажоре 58:48
— Мажорный аккорд и минорный аккорд 1:04:55

это же видео на ютьюбе

ссылки

(когда посмотрите, напишите плиз ощущения в лс @vitalypavlenko)

#memo Статейка про snapshotter в #containerd.

В общем на ютубе с таймкодами, если интересно: https://www.youtube.com/watch?v=tLDvk44EomU

Статья на хабре и полная версия от коллеги про размерность данных внутри моделей-трансформеров на разных стадиях обучения. Не очень понимаю, как пользоваться, но популярный вариант выглядит красиво, а полный позволяет повторить, что уже приятно.

Stanford EE259: Principles of Sensing for Autonomy I Spring 2023
https://web.stanford.edu/class/ee259/index.html

https://www.youtube.com/playlist?list=PLoROMvodv4rOhE007XQu707Dy52qXiZGV

Your Transformer is Secretly Linear

Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь один nn.Linear(), а модель будет работать, будто бы ничего не поменялось!

Такая неадекватная линейность наблюдается во всех трансформерах-декодерах (GPT, Llama, Mistral, и тд.). Мы предполагаем, что это связано с feature triggering режимом, то есть нелинейность "вспыхивает" на очень небольшом количестве важных токенов (что-то похожее было в статье Deja Vu). Поэтому совсем уж много слоёв таким образом заменить нельзя, нелинейность хоть сама по себе и крошечная, но её влияние очень быстро накапливается.

Ещё из интересных наблюдений — по мере претрейна нелинейность растёт, а во время файнтюнинга (или RLHF) она всегда падает. Исходя из этого, мы придумали регуляризацию, которая немножко усиливает нелинейность и бустит метрики на претрейне.

P.S. Вместе с кодом для оценки линейности слоёв трансформеров мы выкладываем и код к прошлой нашей статье про анизотропию и внутреннюю размерность.

Статья, GitHub, хабр

Невероятно крутая статья про связь компьютерной лингвистики как науки, NLP и датасаенса в целом по состоянию на 2024. В ней же есть ссылка на the bitter lesson, но, собственно, статья показывает ценность лингвистики в долгосрочной перспективе. #linguistics

Уже не совсем новая статейка про #prompt engineering для #llm

В чём смысл Incremental FastPitch

Сейчас большинство систем ТТС работают с глобальным вниманием, из-за трансформеров под капотом. Это здорово и улучшает интонацию, но создаёт проблемы когда мы делаем стриминг речи из LLM. А LLM во время инференса выдают нам результат рекуррентно, с самплингом, посимвольно.

В общем, есть у вас LLM, которая очень медленная и, каким бы быстрым ваш ТТС не был, нужно ждать пока LLM доделает свою реплику до конца, или, хотя бы, до точки.

Тут приходит на помощь инкрементный ТТС. Он позволяет генерировать речь уже на первых нескольких токенах. А это в свою очередь, экономит где-то полсекунды-секунду от общей задержки системы, что очень сильно влияет на отзывчивость системы.

За ссылку спасибо @milana_shhanukova.

https://arxiv.org/abs/2401.01755

Увидел новый акроним для машинного обучения.

Очень классный туториал с недавнего ICML: Physics of Language Models.

Я бы даже сказала, что это не туториал, а довольно большая работа по LLM explainability. Конкретнее, авторы хотят приблизиться к ответу на вопросы "где находится и как устроен intelligence у LLM" и "что делать, чтобы intelligence усилить, т.е. подойти ближе к AGI".

Подход у них довольно интересный. Авторы делят intelligence на три категории:
- Language structures. Это о том, как LLM выучивает сложную структуру языка. Т.е. какие механизмы в этом задействованы и как идейно происходит обработка текста;
- Reasoning. Это про способность LLM к рассуждениям, выводам и аргументации;
- Knowledge. Как устроено хранение информации в LLM, как ей манипулировать и как объем информации, которую вмещает LLM, зависит от количества ее параметров.

Изучать это все предлагают следующим образом: давайте для каждой категории сгенерируем синтетические данные с заранее известными свойствами, на которых будем обучать LLM и смотреть, как LLM эти свойства выучивает. К примеру, для language structures авторы предложили сгенерировать датасет семейства контекстно-свободных грамматик со сложной структурой (более сложной, чем у обычных английских текстов). Обучая модель на таких данных авторы смотрят на то, что происходит внутри модели (например, какие паттерны attention активируются) и делают выводы о том, каким образом, каким алгоритмом LLM обрабатывает язык.

В посте ниже опишу общие выводы, которые авторы делают из своей работы. А вот ссылки на видео/статьи туториала:
Сайт
Part 1: Hierarchical Language Structures:
- Видео;
- Статья на arxiv;
Part 2: Grade-School Math:
- Видео будет тут после 20 августа;
- Статьи на arxiv: часть 1, часть 2 обещают вот-вот;
Part 3: Knowledge:
- Видео;
- Статьи на arxiv: часть 1, часть 2, часть 3

О. Отличная статья, начинающаяся решением поставленной задачи, и заканчивающаяся глоссарием "Linux для чайников за 15 минут".
#memo #cs101