Пара статей про машинный перевод в 2023 году для целей локализации. #ml #translation

Буду сегодня спамить скринами с epic.ai.
Реализация, например.

Как устроен один из NPC-ботов

Прогрессию можно представить как мутабельную БД, в которой единожды упомянутый факт добавляется в контект

Примеры развития прогрессии

..и развитие в многоагентной среде.

#memo #epic Попробовать weaviate как векторную БД
Также из полезного - Zilliz (я так и не понял, они разработчики Milvus, или разработали расширение) и Ray

Очень крутой дэшборд для нескольких моделей, захощенных в Google: TextFX, ImageFX, десятки подзадач, которые они решают

#memo SDXL с примерами - большая генеративная модель для изображений

@lexfrei вот, почти все что тебе надо знать про реакт. Не смотри на синтаксис его уже 18 раз переделали, но идея такая
https://egghead.io/lessons/react-react-in-7-minutes

Лёша мне накинул интересный метод организации файлопомойки.
Интересно, что большую часть я (не очень осознанно) вывел для себя между 5 и 16 годами, часть доработалась (в рамках выделенного подкаталога `projects`) где-то в магистратуре, но как цельный фреймворк, естественно, я не пытался и не мог сформулировать.
Статья довольно большая и в ней чуть вязнешь, но в рамках личной оптимизации #workflow – идея хорошая.
Естественно, предполагается, что все требования к хранилищу выполнены, синхронизация бэкапов по 3-2-1 не вызывает вопросов, и для импорта фотографий не нужно вставлять что-то куда-то и перетаскивать мышкой. Хотя последнее, на самом деле, не так важно.

Colorful music theory #1: Western popular harmony as seen in 12 colors

⏱ 19:00 PM Wednesday, 13 March
📍 F0RTHSP4CE, Khorava St 18 / Janashia, the basement

Это перезапуск курса по структуре западной музыки. Мы будем смотреть на популярные нынче фортепианные аранжировки, которые у всех на слуху. Вместо нот мы будем смотреть на пиано-ролл - на прямоугольники, раскрашенные в 12 цветов.

Мы будем пытаться увидеть, какие закономерности там есть: какие ноты обычно звучат вместе с какими, в каком порядке они идут друг за другом, а в каком не идут.

Я не обещаю, что будет понятно новичкам, поскольку уровень у всех разный. Но шансы есть. Возможно, мы увидим аккорды как наборы из трёх цветов. И, быть может, картинка немного даже совпадёт со звучанием.

(Ноутбук не понадобится, если вы хорошо различаете все цвета.)

Записи прошлого потока

Language: RU
Entrance: free
Host: @vitalypavlenko (заранее напишите, если захотите прийти)

Теория музыки. Лекция 8. 12 цветов: мажорная тональность (1/2)

— Пять соло-фортепиано-аранжировок популярных трэков 3:00
— Как звучит мелодия, транспонированная в разные тональности 20:30
— Сколько разных нот-цветов в октаве в западной музыке 26:30
— Музыка не из семи нот: Щедрин и Веберн 33:43
— Аккорды как пучки из трёх цветов 38:58
— Когда несколько мелодий одновременно: хорал Баха 47:23
— Семь нот встречаются с разной частотой 55:47
— Как строятся аккорды в мажоре 58:48
— Мажорный аккорд и минорный аккорд 1:04:55

это же видео на ютьюбе

ссылки

(когда посмотрите, напишите плиз ощущения в лс @vitalypavlenko)

#memo Статейка про snapshotter в #containerd.

В общем на ютубе с таймкодами, если интересно: https://www.youtube.com/watch?v=tLDvk44EomU

Статья на хабре и полная версия от коллеги про размерность данных внутри моделей-трансформеров на разных стадиях обучения. Не очень понимаю, как пользоваться, но популярный вариант выглядит красиво, а полный позволяет повторить, что уже приятно.

Stanford EE259: Principles of Sensing for Autonomy I Spring 2023
https://web.stanford.edu/class/ee259/index.html

https://www.youtube.com/playlist?list=PLoROMvodv4rOhE007XQu707Dy52qXiZGV

Your Transformer is Secretly Linear

Мою новую статью приняли на ACL 🎉. Мы обнаружили, что большинство слоёв языковых моделей линейны на 99%! Это значит, что из любого слоя LLM можно выкинуть этэншн, нормализацию и даже feed-forward с активацией, оставив лишь один nn.Linear(), а модель будет работать, будто бы ничего не поменялось!

Такая неадекватная линейность наблюдается во всех трансформерах-декодерах (GPT, Llama, Mistral, и тд.). Мы предполагаем, что это связано с feature triggering режимом, то есть нелинейность "вспыхивает" на очень небольшом количестве важных токенов (что-то похожее было в статье Deja Vu). Поэтому совсем уж много слоёв таким образом заменить нельзя, нелинейность хоть сама по себе и крошечная, но её влияние очень быстро накапливается.

Ещё из интересных наблюдений — по мере претрейна нелинейность растёт, а во время файнтюнинга (или RLHF) она всегда падает. Исходя из этого, мы придумали регуляризацию, которая немножко усиливает нелинейность и бустит метрики на претрейне.

P.S. Вместе с кодом для оценки линейности слоёв трансформеров мы выкладываем и код к прошлой нашей статье про анизотропию и внутреннюю размерность.

Статья, GitHub, хабр