#ml #nlp #llama2 #russian Немного про русскоязычные генеративные модели: Сайга (дообучен токенизатор, применена LoRA) и Вихрь (токенизатор сделан с нуля, затюнена вся модель).
Из забавного: “Модели имеют свойство тупеть после обучения в лоб, те метрики у модели которая видела русские токены метрики будут ХУЖЕ чем у модели которая русских токенов НЕ видела.”
Из забавного: “Модели имеют свойство тупеть после обучения в лоб, те метрики у модели которая видела русские токены метрики будут ХУЖЕ чем у модели которая русских токенов НЕ видела.”
Хабр
Как (быстро) сделать русский локальный ChatGPT
Эта история началась в начале марта этого года. ChatGPT тогда был в самом расцвете. Мне в Telegram пришёл Саша Кукушкин, с которым мы знакомы довольно давно. Спросил, не занимаемся ли мы с Сашей...
#memo #epic Попробовать weaviate как векторную БД
Также из полезного - Zilliz (я так и не понял, они разработчики Milvus, или разработали расширение) и Ray
Также из полезного - Zilliz (я так и не понял, они разработчики Milvus, или разработали расширение) и Ray
GitHub
GitHub - weaviate/weaviate: Weaviate is an open-source vector database that stores both objects and vectors, allowing for the combination…
Weaviate is an open-source vector database that stores both objects and vectors, allowing for the combination of vector search with structured filtering with the fault tolerance and scalability of ...
Очень крутой дэшборд для нескольких моделей, захощенных в Google: TextFX, ImageFX, десятки подзадач, которые они решают
Forwarded from Michael Orlov
@lexfrei вот, почти все что тебе надо знать про реакт. Не смотри на синтаксис его уже 18 раз переделали, но идея такая
https://egghead.io/lessons/react-react-in-7-minutes
https://egghead.io/lessons/react-react-in-7-minutes
egghead
React in 7 Minutes
Want a whirlwind tour of facebook's React framework? John starts from scratch and builds an app in React in under 7 minutes. You'll learn about building...
Лёша мне накинул интересный метод организации файлопомойки.
Интересно, что большую часть я (не очень осознанно) вывел для себя между 5 и 16 годами, часть доработалась (в рамках выделенного подкаталога `projects`) где-то в магистратуре, но как цельный фреймворк, естественно, я не пытался и не мог сформулировать.
Статья довольно большая и в ней чуть вязнешь, но в рамках личной оптимизации #workflow – идея хорошая.
Естественно, предполагается, что все требования к хранилищу выполнены, синхронизация бэкапов по 3-2-1 не вызывает вопросов, и для импорта фотографий не нужно вставлять что-то куда-то и перетаскивать мышкой. Хотя последнее, на самом деле, не так важно.
Интересно, что большую часть я (не очень осознанно) вывел для себя между 5 и 16 годами, часть доработалась (в рамках выделенного подкаталога `projects`) где-то в магистратуре, но как цельный фреймворк, естественно, я не пытался и не мог сформулировать.
Статья довольно большая и в ней чуть вязнешь, но в рамках личной оптимизации #workflow – идея хорошая.
Естественно, предполагается, что все требования к хранилищу выполнены, синхронизация бэкапов по 3-2-1 не вызывает вопросов, и для импорта фотографий не нужно вставлять что-то куда-то и перетаскивать мышкой. Хотя последнее, на самом деле, не так важно.
Forwarded from F0RTHSP4CE
Colorful music theory #1: Western popular harmony as seen in 12 colors
⏱ 19:00 PM Wednesday, 13 March
📍 F0RTHSP4CE, Khorava St 18 / Janashia, the basement
Это перезапуск курса по структуре западной музыки. Мы будем смотреть на популярные нынче фортепианные аранжировки, которые у всех на слуху. Вместо нот мы будем смотреть на пиано-ролл - на прямоугольники, раскрашенные в 12 цветов.
Мы будем пытаться увидеть, какие закономерности там есть: какие ноты обычно звучат вместе с какими, в каком порядке они идут друг за другом, а в каком не идут.
Я не обещаю, что будет понятно новичкам, поскольку уровень у всех разный. Но шансы есть. Возможно, мы увидим аккорды как наборы из трёх цветов. И, быть может, картинка немного даже совпадёт со звучанием.
(Ноутбук не понадобится, если вы хорошо различаете все цвета.)
Записи прошлого потока
Language: RU
Entrance: free
Host: @vitalypavlenko (заранее напишите, если захотите прийти)
⏱ 19:00 PM Wednesday, 13 March
📍 F0RTHSP4CE, Khorava St 18 / Janashia, the basement
Это перезапуск курса по структуре западной музыки. Мы будем смотреть на популярные нынче фортепианные аранжировки, которые у всех на слуху. Вместо нот мы будем смотреть на пиано-ролл - на прямоугольники, раскрашенные в 12 цветов.
Мы будем пытаться увидеть, какие закономерности там есть: какие ноты обычно звучат вместе с какими, в каком порядке они идут друг за другом, а в каком не идут.
Я не обещаю, что будет понятно новичкам, поскольку уровень у всех разный. Но шансы есть. Возможно, мы увидим аккорды как наборы из трёх цветов. И, быть может, картинка немного даже совпадёт со звучанием.
(Ноутбук не понадобится, если вы хорошо различаете все цвета.)
Записи прошлого потока
Language: RU
Entrance: free
Host: @vitalypavlenko (заранее напишите, если захотите прийти)
Forwarded from keetezh: теория музыки
Media is too big
VIEW IN TELEGRAM
Теория музыки. Лекция 8. 12 цветов: мажорная тональность (1/2)
— Пять соло-фортепиано-аранжировок популярных трэков 3:00
— Как звучит мелодия, транспонированная в разные тональности 20:30
— Сколько разных нот-цветов в октаве в западной музыке 26:30
— Музыка не из семи нот: Щедрин и Веберн 33:43
— Аккорды как пучки из трёх цветов 38:58
— Когда несколько мелодий одновременно: хорал Баха 47:23
— Семь нот встречаются с разной частотой 55:47
— Как строятся аккорды в мажоре 58:48
— Мажорный аккорд и минорный аккорд 1:04:55
это же видео на ютьюбе
ссылки
(когда посмотрите, напишите плиз ощущения в лс @vitalypavlenko)
— Пять соло-фортепиано-аранжировок популярных трэков 3:00
— Как звучит мелодия, транспонированная в разные тональности 20:30
— Сколько разных нот-цветов в октаве в западной музыке 26:30
— Музыка не из семи нот: Щедрин и Веберн 33:43
— Аккорды как пучки из трёх цветов 38:58
— Когда несколько мелодий одновременно: хорал Баха 47:23
— Семь нот встречаются с разной частотой 55:47
— Как строятся аккорды в мажоре 58:48
— Мажорный аккорд и минорный аккорд 1:04:55
это же видео на ютьюбе
ссылки
(когда посмотрите, напишите плиз ощущения в лс @vitalypavlenko)
Forwarded from Георгий Бартоломей
В общем на ютубе с таймкодами, если интересно: https://www.youtube.com/watch?v=tLDvk44EomU
YouTube
Электронные ударные для гитары: новое устройство с нуля полностью на FLOSS инструментах - SPbLUG
В данном докладе я расскажу о своём проекте, покажу как опытный образец работает на практике и отвечу на интересные вопросы.
Выступление прошло в датацентре Миран.
Таймкоды:
00:00 Вступление
04:15 Введение
07:24 Принципиальная схема
08:25 Печатная плата…
Выступление прошло в датацентре Миран.
Таймкоды:
00:00 Вступление
04:15 Введение
07:24 Принципиальная схема
08:25 Печатная плата…
Статья на хабре и полная версия от коллеги про размерность данных внутри моделей-трансформеров на разных стадиях обучения. Не очень понимаю, как пользоваться, но популярный вариант выглядит красиво, а полный позволяет повторить, что уже приятно.
Хабр
Как устроено пространство, в котором думают языковые модели?
Изображение сгенерировано Dalle-3 Хабр, привет! Меня зовут Антон Разжигаев, я аспирант Сколтеха и участник научной группы Fusion Brain в институте AIRI. С момента выхода первой статьи «Attention is...