Forwarded from Denis Sexy IT 🤖
Поигрался с алгоритмом: Clip Is All You Need, которая генерирует огромные полотна генеративного арта – ну что могу сказать, лучше всего она справляется (как по мне), с генерацией народных паттернов и текстур, вот пример с традиционной Португальской, Арабской и Нидерландской керамической плиткой. Увы, хохлому при тренировке CLIP не завезли.
Использовать, можно, например для открыток или обоев в переговорке – больше я не придумал зачем ✨
Еще эта штука постоянно пытается вставить текст запроса, его как-то можно штрафовать в других CLIP-решениях, так что видимо тут тоже такое добавят.
P.S. Колаб взял в канале @derplearning, он классно ускорил генерацию
Использовать, можно, например для открыток или обоев в переговорке – больше я не придумал зачем ✨
Еще эта штука постоянно пытается вставить текст запроса, его как-то можно штрафовать в других CLIP-решениях, так что видимо тут тоже такое добавят.
P.S. Колаб взял в канале @derplearning, он классно ускорил генерацию
Мой любимый гадкий утенок No Man's Sky тут недавно дюну экранизирова снова продолжает радовать.
Трейлер очередного фри длц: https://www.youtube.com/watch?v=z5kfmB_wap0&ab_channel=IGN
Интересно, сможет ли киберпанк так камбекнуть после обещанной полной переделки?
Трейлер очередного фри длц: https://www.youtube.com/watch?v=z5kfmB_wap0&ab_channel=IGN
Интересно, сможет ли киберпанк так камбекнуть после обещанной полной переделки?
💯1
Вышла новая версия моего любимого Pytorch - 1.10.0 :3
https://pytorch.org/blog/pytorch-1.10-released/
https://pytorch.org/blog/pytorch-1.10-released/
pytorch.org
An open source machine learning framework that accelerates the path from research prototyping to production deployment.
Forwarded from Мишин Лернинг
MixNMatch: Декомпозиция Стиля, Позы, Формы и «культурного» Бэкграунда
Изображения x пропускают через 4 энкодера:
▪️Ez(x) - кодирует латентщину
▪️Eb(x) - задник (бекнраунд)
▪️Ep(x) - позу
▪️Ec(x) - стиль, текстуру
Затем взад-назад. Из z, b, p, c генерят картинки:
▪️сначала из b, z - задник
▪️потом на него наносят маску позы из z, p
▪️а потом стильно полируют текстурой из z, c
на все три стейджа - 3 лосса
При этом ещё 4 адверсариал лосса учат истинность и ложность пар изображения и их кодировок.
📰 папир 💻 имплементация
Изображения x пропускают через 4 энкодера:
▪️Ez(x) - кодирует латентщину
▪️Eb(x) - задник (бекнраунд)
▪️Ep(x) - позу
▪️Ec(x) - стиль, текстуру
Затем взад-назад. Из z, b, p, c генерят картинки:
▪️сначала из b, z - задник
▪️потом на него наносят маску позы из z, p
▪️а потом стильно полируют текстурой из z, c
на все три стейджа - 3 лосса
При этом ещё 4 адверсариал лосса учат истинность и ложность пар изображения и их кодировок.
📰 папир 💻 имплементация
Forwarded from я обучала одну модель
Интересный папирус, в котором авторы воспроизводят увиденное человеком изображание по сканам активности мозга
• Сначала людям показывают видео нескольких категорий (абстрактные геометрические фигуры, лица людей, эктремальный спорт и тд)
• Проводят ЭЭГ и получают колебания активности мозга
• Получают эмбеддинг этих колебаний с помощью LSTM + Attention (так как это просто последовательность частот)
• Получают эмбеддинг картинки с помощью VGG
• Считают лосс между эмбеддингом активности мозга и картинкой, прибавляют к этому лосс между картинкой, восстановленной по ЭЭГ, и картинкой, восстановленной по эмбеддингу исходного изображения (декодер для картинок там один и тот же для обоих процессов)
Выше схема обучения вместе в примерами реконструкции, получается довольно неплохо
• Сначала людям показывают видео нескольких категорий (абстрактные геометрические фигуры, лица людей, эктремальный спорт и тд)
• Проводят ЭЭГ и получают колебания активности мозга
• Получают эмбеддинг этих колебаний с помощью LSTM + Attention (так как это просто последовательность частот)
• Получают эмбеддинг картинки с помощью VGG
• Считают лосс между эмбеддингом активности мозга и картинкой, прибавляют к этому лосс между картинкой, восстановленной по ЭЭГ, и картинкой, восстановленной по эмбеддингу исходного изображения (декодер для картинок там один и тот же для обоих процессов)
Выше схема обучения вместе в примерами реконструкции, получается довольно неплохо