Forwarded from Denis Sexy IT 🤖
Поигрался с алгоритмом: Clip Is All You Need, которая генерирует огромные полотна генеративного арта – ну что могу сказать, лучше всего она справляется (как по мне), с генерацией народных паттернов и текстур, вот пример с традиционной Португальской, Арабской и Нидерландской керамической плиткой. Увы, хохлому при тренировке CLIP не завезли.
Использовать, можно, например для открыток или обоев в переговорке – больше я не придумал зачем ✨
Еще эта штука постоянно пытается вставить текст запроса, его как-то можно штрафовать в других CLIP-решениях, так что видимо тут тоже такое добавят.
P.S. Колаб взял в канале @derplearning, он классно ускорил генерацию
Использовать, можно, например для открыток или обоев в переговорке – больше я не придумал зачем ✨
Еще эта штука постоянно пытается вставить текст запроса, его как-то можно штрафовать в других CLIP-решениях, так что видимо тут тоже такое добавят.
P.S. Колаб взял в канале @derplearning, он классно ускорил генерацию
Мой любимый гадкий утенок No Man's Sky тут недавно дюну экранизирова снова продолжает радовать.
Трейлер очередного фри длц: https://www.youtube.com/watch?v=z5kfmB_wap0&ab_channel=IGN
Интересно, сможет ли киберпанк так камбекнуть после обещанной полной переделки?
Трейлер очередного фри длц: https://www.youtube.com/watch?v=z5kfmB_wap0&ab_channel=IGN
Интересно, сможет ли киберпанк так камбекнуть после обещанной полной переделки?
💯1
Вышла новая версия моего любимого Pytorch - 1.10.0 :3
https://pytorch.org/blog/pytorch-1.10-released/
https://pytorch.org/blog/pytorch-1.10-released/
pytorch.org
An open source machine learning framework that accelerates the path from research prototyping to production deployment.
Forwarded from Мишин Лернинг
MixNMatch: Декомпозиция Стиля, Позы, Формы и «культурного» Бэкграунда
Изображения x пропускают через 4 энкодера:
▪️Ez(x) - кодирует латентщину
▪️Eb(x) - задник (бекнраунд)
▪️Ep(x) - позу
▪️Ec(x) - стиль, текстуру
Затем взад-назад. Из z, b, p, c генерят картинки:
▪️сначала из b, z - задник
▪️потом на него наносят маску позы из z, p
▪️а потом стильно полируют текстурой из z, c
на все три стейджа - 3 лосса
При этом ещё 4 адверсариал лосса учат истинность и ложность пар изображения и их кодировок.
📰 папир 💻 имплементация
Изображения x пропускают через 4 энкодера:
▪️Ez(x) - кодирует латентщину
▪️Eb(x) - задник (бекнраунд)
▪️Ep(x) - позу
▪️Ec(x) - стиль, текстуру
Затем взад-назад. Из z, b, p, c генерят картинки:
▪️сначала из b, z - задник
▪️потом на него наносят маску позы из z, p
▪️а потом стильно полируют текстурой из z, c
на все три стейджа - 3 лосса
При этом ещё 4 адверсариал лосса учат истинность и ложность пар изображения и их кодировок.
📰 папир 💻 имплементация
Forwarded from я обучала одну модель
Интересный папирус, в котором авторы воспроизводят увиденное человеком изображание по сканам активности мозга
• Сначала людям показывают видео нескольких категорий (абстрактные геометрические фигуры, лица людей, эктремальный спорт и тд)
• Проводят ЭЭГ и получают колебания активности мозга
• Получают эмбеддинг этих колебаний с помощью LSTM + Attention (так как это просто последовательность частот)
• Получают эмбеддинг картинки с помощью VGG
• Считают лосс между эмбеддингом активности мозга и картинкой, прибавляют к этому лосс между картинкой, восстановленной по ЭЭГ, и картинкой, восстановленной по эмбеддингу исходного изображения (декодер для картинок там один и тот же для обоих процессов)
Выше схема обучения вместе в примерами реконструкции, получается довольно неплохо
• Сначала людям показывают видео нескольких категорий (абстрактные геометрические фигуры, лица людей, эктремальный спорт и тд)
• Проводят ЭЭГ и получают колебания активности мозга
• Получают эмбеддинг этих колебаний с помощью LSTM + Attention (так как это просто последовательность частот)
• Получают эмбеддинг картинки с помощью VGG
• Считают лосс между эмбеддингом активности мозга и картинкой, прибавляют к этому лосс между картинкой, восстановленной по ЭЭГ, и картинкой, восстановленной по эмбеддингу исходного изображения (декодер для картинок там один и тот же для обоих процессов)
Выше схема обучения вместе в примерами реконструкции, получается довольно неплохо
Кстати, для pytorch уже как год с лишним существует дифференцируемый 3д рендер.
Фич много, от геометрии до point clouds.
pytorch3d: https://pytorch3d.org/
Даешь CLIP guided point clouds!
На примере запрос "8bit pokemon #pixelart" в моем CLIP guided RGB из поста выше. Только на этот раз оптимизируем не RGB тензор, а point cloud!
Фич много, от геометрии до point clouds.
pytorch3d: https://pytorch3d.org/
Даешь CLIP guided point clouds!
На примере запрос "8bit pokemon #pixelart" в моем CLIP guided RGB из поста выше. Только на этот раз оптимизируем не RGB тензор, а point cloud!
This media is not supported in your browser
VIEW IN TELEGRAM
MOT20-07.gif
12.1 MB
Выкатили новый SOTA алгоритм для трекинга - BYTE.
Расшифровывается как "tracking BY associaTing Every detection box instead of only the high score ones". Интересно, на что потратили больше времени - на алгоритм или на акроним :D
Как пишет автор, они не отбрасывают невидимые объекты в новых кадрах, а оставляют, и позже соотносят с обнаруженными в кадре.
Выдает 30fps на v100.
Как пишет реддит, пора играть в кальмара!
"Oh boy now it's time to do some red light green light!"
з.ы. пока придумывал шутки про акроним, меня немного опередили
папирус
код
демо
Расшифровывается как "tracking BY associaTing Every detection box instead of only the high score ones". Интересно, на что потратили больше времени - на алгоритм или на акроним :D
Как пишет автор, они не отбрасывают невидимые объекты в новых кадрах, а оставляют, и позже соотносят с обнаруженными в кадре.
Выдает 30fps на v100.
Как пишет реддит, пора играть в кальмара!
"Oh boy now it's time to do some red light green light!"
з.ы. пока придумывал шутки про акроним, меня немного опередили
папирус
код
демо
Forwarded from Neural Shit
This media is not supported in your browser
VIEW IN TELEGRAM
Гляньте какой годный онлайн сервис выкатили: https://cleanup.pictures
Удаляет выделенные предметы на изображениях. Попробовал, особенно хорошо работает с мелкими предметами
Удаляет выделенные предметы на изображениях. Попробовал, особенно хорошо работает с мелкими предметами