Там полгода назад вышла модель для стилизации видео в 4к. В реалтайме. Модель весит 2мб.
Звучит овер заманчиво, будем посмотреть. С виду это обычная unet, только они выкинули части с апскейлом и даунскейлом и заменили на Laplacian Pyramid, сэкономив львиную долю параметров.
Основная идея состоит в том, что изображение можно разделить на низкочастотную (основа) и высокочастотную (мелкие детали) части, которые можно обработать отдельно, и потом объединить. Те, кто профессионально занимаются ретушью, понимают, о чем это. При этом низкочастотную часть можно обработать в очень низком разрешении, сэкономив на вычислениях.
Код
Доклад
Выжимка
Звучит овер заманчиво, будем посмотреть. С виду это обычная unet, только они выкинули части с апскейлом и даунскейлом и заменили на Laplacian Pyramid, сэкономив львиную долю параметров.
Основная идея состоит в том, что изображение можно разделить на низкочастотную (основа) и высокочастотную (мелкие детали) части, которые можно обработать отдельно, и потом объединить. Те, кто профессионально занимаются ретушью, понимают, о чем это. При этом низкочастотную часть можно обработать в очень низком разрешении, сэкономив на вычислениях.
Код
Доклад
Выжимка
This media is not supported in your browser
VIEW IN TELEGRAM
А вот родное видео через neural style. Да, лучше, чем ebsynth.
И дольше раз в 20. Для плавности нужно просчитать optical flow в обе стороны для каждого кадра, а потом все прогнать через нейронку. Суммарно занимает часов 6 для видео 280х512, 9сек. Судите сами 😢
Возьмём это за точку отсчёта, и посмотрим, что там с тех пор наваяли в этой области.
И дольше раз в 20. Для плавности нужно просчитать optical flow в обе стороны для каждого кадра, а потом все прогнать через нейронку. Суммарно занимает часов 6 для видео 280х512, 9сек. Судите сами 😢
Возьмём это за точку отсчёта, и посмотрим, что там с тех пор наваяли в этой области.
Forwarded from parhelia / иногда
Нашёл классный сайт - вебморду для нейросетки Hi-Fi-Gan, озвучивающей введённый текст одним из предсобранных голосов. Датасетов очень много - писатели, актёры рэперы, президенты.
Отличный инструмент для генерации вокальных безделушек заместо киношных сэмплов.
https://vo.codes/tts/
Отличный инструмент для генерации вокальных безделушек заместо киношных сэмплов.
https://vo.codes/tts/
Fakeyou
FakeYou Celebrity AI Voice and Video Generator
FakeYou lets you generate voices and videos using AI technology
Forwarded from Denis Sexy IT 🤖
Но мои результаты конечно пока все еще хуже чем выходят у программистки которая сделала этот метод генерации – результат по запросу «Киберпанк-церковь напоминающая карту таро "Смерть" в стиле Грега Рутковски»
Реально хоть в игры бери, готовые концепт-арты.
Реально хоть в игры бери, готовые концепт-арты.
Там просто кладезь, котаны. Концепт-художники, АЛЯРМА!
https://twitter.com/RiversHaveWings/status/1443948191871684617
https://twitter.com/RiversHaveWings/status/1443948191871684617
Twitter
Rivers Have Wings
"a landscape resembling The Lovers tarot card by Greg Rutkowski" (CLIP guided diffusion)
Вдохновился постом https://news.1rj.ru/str/mishin_learning/196
и тоже заапскейлил.
и тоже заапскейлил.
Дошла и до меня очередь потыкать clip guided diffusion.
Результат по запросу "a landscape containing knights riding by Greg Rutkowski"
По 100 итераций на картинку (2 минуты)
Результат по запросу "a landscape containing knights riding by Greg Rutkowski"
По 100 итераций на картинку (2 минуты)