Improved Techniques for Training Single-Image GANs
* github
* blogpost
* paper
Ганы, обучающиеся на одной картинке, могут применяться не только для генерации упоротых зданий, но также для гармонизации коллажей, создания анимаций и редактирования изображений.
#single_image #gan
* github
* blogpost
* paper
Ганы, обучающиеся на одной картинке, могут применяться не только для генерации упоротых зданий, но также для гармонизации коллажей, создания анимаций и редактирования изображений.
#single_image #gan
Forwarded from Метаверсище и ИИще
Pixar Soul
Нет слов.
В последнее время сценаристов пиксар как-то переклинило на экзистенциальных вопросах и теме смерти. Начиная с Up и заканчивая Coco и Forward. Мне, как фанату Истории Игрушек и Тачек, последнии фильмы стали казаться слишком уж сценарно-вычурными. Игра в бисер сюжетных поворотов.
И тут Soul.
И вроде тоже тема смерти, и вроде тоже не слишком детский сценарий.
Но это запредельно круто.
И вот эта анимация пальцев пианиста в самом начале.
И Нью-Йорк в призме пиксаровской картинки.
И музыка.
И какое-то бесконечное количество тонкой иронии (и самоиронии) над всеми когнитивными искажениями кожаных мешков.
В общем я раздавлен. Это запредельно хорошо.
Буду пересматривать.
Даже букв больше нет.
Нет слов.
В последнее время сценаристов пиксар как-то переклинило на экзистенциальных вопросах и теме смерти. Начиная с Up и заканчивая Coco и Forward. Мне, как фанату Истории Игрушек и Тачек, последнии фильмы стали казаться слишком уж сценарно-вычурными. Игра в бисер сюжетных поворотов.
И тут Soul.
И вроде тоже тема смерти, и вроде тоже не слишком детский сценарий.
Но это запредельно круто.
И вот эта анимация пальцев пианиста в самом начале.
И Нью-Йорк в призме пиксаровской картинки.
И музыка.
И какое-то бесконечное количество тонкой иронии (и самоиронии) над всеми когнитивными искажениями кожаных мешков.
В общем я раздавлен. Это запредельно хорошо.
Буду пересматривать.
Даже букв больше нет.
This media is not supported in your browser
VIEW IN TELEGRAM
Learning to Shadow Hand-drawn Sketches
* website
* github
* demo [doesn't really work for me]
* website
* github
* demo [doesn't really work for me]
We present a fully automatic method to generate detailed and accurate artistic shadows from pairs of line drawing sketches and lighting directions. We also contribute a new dataset of one thousand examples of pairs of line drawings and shadows that are tagged with lighting directions. Remarkably, the generated shadows quickly communicate the underlying 3D structure of the sketched scene. Consequently, the shadows generated by our approach can be used directly or as an excellent starting point for artists. We demonstrate that the deep learning network we propose takes a hand-drawn sketch, builds a 3D model in latent space, and renders the resulting shadows. The generated shadows respect the hand-drawn lines and underlying 3D space and contain sophisticated and accurate details, such as self-shadowing effects.Forwarded from karpik.realtime
Не то чтобы прям рисерч, скорее рассказ от Диснея про пайплайн нового мультфильма Souls, в котором куча вольюмных персонажей (на картинке их кастомный шейдер) https://graphics.pixar.com/library/SoulVolumetricChars/paper.pdf
* youtube
* paper
Приятная в своей изящной простоте и эффективности работа.
Что сделано
Набор сканов людей зарегистрирован в SMPL параметрическую модель. Получен датасет вида {меш с RGB значением для каждой вершины, набор фоток с разными известными параметрами камеры}, далее из этого сделаны рендеры в виде проекции RGB вершин и отдельным каналом глубины вершин, т.е. получены картинки (w,h,4) для каждой известной камеры.
Далее обучается pix2pix c юнетом, проецирующая рендеры в оригинальное фото без фона.
Применения
- Ebsynth для 3D рендеров. Художник может стилизировать один кадр в отрендеренной анимации, а остальные может дорисовать модель по последовательности поз и позиций камер.
- Если уже есть зарегистрированный в SMPL скан Пети, то можно сделать рендер толстого Пети.
- С имеющимися моделями маппинга SMPL моделей на видео, прямое редактирование SMPL моделей также может потенциально помочь редактировать видео.
#neural_rendering #smpl #avatars
* paper
Приятная в своей изящной простоте и эффективности работа.
Что сделано
Набор сканов людей зарегистрирован в SMPL параметрическую модель. Получен датасет вида {меш с RGB значением для каждой вершины, набор фоток с разными известными параметрами камеры}, далее из этого сделаны рендеры в виде проекции RGB вершин и отдельным каналом глубины вершин, т.е. получены картинки (w,h,4) для каждой известной камеры.
Далее обучается pix2pix c юнетом, проецирующая рендеры в оригинальное фото без фона.
Применения
- Ebsynth для 3D рендеров. Художник может стилизировать один кадр в отрендеренной анимации, а остальные может дорисовать модель по последовательности поз и позиций камер.
- Если уже есть зарегистрированный в SMPL скан Пети, то можно сделать рендер толстого Пети.
- С имеющимися моделями маппинга SMPL моделей на видео, прямое редактирование SMPL моделей также может потенциально помочь редактировать видео.
#neural_rendering #smpl #avatars
VOGUE: Try-On by StyleGAN Interpolation Optimization
* project page
* youtube
* paper
* demo
Abstract
* project page
* youtube
* paper
* demo
Abstract
Given an image of a target person and an image of another person wearing a garment, we automatically generate the target person in the given garment. At the core of our method is a pose-conditioned StyleGAN2 latent space interpolation, which seamlessly combines the areas of interest from each image, i.e., body shape, hair, and skin color are derived from the target person, while the garment with its folds, material properties, and shape comes from the garment image. By automatically optimizing for interpolation coefficients in the latent space and per layer, we can perform a seamless, yet true to source, merging of the garment and target person. Our algorithm allows for garments to deform according to the given body shape, while preserving pattern and material details. Experiments demonstrate state-of-the-art photo-realistic results at high resolution (512x512).
#ganhttps://twitter.com/advadnoun/status/1347807444190199808
DALL-E не релизнута, но вот что выходит на gradient ascent с помощью CLIP.
DALL-E не релизнута, но вот что выходит на gradient ascent с помощью CLIP.
echoinside
https://arxiv.org/pdf/2010.05334.pdf #gan
FreezeG
* github
Похоже на идею вот отсюда попыткой отделить генерацию формы от рендера, но здесь оно намного менее явно выражено. (Найдено у Саввы)
* github
Похоже на идею вот отсюда попыткой отделить генерацию формы от рендера, но здесь оно намного менее явно выражено. (Найдено у Саввы)
Inspired by the training footage of FreezeD trasfer learning. This is a pseudo translation method because the input image should be projected to the learned latent space first, and then the projected vector is propagated again to generate the target image. Therefore, the performance is limited to the in-domain images of the original GAN. I used StyleGAN2 implementation, and below are some of the results I've got. By also fixing the latent vector of the early layers and manipulating the ones that are fed into the last layers, the rendering style can be controlled separately.
#ganНемного политоты, но все же. Неужели дойдем до стадии, когда телега останется последним оплотом свободы слова и все такое?
Forwarded from Sci-Hub (Александра Элбакян)
Знаете ли вы?
Вчера в Твиттере забанили не только аккаунт Трампа, но и аккаунт Sci-Hub. Причем наш аккаунт забанили раньше, даже появились статьи, где люди возмущались в комментариях, что полезный Сайхаб забанили, а Трампа годами забанить не могут. Через несколько часов снесли аккаунт Трампа.
Формальная причина бана Sci-Hub в Твиттере - нарушение копирайта. Хотя 9 лет это никого не волновало. На момент блокировки было 183 тысячи подписчика, а твиты набирали тысячи репостов и комментариев, причем 90% в поддержку Sci-Hub. И вот все нажитое непосильным трудом пропало! Возможно, скрытой причиной блокировки аккаунта проекта стали протесты в США и активизация борьбы с русскими шпионами на этом фоне. Как известно, власти США подозревают меня в работе на ГРУ, а в Твиттере проекта Sci-Hub был закреплен большой плакат с Лениным.
Вчера в Твиттере забанили не только аккаунт Трампа, но и аккаунт Sci-Hub. Причем наш аккаунт забанили раньше, даже появились статьи, где люди возмущались в комментариях, что полезный Сайхаб забанили, а Трампа годами забанить не могут. Через несколько часов снесли аккаунт Трампа.
Формальная причина бана Sci-Hub в Твиттере - нарушение копирайта. Хотя 9 лет это никого не волновало. На момент блокировки было 183 тысячи подписчика, а твиты набирали тысячи репостов и комментариев, причем 90% в поддержку Sci-Hub. И вот все нажитое непосильным трудом пропало! Возможно, скрытой причиной блокировки аккаунта проекта стали протесты в США и активизация борьбы с русскими шпионами на этом фоне. Как известно, власти США подозревают меня в работе на ГРУ, а в Твиттере проекта Sci-Hub был закреплен большой плакат с Лениным.
Еще эксперименты с CLIP:
https://twitter.com/quasimondo/status/1348194907626856449
https://twitter.com/quasimondo/status/1348194907626856449
Twitter
Mario Klingemann
Searching #StyleGAN2 for "This person looks like Shrek". I also just realized that I can use CLIP to constrain the search area by keeping the similarity close to the starting point of the search. https://t.co/XqmCjw5zIA