DifFace: Super-Face Restoration

Новый алгоритм реставрации лица на фотографиях с сильными искажениями.

код, примеры, сравнения
попробовать на huggingface
Колаб

#restoration

1. для начала я сгенерировал зимний пейзаж в InvokeAi, он нравится мне визуально гораздо больше популярного Automatic1111, но местами уступает ему в плане функционала

2. затем импортировал картинку в Аутоматик и с помощью модели stable-diffusion-2-depth сгенерировал остальные 3 времени года. использовал именно эту модель потому что благодаря ей SD понимает глубину композиции и генерирует новую картинку с сохранением основных объектов в кадре. и пожалуй это заняло больше всего времени - подбор правильных промтов (гифка из 184 версий в комментариях)

3. далее с помощью скрипта depthmap создал карту глубины для зимнего пейзажа. этот скрипт можно использовать в паре с плагином для блендера, который позволяет импортировать сшитые картинку+depthmap в два клика как 3д объект. на ютубе есть примеры использования - раз, два

4. апскейл всех четырех пейзажей, импорт в блендер, настройка анимации камеры. а чтобы получился "таймлапс", сделал простенькую анимацию переходов между временами года, которую потом как текстуру использовал в блендере. рендер

InvokeAi
Automatic1111
модель stable-diffusion-2-depth
depthmap noscript
blender plugin, video1, video2

@тоже_моушн

Часа два пытаюсь научить chatgpt шутить. Пока безуспешно. В лучшем случае выдаёт известные англоязычные шутки. Вам удавалось выжать из неё что-нибудь преднамеренно смешное?

Очередное достижение в сфере #NeRF
RoDynRF (Robust Dynamic Radiance Fields)

На входе обычное видео, на выходе - nerf сцена. Модель следит за постоянством геометрии (см второе видео)

Обещают поделиться кодом