#warpfusion
init image + init video + flow video

Warp версия Disco Diffusion позволяет закреплять генерации картинки на видеоряде, например, ручная покадровая анимация с простыми шейпами превращается в сложный рисунок с множеством деталей

​​#Apple #Spoiler

Подумать только, ведь раньше момент с птицей (0:44) из клипа The Knife - Heartbeats вызывал у меня когнитивный диссонанс, а теперь никого не удивишь датамош-тиктоками и прочим майндфачиловом вроде #warpfusion

Уже известную интерполяцию кадров FILM добавили на huggingface.co, теперь можно рисовать скетчи и получать мини анимации.

Поиграть в демо тут
Источник

A celestial visitor

Latent Imagen Stable Diffusion - совершенно новый уровень text2image.
С нетерпением ждём публичную версию :D

В аэропорту Детройта запускают кастомизированное табло, в котором каждый пассажир видит информацию только о своем рейсе.

Работает это на технологии распознавания лиц. Приходите в аэропорт, камеры распознают ваше лицо. И когда вы подходите к табло с рейсами, то видите информацию только о своем рейсе крупными буквами. Табло вас даже приветствует по имени, вот милота ☺️

Одновременно сто человек могут смотреть на табло и видеть разную информацию. Все благодаря технологии Parallel Reality Displays: экрану, который может одновременно проецировать миллионы световых лучей в разных направлениях. Когда камера распознает ваше лицо, экран проецирует лучи с информацией лично для вас туда, где вы стоите.

Ссылка на новость: businessinsider
Сайт технологии Parallel Reality Displays: тут описана идея работы супер-экрана, но подробностей нет. Подробнее технологию можно изучить в патенте компании.
Новость нашла в канале Нейродвиж

Ну как вам идея?
Жаль, в Шереметьево мы такого не дождемся с его толпами в тысячи человек 😆

Тем временем на свежий Xiaomi 12s ultra подходят крышки и бленды от фотообъективов.

Неплохой фотоаппарат с возможностью совершать звонки!

Сорс

@derplearning

На улицах любителей уютного домашнего инференса наступил праздник. Новую Nvidia RTX A4000 16Gb можно купить за 45к. Да, это "всего лишь" аналог RTX 3070 с пониженными частотами и TDP, но 16гб это 16гб :D
Да здравствует криптозима! (not an investment advice, ахах)

з.ы. Сильно сомневаюсь, что 16гб карты с Ada Lovelace на момент выхода будут сопоставимы по соотношению цена\производительность. RTX 4080 (~$700 MSRP, если повезет :D) должна выйти в октябре, но ее уже один раз переносили, могут перенести снова.

@derplearning

​Image Inpainting: Partial Convolution vs Gated convolution

Продолжая рубрику #fundamentals,
поговорим о конволюциях, используемых в нейронных сетях для инпейнтинга. В модели для инпейнтинга изображений на вход обычно подается поврежденное изображение (с некоторыми замаскированными частями). Однако, мы не хотим, чтобы свёртки полагались на пустые области при вычислении фичей. У этой проблемы есть простое решение (Partial convolution) и более элегантное (Gated convolution).

🔻Partial Convolutions делают свертки зависимыми только от валидных пикселей. Они похожи на обычные свертки, где к каждой выходной feature-map применяется умножение на жесткую маску. Первая маска вычисляется непосредственно из покоцанного изображения или предоставляется пользователем в качестве входных данных. Маски для каждой следующей частичной свертки вычисляются путем нахождения ненулевых элементов в промежуточных feature-мапах.

- Для частичной свертки недопустимые пиксели будут постепенно исчезать в глубоких слоях, постепенно преобразовывая все значения маски в единицы.
- частичная свертка несовместима с дополнительным вводом пользователя. Однако мы хотели бы иметь возможность использовать дополнительные пользовательские инпуты для условной генерации (например, скетч внутри маски).
- Все каналы в каждом слое используют одну и ту же маску, что ограничивает гибкость. По сути, частичную свертку можно рассматривать как необучаемое одноканальное зануление фичей по маске.

🔻Gated convolutions. Вместо жесткой маски, обновляемой с помощью жестких правил, закрытые свертки автоматически учат soft маску из данных. Дополнительная конволюция берет входную feature-map и предсказывает соответствующую soft маску, которая применяется к выходу оригинальной свертки.

- Gated convolution может принимать любой дополнительный инпут пользователя (например, маску, эскиз) в качестве входных данных. Все они могут быть склеены с поврежденным изображением и скормлены в сеть.
- Gated convolution динамически учит механизм выбора признаков для каждого канала и каждого пространственного расположения.
- Интересно, что визуализация промежуточных значений предсказанных масок показывает, что gated convolution учится выбирать фичи не только по фону, маске, эскизу, но и с учетом семантической сегментации в некоторых каналах.
- Даже в глубоких слоях gated convolution учится выделять именно маскированные области и информацию о входном скетче в отдельных каналах, что позволяет более качественно генерировать восстановленную картинку.

@ai_newz