WebEyeTrack

инструмент для отслеживания взгляда в реальном времени, работает прямо в веб-браузере. Работает лучше чем определятор взгляда на картинке который мы видел пару лет назад

На сайте есть ссылка на демо но браузер на него включает красные мигалки с сиренами, так что на свой страх и риск

#tools #eyetracking #realtime

Гауссианы в Супермэне

В фильме «Супермен» компания Framestore использовала гауссианы для создания "голограмм" с родителями Супермена. В отличие от звездновойновских плоских голограмм, для эффекта поврежденного изображения использовали 3D-деформации

Сцену снимали почти 200 камер одновременно. Это чтобы вы не думали что можете сделать настолько качественно у себя дома. Но кто сказал что у себя дома надо так упарываться? Сами посудите, стоит этот глюк 200 камер и 5-миллионодалларовой смены (цифра от балды, но не думаю что далеко от истины)?

Процесс создания включал следующие этапы:

студия Infinite Realities записала актёров (Брэдли Купера и Анжелу Сарафян) с помощью примерно двухсот камер

данные были обработаны и преобразованы в последовательность PLY-файлов, представляющих дествие в 3D

команда Framestore внесла творческие изменения, например, создала эффект «повреждённой передачи», когда части изображения ненадолго смещаются или сбиваются, а затем снова собираются в такт диалогу

композитинг был выполнен в Nuke с минимальным вмешательством, что позволило сохранить естественность изображения. Использовали плагин Gaussian Splatting for Nuke

Технология якобы позволила избежать затрат на создание цифрового двойника и дала творческую свободу при редактировании материала.

#кино #news #gaussian

HunyuanImage-2.1

Новая версия генератора картинок от Tencent

— создаёт изображения в 2K с кинематографичной композицией

— понимает сложные промты длиной до 1000 токенов

— точно контролирует генерацию нескольких объектов в одном изображении

— сохраняет точные тексты и мельчайшие детали в изображениях

— использует двойной текстовый энкодер: общий и учитывающий характеристики персонажей, что помогает лучше понимать описания сцен и действий

— ускоряет вывод данных благодаря технологии Meanflow, сокращая количество шагов с 100 до 8

— улучшайзер промптов Hunyuan PromptEnhancer улучшает семантику генерируемых изображений.

Модель доступна в полной и дистиллированной версиях, каждая из которых занимает около 34 ГБ.

Готовьте 59 GB VRAM под одну картинку 2048x2048

Попробовать на офсайте
Демо на HF лежит без чувств
Гитхаб
HF

#text2image

Contrastive Flow Matching

Метод обучения диффузных генераторов, позволяющий сократить время обучения (до 9 раз) и количество шагов на инференсе (до 5 раз) и при этом повысить качество изображения

Метод поощряет модель генерировать несхожие потоки для различных входных условий.

Совместим с другими методами, например, с REPA и classifier-free guidance (CFG)

Ну ждем теперь чтобы переобучили заново Flux и Wan если все так радужно

[UPDATE] пишут что воплотить метод в коде можно двумя строчками

cfm_target = torch.roll(flow_target, shifts=1, dims=0)
cfm_loss = -((model_output - cfm_target) ** 2).mean() * λ

вместо официальных 60 строк

Гитхаб

#optimization

ToonOut: Fine-tuned Background Removal for Anime Characters

Удаление фона с изображений в аниме-стиле.
Создан на основе модели BiRefNet

Код - среда настроена на 2 x 4090, под другое железо вероятно придется что-то перенастроить
HF

#backgroundremoval #segmentation #image2mask #matting