Viggle

Контроль персонажа на видео - замена персонажа, анимация изображения

Попробовать в дискорде

#image2video #video2video #personalization

One-step Diffusion with
Distribution Matching Distillation

Еще один метод ускорения генерации изображений от MIT и Adobe. Генерация за один шаг и 0.09 сек против 2.5 сек и 50 шагов в обычном SD

Кода нет

#text2image #optimization

Stable Code Instruct 3B

Stability AI выкатили инженерную LLM, затюненную на инструкциях, на основе Stable Code 3B.

Умеет писать код, умеет в математику, умеет выполнять другие софт-инженерные задачи.

Бьет CodeLlama 7B Instruct и сопоставим с StarChat 15B

Доступно для коммерческого использования

Веса

#coding #llm

ComfyUI IPAdapter plus

Обновление IPAdapter для ComfyUI. В IPAdapter V2 полностью переписан код, старые воркфлоу не будут работать после обновления.

- multiple new IPAdapter nodes: regular (named "IPAdapter"), advanced ("IPAdapter Advanced"), and faceID ("IPAdapter FaceID);

- there's no need for a separate CLIPVision Model Loader node anymore, CLIPVision can be applied in a "IPAdapter Unified Loader" node;

- CLIPVision can be applied separately if "IPAdapter Unified Loader" is not used;

- new Weight Types;

- new Combine Embed types for multiple images inside of one IPAdapter node.

#text2image #image2image

🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!

Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.

Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.

Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.

В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.

Сайт проекта

@ai_newz

Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Реконструкция сцен реального мира по RGBD - видео на гауссианах. Канал глубины решает, ну и архитектура тоже

Код

#gaussian #video2scene #rendering #videoto3D

Говорят, Google Photos обновился ИИ-фичами

- Magic Eraser - самое интересное, удаление объектов
- Photo Stacks - группирование похожих фото
- Highlight video - автомонтаж видеоклипов
- Best Take - выбор лучшего варианта фото
- Организация документов и чеков в отдельные альбомы

#inpainting