FaceLift: Single Image to 3D Head with View Generation and GS-LRM

Реконструкция человеческой головы по одному фото или по видео от Adobe.

В случае с видео модель обрабатывает каждый кадр и делает из них последовательность моделей, то есть некое 4D видео, где можно посмотреть на объект с любого ракурса

На презентационном видео это смотрится весьма палевно, в самом конце. Хотя для автара вполне сгодится если будет работать в реальном времени

Кроме этого предлагают комбинировать модель с Liveportrait для 3D анимации портрета

Код ждем или хз

#imageto3d #videoto4d #gaussian #head #humanhead #humanavatar

MicroDiT

Эксперимент Sony по обучению картинкогенератора с нуля максимально дешево.

1.16B параметров, обучен на 37М изображений. И это стоило всего $1890

Обучили за 2,5 дня, используя 8 графических процессоров H100

512*512, чекпойнты по 4.7Гб
Что-то напоминает

Хотите свой SD с блекджеком и лорами? сделайте за выходные и $1890

Код
Веса

#text2image

InstantSplat прокачался, качественно реконструирует поверхность по нескольким ракурсам за секунды

Код
Демо

#gaussian #imageto3d #image2scene

Kokoro TTS

Передовая качественная голосовая модель, основанная на архитектуре StyleTTS. Опенсорс
Всего 82М параметров, 327Мб
Звучит живо

А теперь о минусах: русского пока нет

Демо
Дискорд

Бонус: арена голосовых моделей TTS Arena

#tts #text2speech #leaderboard

Codestral 25.01

Обновка ИИ-программиста от Mistral в топе на LMsys Copilot Arena

Попробовать можно через плагин continue.dev в VS Code и JetBrains (выберите выберите Codestral 25.01)

Нужно зайти на https://console.mistral.ai/codestral, зарегатся и получить бесплатный API key. В настройках continue.dev (https://github.com/continuedev/continue) в VS Code ставишь codestral. И работаешь бесплатно.

спасибо @A_Nikolaeff

#coding

Run ComfyUI workflows for free with Gradio on Hugging Face Spaces

Теперь из #CoimfyUI воркфлоу можно сделать приложение на gradio и запустить в демоспейсе на HuggingFace

#tutorial #news

Ludus AI - Unreal Engine AI toolkit

К Unreal Engine 5 прикрутили Anthropic и немножко на подхвате Deepseek. Предлагают попробовать бесплатно.

Доступ к ИИ очевидно, по API, за который, вероятно, все равно придется заплатить

Кто попробует - опишитесь что там как

#coding #assistant

Deepseek ios

Приложение доступно в российском appstore

Кажется, доступ в интернет работает плохо или у меня кривые руки

#mobile #iOS #assistant

Seaweed APT: Diffusion Adversarial Post-Training for One-Step Video Generation

Генерация видео и изображений за один шаг от ByteDance

Модель генерирует 2 секунды видео с разрешением 1280х720 @24 fps в режиме реального времени

Кода нет, есть восхищение

#text2video #text2image #realtime

JASCO: Joint Audio And Symbolic Conditioning for Temporally Controlled Text-To-Music Generation

Генератор музыки от запрещенной Meta AI на базе audiocraft - опубликован код и веса

На вход принимает текст / аккорды / мелодию / ноты / отдельные партии, например ударные

Есть API, генерирует 10-секундные куски

Обучен на 16000 часов лицензионной музыки

Код
Модель
Jupiter notebook

#music #text2music #conditioning #music2music

FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors

Редактирование изображений через интуитивные эскизы

На основе ControlNeXt

Код ждем

#imageediting #sketch2image #image2image