ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model

Реконструкция 3D сцены по двум или нескольким ракурсам. Недостающую информацию генерирует видеогенератор и затем все это преобразуется в сцену на гауссианах

Код ждем

#gaussian #image2gaussian #image2scene #imageto3d

Spann3R: 3D Reconstruction with Spatial Memory

И еще одна работа на тему реконструкции сцены.
В каком видео отдает результат я не понял

Код ждем

#image2scene #imageto3d

#оффтоп

Дорогие подписчики, если у вас накипело по отношению к моему каналу или ко мне лично, можете высказаться в комментариях к этому посту. Пусть будет пост обратной связи, здесь можно и нужно высказаться

Опубликован код адаптера стиля RB-Modulation

Код
Демо

#conditioning #text2image #image2image #styletransfer #adapter

Генерация картинок, видео, выражений лица (пока закрыто)
онлайн от Тиаго Порто
#image2video #pose2video #text2video #twxt2image

Есть такой чувак - Тиаго Порто и у него вот такой вот послужной список.
ML/CV model research + 2D Comp
at:
Mill VFX
Deep Voodoo LA
MPC Moving Picture Company NY
Technicolor
Glassworks Europe
ClanVfx
Tribbo

В общем это не студент из хуньдуня или аккаунт с гитхаба.

Взрослые пацаны из постпродакшена уже берут и прикручивают все эти liveportrait-игрушки и репы с гитхаба к реальным задачам и тестируют их на композе в кино.

Тиаго даже запилил бесплатную площадку на своем собственном компьюте. Правда Expression Editor там щас прикрыт логином.

В общем это я к тому, что наконец-то анимация котиков и пляшущих тянок заползает в реальные пайплайны.
И к тому, что риггерам надо срочно переучиваться с метахьюманов на .... эээ.. кхгм... этот канал.

Иначе будем наливать за них.

Смотрим сюда
https://www.instagram.com/tpocomp/


@cgevent

Tost.ai Flux Lora training

На tost.ai завезли ostris ai toolkit
Получится ли обучить на бесплатном лимите - не знаю.

[update] Благодаря смелым подписчикам-первопроходцам, удалось выяснить что да, на бесплатном лимите можно натренить одну лору в день

Еще из новых фич тоста: можно подключать лору ссылкой и генерить флюксом

#lora #flux #finetuning

GPT Next. Утечки из японского офиса OpenAI.

OpenAI Japan анонсировала новую модель "GPT Next".

Судя по слайдам и словам генерального директора Тадао Нагасаки, она может быть в 100 раз мощнее, чем GPT-4. Причем это может произойти в 2024.

Подробности тут:

https://the-decoder.com/openai-japan-shares-vision-for-much-more-powerful-gpt-next-coming-in-2024/

Технический директор Microsoft Кевин Скотт и OpenAI ранее намекали на то, что в 2024 году появится гораздо более мощная модель OpenAI.

Про Strawberry и Orion вы уже наверняка читали.

Упоминается, что OpenAI разрабатывает две новые системы ИИ: "Клубничка" с улучшенными математическими навыками и навыками кодирования и "Орион", потенциальный мультимодальный преемник GPT-4, который может стать "GPT Next". Он обучается на данных, сгенерированных Strawberry.

Ждём новость в блоге OpenAI.

@cgevent

Liveportrait прикрутили в #Nuke

Comfy for Nuke
Comfy gizmos for Nuke

#image2video #pose2video

hailuoai music

У видеогенератора MiniMax есть брат - генератор музыки по тексту.
Так же, нужна рега по китайскому телефону

#text2music