3DTopia-XL: High-Quality 3D PBR Asset Generation via Primitive Diffusion

Генерирует 3D модели с PBR текстурами по изображению или тексту. генерация занимает 5 секунд (непонятно на каком железе)

Код
Демо

#PBR #textto3d #imageto3d

StoryMaker: Towards consistent characters in text-to-image generation

решение для персонализации, которое сохраняет не только сходство лиц, но и одежды, причесок и телосложения в сцене с несколькими персонажами, позволяя создать историю, состоящую из серии изображений

Код

#comics #personalization

Google Cloud начал давать доступ к Gemini 1.5 Flash и 1.5 Pro - LLM c конекстом в 2 миллиона токенов.

Добавлена поддержка поиска Google и готовые приложения Gemini в Google Workspace.

Готовые Gems в Gemini в Google Workspace и пачка агентов искусственного интеллекта, предназначенных для взаимодействия с клиентами и общения с ними

#assistant #llm #news

Опубликован код полного 3D автара на гауссианах ExAvatar, требующего на вход один видеоракурс

Код

#gaussian #humanavatar #humananimation

JoyCaption Alpha One

Обновился инструмент для текстового описания изображений JoyCaption

- расширен набор данных
- контроль длины описания
- выбор тона текста формальный/неформальный
- выбор типа описания. Denoscriptive - на чисто естественном языке. Training Prompt - сочетания естественного языка, фрагментов предложений и тегов booru - имитация промптов для SD. rng-tags - только теги booru, работает не очень хорошо, не рекомендовано

#image2text #captioning

Omni-Zero-Couples: A diffusion pipeline for zero-shot stylized couples portrait creation

Генератор парных портретов с заданными персоналиями и с заданным стилем

Ну и есть такое же для монопортрета - OmniZero

Код
Демо
Демо2

#personalization #styletransfer #stylization

Stable Diffusion 3 Medium Fine-tuning Tutorial

StabilityAI опубликовали инструкцию по обучению LoRa SD3 Medium

Ну молодцы, чё. Все уже научились обучать флюкс, даже я почти.

Спасибо @asleephidden

#finetuning #tutorial #sd3 #LORA

Ну и к важным новостям.
К совету директоров StabilityAI присоединился Джеймс Кэмерон. Это хороший знак для киноиндустрии. Конечно, если вы не неолуддит. У каждой крупной VFX студии есть свои ИИ-инструменты, которыми они ни с кем не делятся и вообще помалкивают, ибо хейт по отношению к ИИ выше чем по отношению к CGI в кино.

Не хотел публиковать пока Кэмерон сам не пояснил в чем дело. Он хочет заполнить пустующую нишу между классическим CG и новыми генеративными инструментами

Видео, Кэмерон на CNBC

#news

LipDub ai

Сервис для высококачественного липсинка, дубляжа, персонализации видео, замены диалогов на видео.

Советую не мешкать и подать на бету прямо сейчас, собеседования уже расписаны до конца октября.
(Да, вам назначают встречу в Google Meet)

Вписаться в бета тест

#lipsync #dubbing #personalization #speechediting #speech2speech

Энди Серкис объявил о новом проекте с участием персонажей с искусственным интеллектом, назвав эту быстро развивающуюся технологию ещё одной формой магии, которая вызывает страх у людей.

"Голлум" рассказал, что его продюсерская компания Imaginarium работает над сюжетной историей, где сначала создаются 2D-персонажи с использованием озвучки актёров, а затем они переходят в мир дополненной реальности, чтобы это не значило. На этом этапе персонажи становятся персонажами ИИ, созданными художниками и режиссёрами. "Теперь вы можете напрямую взаимодействовать с этими CGI-персонажами в реальном времени".

Он подчеркнул, что технология ИИ многими неправильно понимается и часто вызывает опасения, сравнивая это с реакцией на появление Интернета, или мокап костюмов, который тоже считали разрушительным для жизни и работы. Человек который смог адаптироваться и нацепить костюм с датчиками а потом основать компанию говорит как бы о том же, если вы сможете адаптироваться, то бояться нечего, если нет, ваши проблемы.

Список онлайн сервисов с бесплатным #Flux для генерации картинок

https://fastflux.ai/
https://piclumen.com/app/
https://tensor.art/ - (100 единиц в день)
https://www.fluxforge.app/
https://www.seaart.ai/ru
https://glif.app/
https://magic.remix.ai/

спионерил у @dAIpotestit

#text2image

Colorful Diffuse Intrinsic Image Decomposition in the Wild

Разложение картинки на пассы: альбедо, цветной диффьюз и спекуляры

Код
Колаб

#image2passes #image2pbr

V3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians

Динамические сцены на гауссианах приходят на мобилки в виде потокового видео. Метод потокового рендеринга сцен на мобилках.

Код ждем до октября

#gaussian2video #mobile #rendering

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

Реконструкция материала по многоракурсному набору изображений объекта

Код

#image2passes #image2pbr

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

Аниматор бипедов от Nvidia. Генерирует широкий спектр движений на различных поверхностях на основе интуитивно понятных пользовательских намерений.

Генерация движений всего тела на основе частичных целевых положений суставов, реагирование на управление джойстиком, взаимодействие с объектами, следование по траекториям, интерпретация текстовых команд и даже комбинирование этих возможностей, например, выполнение текстовых команд для следования по траекториям

Код

#text2animation #humananimation

Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming

Языковая модель для голосового общения. По русски не умеет.Может слышать и говорить, одновременно думая.

Код
Демо

#assistant #voiceassistant #speech