Вести с полей #SDXL

Оказывается, для обучения/дообучения требуется хренова гора VRAM. Вплоть до того что со всеми возможными оптимизациями обучение не запустится даже на 40GB VRAM. В коментах возражают что у Kohya обучение работает на 24GB, и он пилит алгоритм обучения на 12GB.

Не все радужно и гладко в датском королевстве. Возможно, мы вступаем в эру зависимости SD от онлайн сервисов. Можно даже конспирологически предположить что это сделано специально чтобы контролировать и цензурировать модели.

Пост на реддит

Replica Studios сделала войс плагин для движков, позволяющий озвучивать внутриигровых персонажей и передавать голоса непосредственно в проекты. Кроме игровых движков, совместим также с Iclone, Omniverse, Roblox, Metahuman.

Цитата компании: "NPC, управляемые искусственным интеллектом, будут динамически реагировать на голос игрока в реальном времени. Персонажи будут менять свой диалог, эмоциональный тон и жесты тела в ответ на то, как игрок обращается к ним."

Демку можно скачать тут

Теперь в PanoHead можно скормить свои картинки. PNG не принимает, только JPG

Колаб

#GAN #3DGAN #imageto3D #image2head

Faster Segment Anything (MobileSAM)

FastSAM быстрый, но можно быть еще быстрее. MobileSAM всемеро легче и впятеро быстрее. И уже поддерживается в Grounded-SAM.

Код
Демо

#segmentation #image2mask #video2mask

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization

Свежий быстрый генератор 3D моделей по тексту или входной картинке.
Получив задание, первым делом генерит несколько ракурсов объекта через Zero123. А уже потом собирает объемную модель. На выходе меш с текстурами.

Код обещают выложить
Демо (сейчас не работает)
Демо2

#imageto3D #textto3D #novelview #rendering

Похоже. Но только слишком много чести кожаным самим промты придумывать, это и без них справятся

Any Image to 3D

Генерация 3D обектов по картинке. И вроде выглядит прилично.
Сейчас генерация происходит в дискорде, как в MidJourney. Кстати, есть интеграция с MJ для генерации входных картинок через ваш MJ аакунт.

Записаться в вейтлист (Вы можете зайти в дискорд, но генерировать сможете только после того как вам одобрят доступ по вейтлисту)
Дискорд
Галерея

#textto3D #imageto3D

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

Генератор целых интерьеров по тексту. На выходе текстурированный меш. На сайте есть интерактивный меш вьюер.

Код

#textto3D #text2scene #rendering

Вы хотели Stable Diffusion в вашем 3D редакторе. Но вам завезли 3D редактор в Stable Diffusion

SD Webui new extension - 3D Editor

#tools #3Dtoimage

Good news everyone!

Wonder studio теперь открыт для всех. Залетаем, пробуем.

Чтецы мыслей и сновидений не успокаиваются.
В новом исследовании показали реконструкцию звука из мозговой активности при помощи фМРТ и генеративной нейросети. Пока звук получается у них непонятный. Пока.

Пейпер

#science #sound #fMRI #brain #mindreading

Проверил - работает!

Вы сейчас офигеете, но ChatGPT умеет генерировать картинки. Без подписок, плагинов и прочего.

Промт следующий:

«PROMPT: INPUT = {focus} OUTPUT = {denoscription) \n! [IMGI(https://image.pollinations.ai/prompt/{denoscription}) {denoscription) = {focusDetailed},%20{adjective1), %20{adjective2), %20{visualStyle1},%20{visualStyle2}, %20{visualStyle3},%20{artist Reference)

OUTPUT = [a cat outside in the sun, orange cat, happy cat, Sunny, warm, lots of flowers INPUT =a cat]» — там где OUTPUT поменяйте запрос на свой промт и готово.

Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors

генератор 3D объекта по одному фото. На фоне конкурентов выглядит хорошо (см на сайте). На первом этапе для грубой геометрии использует NeRF, но на выходе дает текстурированный меш. Ну может с таким уровнем активности в этой области уже в следующем году будем генерить ассеты для игр и кино нейросетями.


[UPDATE]
Код

#imageto3D

Что, никому не понравилось?