DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

Генератор 3D моделей по одному изображению. Хвастаются хитростями, к которым пришлось прибегнуть чтобы результат выглядел хорошо. Но пусть покажут сетку)

Код обещают выложить

#imageto3D

GPT Engineer

ИИ-программист, пишет всю кодовую базу по текстовому заданию. Умеет переписывать ваш имеющийся код. Можно установить локально. Для работы требуется API ключ OpenAI или локальная языковая модель.

Код

#coding #text2code #code2code

Pegasus-1

Какое название подойдет чтобы конкурировать с Eleven Labs? Правильно, Twelve Labs. И вот они объявляют (твиттер) о релизе своей базовой модели преобразования видео в текст. Уверяют что их модель анализирует именно видеоданные. Аудио и речь, конечно, тоже.

Записаться в вейтлист

#video2text

ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).

Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.

Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:

- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)

Coqui + Bark Voice Cloning

Демоспейс для клонирования голоса по 20-секундному образцу снова работает. Можно сохранять голоса. Даже умеет несколько коряво говорить по-русски. Возможно, если ему скормить русскоязычный образец, будет получше.

Демо

#voicecloning #text2speech

Real-Time Latent Consistency Model

👞туц-👞туц-👞туц-👞туц
дальше музыка должна сама запуститься в голове
Стилизация видео в браузере «в реальном времени». У меня вышло чуть быстрее 1 fps.
А все дело в Latent Consistency Model

#video2video #realtime

FastSD CPU

И еще про Latent Consistency Model, полезная штука, оказывается.
StableDuffusion на процессоре, без GPU

Скачать бета-релиз здесь
Гитхаб - здесь в том числе и инструкция по установке

#text2image

Unity + StableDiffusion = варьирование текстур.
Текстурирование обратной стороны в разработке.

реддит

#text2texture

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

Генератор 3D моделей по одному изображению.
Применен известный уже трюк с заходом на 3D через карту нормалей. Делают это многократно для получения пачки ракурсов, из которых уже восстанавливают текстурированный меш.

Тест Бендера на ракурсах проходит очень неплохо! (кину в комментарии). А меш демка не делает, к сожалению

Код
Колаб
Демо

#imageto3D

TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models

Генератор текстур для уже имеющейся 3D геометрии от NVIDIA. Под капотом диффузия + ControlNet

Кода нет

#texture #text2texture #3Dtotexture

Ничего не случилось, просто для любителей хэллоуина в реакции добавлена тыква 🎃

А еще наш чатик - подходящее место для ваших хэллоуинских картинок

#neuronaut_art

Recraft

Генератор векторных изображений и дизайна. Вернее, целый сервис.

На бесплатном тарифе ваше творчество отправляется в публичную галерею. За 20$ в месяц остается приватным и генерится быстрее.

#text2vector #design