Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.44K photos
3.71K videos
41 files
4.75K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Видеогенератор Vidu пополнился функцией генерации с любым заданным объектом по образцу

Попробовать

#text2video #image2video #ref2video
🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
Пока админ был на выходных, Runway хайпанул новой функцией Gen-3 Alpha Video to Video
Теперь на вход генератора можно подать видео, которое будет управлять движением и очертаниями генерации как в контролнет

Попробовать

#video2video
🔥15
TextBoost: Towards One-Shot Personalization of Text-to-Image Models via Fine-tuning Text Encoder

Новый подход к персонализации и стилизации изображений через манипуляции с текстовым энкодером (админ не шарит в этом)

Код

#personalization #styletransfer
👍91
This media is not supported in your browser
VIEW IN TELEGRAM
Out of Focus v1.0

Редактирование изображений по тексту.
Сначала описываем исходное изображение. Потом пишем новое описание того что хотим получить в результате.

Работает на 15GB VRAM

Гитхаб
Демо

#imageediting #image2image
🔥12👍4
This media is not supported in your browser
VIEW IN TELEGRAM
GVHMR: World-Grounded Human Motion Recovery viaGravity-View Coordinates

Реконструкция позы человека в динамике по одному видео. При расчете учитывается направление гравитации

Код
Демо
Колаб

#video2pose #videoto3d #video2mesh
🔥72
DualGS: Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos

новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR

Выглядит очешуительно, кода нет

#gaussian #novelview #video2scene #realtime #mobile
👍61
ControlNet Tile для SDXL

Никто не ждал, но xinsir сделал контролнет для SDXL.
На странице модели примеры деблюра, апскейла, вариаций

#controlned #sdxl #deblur #upscale #variation
👍14
This media is not supported in your browser
VIEW IN TELEGRAM
DrawingSpinUp: 3D Animation from Single Character Drawings

Привет аниматорам. Анимация 2D персонажа из одного рисунка. Модель создает соответствующего текстурированного 3D персонажа, удаляя контуры. Затем автоматический риг в MIxamo. Ретаргетинг анимации также в Mixamo или rokoko-studio-live-blender. И затем обратная стилизация в 2D

Код

#image2video #drawing2animation #animation
🔥15
Media is too big
VIEW IN TELEGRAM
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

Реконструкция сцен с релайтингом на гауссианах. Среди разработчиков Adobe Research

Код ждем

#relighting #gaussian #novelview
5
This media is not supported in your browser
VIEW IN TELEGRAM
Dream Machine API

Lumalabs выкатили API для видеогенератора Dream Machine

Расценки: $0,0032 за 1 млн сгенерированных пикселей
Это составляет $0,0032 за кадр или около $0,35 за 5-секундное видео 24fps при разрешении 1280×720p

На HuggingFace уже есть демо, там вам понадобится API токен от Lumalabs

Демо

#text2video #image2video #api
👍3
Media is too big
VIEW IN TELEGRAM
Seed-Music

Генератор-редактор музыки. В деле замешан ByteDance.

Генерит хоть песни хоть инструментал, хоть вокал.
Споет что угодно заданным голосом по 10-секундному образцу.

Умеет редактировать слова оставляя мелодию, мелодию оставляя слова. Подозреваю, умеет редактировать что угодно

Есть препринт, нет ни кода, ни демки, ни сервиса.
Только надежда

#text2music #musicediting #music2music
11🔥10👍1
diffusion-e2e-ft: Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think

Тут придумали как эффективно файнтюнить диффузные генераторы на кондиционные задачи типа предсказания глубины или нормалей в один шаг.
Показывают на примере Marigold, заявляют что дообученная версия работает в 200 раз быстрее.

Я перечитал описание несколько раз и так и не уверен что понял все правильно, если что поправьте меня

Код
Демо глубина
Демо нормали

#image2normal #image2depth
🔥74
EzAudio: Enhancing Text-to-Audio Generation with Efficient Diffusion Transformer|

Генератор звука по тексту. Заданные фразы от него будет трудно получить, а звуковые эффекты - норм

Код ждем
Демо

#text2audio
🔥51👍1
Forwarded from CG дневничок (Sergey Frolov)
Runway и Lionsgate заключили партнерское соглашение, чтобы изучить возможности использования искусственного интеллекта в кинопроизводстве.

Первое в своем роде партнерство, направленное на создание и обучение новой модели искусственного интеллекта, разработанной на основе фирменного каталога Lionsgate. Эта модель, разработанная специально для того, чтобы помочь создателям фильмов, режиссерам-постановщикам и другим творческим талантам улучшить свою работу.

Новая нейросеть будет создавать кинематографическое видео, которое в дальнейшем можно редактировать с помощью набора управляемых инструментов Runway.

Что это означает для индустрии? Да в целом никакого шока от этой новости нет. AI отличный инструмент для ускорения работы, а т.к. с юридической точки зрения сгенерированный контент сложно считать "очищенным" по правам, то подобное соглашение как раз позволит студии использовать свои же проекты и наработки для внутренних разработок.

Ждем нейросетевого Джона Уика? 🔫
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4