Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.45K photos
3.72K videos
41 files
4.76K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
GVHMR: World-Grounded Human Motion Recovery viaGravity-View Coordinates

Реконструкция позы человека в динамике по одному видео. При расчете учитывается направление гравитации

Код
Демо
Колаб

#video2pose #videoto3d #video2mesh
🔥72
DualGS: Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos

новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR

Выглядит очешуительно, кода нет

#gaussian #novelview #video2scene #realtime #mobile
👍61
ControlNet Tile для SDXL

Никто не ждал, но xinsir сделал контролнет для SDXL.
На странице модели примеры деблюра, апскейла, вариаций

#controlned #sdxl #deblur #upscale #variation
👍14
This media is not supported in your browser
VIEW IN TELEGRAM
DrawingSpinUp: 3D Animation from Single Character Drawings

Привет аниматорам. Анимация 2D персонажа из одного рисунка. Модель создает соответствующего текстурированного 3D персонажа, удаляя контуры. Затем автоматический риг в MIxamo. Ретаргетинг анимации также в Mixamo или rokoko-studio-live-blender. И затем обратная стилизация в 2D

Код

#image2video #drawing2animation #animation
🔥15
Media is too big
VIEW IN TELEGRAM
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

Реконструкция сцен с релайтингом на гауссианах. Среди разработчиков Adobe Research

Код ждем

#relighting #gaussian #novelview
5
This media is not supported in your browser
VIEW IN TELEGRAM
Dream Machine API

Lumalabs выкатили API для видеогенератора Dream Machine

Расценки: $0,0032 за 1 млн сгенерированных пикселей
Это составляет $0,0032 за кадр или около $0,35 за 5-секундное видео 24fps при разрешении 1280×720p

На HuggingFace уже есть демо, там вам понадобится API токен от Lumalabs

Демо

#text2video #image2video #api
👍3
Media is too big
VIEW IN TELEGRAM
Seed-Music

Генератор-редактор музыки. В деле замешан ByteDance.

Генерит хоть песни хоть инструментал, хоть вокал.
Споет что угодно заданным голосом по 10-секундному образцу.

Умеет редактировать слова оставляя мелодию, мелодию оставляя слова. Подозреваю, умеет редактировать что угодно

Есть препринт, нет ни кода, ни демки, ни сервиса.
Только надежда

#text2music #musicediting #music2music
11🔥10👍1
diffusion-e2e-ft: Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think

Тут придумали как эффективно файнтюнить диффузные генераторы на кондиционные задачи типа предсказания глубины или нормалей в один шаг.
Показывают на примере Marigold, заявляют что дообученная версия работает в 200 раз быстрее.

Я перечитал описание несколько раз и так и не уверен что понял все правильно, если что поправьте меня

Код
Демо глубина
Демо нормали

#image2normal #image2depth
🔥74
EzAudio: Enhancing Text-to-Audio Generation with Efficient Diffusion Transformer|

Генератор звука по тексту. Заданные фразы от него будет трудно получить, а звуковые эффекты - норм

Код ждем
Демо

#text2audio
🔥51👍1
Forwarded from CG дневничок (Sergey Frolov)
Runway и Lionsgate заключили партнерское соглашение, чтобы изучить возможности использования искусственного интеллекта в кинопроизводстве.

Первое в своем роде партнерство, направленное на создание и обучение новой модели искусственного интеллекта, разработанной на основе фирменного каталога Lionsgate. Эта модель, разработанная специально для того, чтобы помочь создателям фильмов, режиссерам-постановщикам и другим творческим талантам улучшить свою работу.

Новая нейросеть будет создавать кинематографическое видео, которое в дальнейшем можно редактировать с помощью набора управляемых инструментов Runway.

Что это означает для индустрии? Да в целом никакого шока от этой новости нет. AI отличный инструмент для ускорения работы, а т.к. с юридической точки зрения сгенерированный контент сложно считать "очищенным" по правам, то подобное соглашение как раз позволит студии использовать свои же проекты и наработки для внутренних разработок.

Ждем нейросетевого Джона Уика? 🔫
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
Tripo 2.0

Новый генератор 3D моделей с PBR текстурами по тексту и по изображению.

Генерация занимает несколько минут, и вы получаете 4 варианта модели.

На старте дают 600 кредитов, это на 10 генераций по 60 кредитов.
После генерации вам предлагают сделать риг за 20 кредитов и можно назначить на модель анимацию.
Конвертирование и сохранение модели, кстати, тоже стоит - 10 кредитов.

Можно сделать ретопологию.
Короче, инструмент серьезный+-

Тест Бендера - хорошо.

Го тестить!

#textto3d #imageto3d
10
Forwarded from Psy Eyes
Media is too big
VIEW IN TELEGRAM
Kling: обновили генератор видео до версии V 1.5.

Что нового:
* Видео в 1080p, которые оптимизированы генериться под широкоформат
* Улучшилось следование промту
* Повысились качество, динамичность, и эстетичность картинки
* High-Quality (Professional) режим по той же цене

Также появился инструмент Motion Brush для выделения до 6 объектов на видео и их анимации по указанной траектории. Или можно задать, что должно остаться статичным. Такая же фича есть у Runway (не Gen-3) и Kaiber. Максимальная длительность видео из Motion Brush — 5 сек.

Пока контроль камеры и Motion Brush есть только в V 1. В версию V 1.5 они подъедут позже.

В обычном image-2-video режиме выдаётся видео длиной до 10 сек. Одновременно в Kling может генериться до 4 видео.

Анонс
1🔥1
Опубликован код и демоспейс генератора картинок ультравысокого разрешения UltraPixel

Генерация 2560×5120 на RTX 4090 занимает 60 секунд

Код
Демо

#image2image #text2image #personalization
👍83👎2
#оффтоп #кино Сохранить/репостить
Ох будет вам чем вечера занять на ближайшие недели.

Приличных фильмов про музыку не так много, десятка три, наверно. А таких чтобы хотелось пересматривать - и вовсе мало. Представляю вам мой личный топ фильмов про музыку и музыкантов.

Что не вошло в топ:
- Короткометражки
- Документалки.
- Фильмы которые мне не захотелось посмотреть второй раз.
- Фильмы, в которых есть музыканты, но они не про музыку.

Уверен, мне удастся вас удивить. Итак, от лучшего к менее лучшему

1️⃣. Легенда о пианисте/1900 (1988)
Грустная немного фантастическая история о пианисте-самоучке. Фильм с лучшей музыкальной сценой всех веков (по мнению эксперта Нейронавта)

2️⃣. Одержимость (2013)
От начала и до конца напряжённая драма о барабанщике, упарывающемся ради места в оркестре

3️⃣. Ла-Ла Ленд (2016)
Грустный слезовыжимательный мюзикл про музыканта и актрису, пытающихся пробиться в Лос-Анжелесе

4️⃣. Струны (сериал 2021)
Российский сериал, драма о четырех виолончелистах, пытающихся попасть на конкурс Чайковского. Долго откладывал, посмотрел и не пожалел. Я не то чтобы знаток консерваторской жизни, но очень убедительно. Второй сезон хуже

5️⃣. Чико и Рита (2009)
Трогательная анимационная драма, лав стори кубинских пианиста и певицы

6️⃣. Yesterday (2019)
Гитарист-неудачник попадает в параллельную реальность, где никто кроме него не знает песен Битлз. Грех не воспользоваться таким шансом?

7️⃣. Пустоголовые (1994)
Начинающая рок-группа захватывает радиостанцию чтобы привлечь внимание к своей музыке. Трио Сэндлер+Фрэйзер+Бушеми должно убедить вас посмотреть этот хит.

8️⃣. Аполлон: Дети на холме (сериал 2012)
Трогательное аниме, сериал о первой любви, дружбе и музыке. Персонажи не без типичного анимешного юношеского долбо*бизма, но смотрел не отрываясь. Анимация частично выполнена ротоскопом по живому видео, но это сделано аккуратно, смотрится хорошо. Ну а попробуйте анимировать джазовых музыкантов. Пиксар, вон, на Душе упоролся по пальцам клавишника.

9️⃣. Странный Эл (2022)
Эксцентричный стебный (как и сам Эл Янковик) псевдобайопик. Чем ближе к финалу, тем выше градус странности.

1️⃣0️⃣. Рок-волна (2009)
Драмеди о том как в 1960-х рок-радиостанция противостояла попыткам британских властей запретить вещать рок

———————

Достойны упоминания:

Студия 666 (2022)
- хоррор-комедия про Foo Fighters в L-миноре

Голый барабанщик (2008) - Дуайт Шрут тащит!

Бек/Beck: Mongolian Chop Squad (2004 – 2005) - аниме, но в отличие от Детей на холме, тут история успеха. Пацан за год научился лабать на гитаре как Хендрикс и группа порвала рок-фестиваль когда не было шансов - не верю! Сочинил свою первую песню - и сразу хит. Ага, конечно

Сестричка, действуй (1992) - музыки не так много, но там офигительный госпел. Есть сиквел, там больше госпела и меньше интересного сюжета.

Душа (2020) - все же, не совсем про музыку

Братья блюз (1980) - клевый, не без сюрпризов. Был снят до Перекрестка. Тут засветились настоящие Джеймс Браун, Рэй Чарльз, Арета Франклин

Перекрёсток (1986) - культовый

Волшебник (2019) - российская драма, хорошее кино

Звезда родилась (2018)

Джеймс Браун: Путь наверх (2014)

Звуки шума (2010) - весьма своеобразный

Зверопой (2016) - на разок. Все поют идеально, но до сих пор оставались незамеченными - не верю.

Богемская рапсодия (2018)

Амадей (1984)

Мы из джаза (1983)

Август Раш (2007) - красиво, но все персонажи картонные. Не докрутили


Что забыл? Какие шедевры прошли мимо меня?
В коменты кину список просмотренного чтобы вы не повторялись.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍94🔥1