Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.46K photos
3.73K videos
41 files
4.76K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
Forwarded from Заметки
This media is not supported in your browser
VIEW IN TELEGRAM
Обновление DeepFaceLive

Добавлена возможность менять лицо, используя всего лишь одно фото (пример на прикрепленном видео).

Никто обнову уже не ждал (репозиторий улетел в архив и обновлять его не планировалось), но так как на днях энтузиаст поделился своим методом запуска roop в реалтайме, было решено добавить его и в DFLive.

Если меняете лицо на видео, то советую использовать дополнительно эту сборку для улучшения деталей лица https://drive.google.com/file/d/1YJJVnPGq90e_mWZxSGGTptNQilZNfOEO/view?usp=drivesdk

Скачать свежую версию DFLive можно тут https://mega.nz/folder/m10iELBK#Y0H6BflF9C4k_clYofC7yA
🔥41
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
Ну, за аниматоров. В восьмой раз.
Пока Юнити хайпует на ИИ, Эпик подозрительно отмалчивается.
Измотанные ожиданием пользователи берут код в свои руки и пишут плагины для UE.
Вот тут VFX Kitchen взял бумагу "Generating Diverse and Natural 3D Human Motions from Text" и модель SMPL от института Макса Планка и наваял плагин типа "text-to-animation".
Программеры не очень дружат с UI, поэтому три четверти демо происходит в левому углу видео, а мелкий текст промптов нужно расшифровывать отдельной нейросеткой или большим монитором. Но если вы дождались 1:29, то автор наконец жмет кнопку Сделать Красиво Vizualize Result и аниматоры, рыдая, идут учить промпт инжиниринг.
https://www.youtube.com/watch?v=oz-SgMJvRro
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Тут рассказывают, насколько крут Code Interpreter в ChatGPT. Как теперь выглядит суперказуальный геймдев и как быстро можно собрать демку, буквально на коленке у ИИ в течение 5 минут.

И так:

1. Пишем промпт: "write p5.js code for Asteroids where you control a spaceship with the mouse and shoot asteroids with the left click of the mouse. If your spaceship collides with an asteroid, you lose. If you shoot down all asteroids, you win! I want to use my own textures for the spaceship and for asteroids."

2. Идем на сайт Openprocessing, создаем скетч, сохраняем. Это нужно, чтобы загрузить текстурки. Копируем код из ChatGPT-4.

3. Генерируем текстурки, удаляем фон, например, в Clip Drop.

4. Заменяем имена текстур своими именами.

5. Запускаем.

6. Если что-то не работает, спрашиваем GPT-4, чтобы он исправил. Можно скопировать ошибку и попросить исправить.

7. Чтобы лучше понять, что происходит в коде, можно попросить чат объяснить, что означает конкретная функция, как объяснить 10-летнему ребенку.

И вот что получается в итоге!
Не понятно, чего там 6 лет GTA5 разрабатывали. 🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

Мне кажется это лучший генератор видео что я видел. Хотя может быть авторы выбрали самые крутые результаты. Или дело в минимуме движения. Но эти примеры выглядят восхитительно. Да это же облет камеры с параллаксом! Дайте две!

Суть в том что модель обученную на видео, встраивают в StableDiffusion. Да, все эти видео не сайте сгенерированы модельками с Civitai!

Код
Колаб

#text2video
5👍2
This media is not supported in your browser
VIEW IN TELEGRAM
VampNet: Music Generation via Masked Acoustic Token Modeling

Качественный генератор музыки с уклоном в экспериментальную, конкурент MusicGen
Только без текстовой подсказки. Может делать вариации и продолжить музыку из затравки.

Код найден благодаря @tech_wizart
Примеры
Примеры с LoRA дообучением
Демо

#music2music #audio2audio
👍5
Бонус
Аудиоредактор Audacity с интергрированным доступом к нейросеткам с HuggingFace от авторов VampNet (предыдущий пост). Это неофициальная пока сборка в статусе Pull request на гитхабе Audacity

#audio2audio #tools
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
DisCo: Disentangled Control forReferring Human Dance Generationin Real World

Аниматор-генератор танцев. Модель заточена на танцевальные позы и движения. Может анимировать статичную картинку персонажа, может клонировать движения с одного персонажа на другого, понимает скрытые элементы персонажа

Код
Демо

#humananimation #image2video #video2video #pose #humanavatar
👍1
moonlander.ai

Разработка игр без кода, по текстовым подсказкам. Как я понял, интегрируется в Unity/UE. Кнопка "записаться в вейтлист" не работает, кнопка "Связаться с нами" не работает. Единственное что работает это ссылка на дискорд. А демо веселое, да.

#text2game #text2code #coding
🤔2
Forwarded from Сиолошная
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic анонсировали Claude 2, новую модель в авангарде интеллектуальных ассистентов. Прямых сравнений с GPT-4 нет, но относительно старой модели улучшили всё, особенно математику, программирование и способность рассуждать.

Сама компания предлагает думать о Claude 2 как "о дружелюбном, полном энтузиазма коллеге или личном помощнике, которого можно проинструктировать на естественном языке, чтобы помочь вам со многими задачами".

Потыкать бету можно тут: https://claude.ai/
Почитать карточку модели (больше про метрики и сравнение Alignment, нежели технические детали обучения): тяжелый pdf

В прикрепленном видео - демонстрация юзкейсов (но "вау"-эффекта уже не производит...)

Source
Media is too big
VIEW IN TELEGRAM
С коллегами на днях обсуждали что технология хромакея устарела, в ней десятилетиями не заметно никакого принципиального прогресса. И вот оказывается Netflix запатентовал улучшенную технологию под названием Magenta Green Screen (MGS)

Фон освещают зелёными светодиодами, а актёров — красными и синими светодиодами. Так зеленый канал превращается в идеальную матирующую маску. Естественный цвет переднего плана восстанавливают ИИ-технологиями. Для этого потребуется дополнительно провести съемки актеров уже без красных и синих светодиодов.

На видео, нам, естественно, показали пример с идеальным задником, чего в реальности не бывает. Хотелось бы посмотреть как MGS справится со складками и стыками хромака, неравномерностью его освещения на больших площадках. А что если доп съемки актеров сделали неграмотно, и нейросетка не может правильно восстановить цвет?

Больше всего, конечно хочется пощупать все это своими руками.

Призываю в пост композеров и операторов

пейпер
Хабр
Видео

#keying #greenscreen
Рабочий демоспейс для One-2-3-45
Геометрия по картинке за 45 секунд.
Можно устроить батл на самую упоротую модельку в коментах

Демо

#imageto3D #textto3D #novelview #rendering
👍2
MyReader

Сервис отвечает на вопросы по залитым в него книгам. Суммаризатор на максималках, с которым можно чатиться. Еще и показывает из какого абзаца взят ответ. На бесплатном тарифе ограничение в 20 чат-запросов в день, по количеству книг тоже наверно есть какие-то ограничения.

В общем, подойдет лентяям вроде меня когда хочется чуть лучше разобраться в новой разработке, а читать пейпер некогда. Весьма полезное изобретение!

Для пробы залил в него PDF пейпер Magenta Green Screen и попросил сделать SWAT анализ, результат на скринах.

#summary #chatbot
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
TaskMatrix

Чат-редактор изображений от Microsoft.
Такой каким должен бы был быть Instructpix2pix (подозреваю что именно он под капотом отвечает за редактирование)
Суть на прикрепленном видео.
Помимо прочего внутри прикручены GroundingDINO и SAM

Код
Колаб
Демо (нужен API токен ChatGPT)

#text2image #image2image #chatbot
👍2