Нейронавт | Нейросети в творчестве – Telegram
Нейронавт | Нейросети в творчестве
10.6K subscribers
4.47K photos
3.73K videos
41 files
4.77K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus

Заявка на регистрацию в РКН № 6309426111
Download Telegram
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Тут рассказывают, насколько крут Code Interpreter в ChatGPT. Как теперь выглядит суперказуальный геймдев и как быстро можно собрать демку, буквально на коленке у ИИ в течение 5 минут.

И так:

1. Пишем промпт: "write p5.js code for Asteroids where you control a spaceship with the mouse and shoot asteroids with the left click of the mouse. If your spaceship collides with an asteroid, you lose. If you shoot down all asteroids, you win! I want to use my own textures for the spaceship and for asteroids."

2. Идем на сайт Openprocessing, создаем скетч, сохраняем. Это нужно, чтобы загрузить текстурки. Копируем код из ChatGPT-4.

3. Генерируем текстурки, удаляем фон, например, в Clip Drop.

4. Заменяем имена текстур своими именами.

5. Запускаем.

6. Если что-то не работает, спрашиваем GPT-4, чтобы он исправил. Можно скопировать ошибку и попросить исправить.

7. Чтобы лучше понять, что происходит в коде, можно попросить чат объяснить, что означает конкретная функция, как объяснить 10-летнему ребенку.

И вот что получается в итоге!
Не понятно, чего там 6 лет GTA5 разрабатывали. 🤡
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

Мне кажется это лучший генератор видео что я видел. Хотя может быть авторы выбрали самые крутые результаты. Или дело в минимуме движения. Но эти примеры выглядят восхитительно. Да это же облет камеры с параллаксом! Дайте две!

Суть в том что модель обученную на видео, встраивают в StableDiffusion. Да, все эти видео не сайте сгенерированы модельками с Civitai!

Код
Колаб

#text2video
5👍2
This media is not supported in your browser
VIEW IN TELEGRAM
VampNet: Music Generation via Masked Acoustic Token Modeling

Качественный генератор музыки с уклоном в экспериментальную, конкурент MusicGen
Только без текстовой подсказки. Может делать вариации и продолжить музыку из затравки.

Код найден благодаря @tech_wizart
Примеры
Примеры с LoRA дообучением
Демо

#music2music #audio2audio
👍5
Бонус
Аудиоредактор Audacity с интергрированным доступом к нейросеткам с HuggingFace от авторов VampNet (предыдущий пост). Это неофициальная пока сборка в статусе Pull request на гитхабе Audacity

#audio2audio #tools
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
DisCo: Disentangled Control forReferring Human Dance Generationin Real World

Аниматор-генератор танцев. Модель заточена на танцевальные позы и движения. Может анимировать статичную картинку персонажа, может клонировать движения с одного персонажа на другого, понимает скрытые элементы персонажа

Код
Демо

#humananimation #image2video #video2video #pose #humanavatar
👍1
moonlander.ai

Разработка игр без кода, по текстовым подсказкам. Как я понял, интегрируется в Unity/UE. Кнопка "записаться в вейтлист" не работает, кнопка "Связаться с нами" не работает. Единственное что работает это ссылка на дискорд. А демо веселое, да.

#text2game #text2code #coding
🤔2
Forwarded from Сиолошная
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic анонсировали Claude 2, новую модель в авангарде интеллектуальных ассистентов. Прямых сравнений с GPT-4 нет, но относительно старой модели улучшили всё, особенно математику, программирование и способность рассуждать.

Сама компания предлагает думать о Claude 2 как "о дружелюбном, полном энтузиазма коллеге или личном помощнике, которого можно проинструктировать на естественном языке, чтобы помочь вам со многими задачами".

Потыкать бету можно тут: https://claude.ai/
Почитать карточку модели (больше про метрики и сравнение Alignment, нежели технические детали обучения): тяжелый pdf

В прикрепленном видео - демонстрация юзкейсов (но "вау"-эффекта уже не производит...)

Source
Media is too big
VIEW IN TELEGRAM
С коллегами на днях обсуждали что технология хромакея устарела, в ней десятилетиями не заметно никакого принципиального прогресса. И вот оказывается Netflix запатентовал улучшенную технологию под названием Magenta Green Screen (MGS)

Фон освещают зелёными светодиодами, а актёров — красными и синими светодиодами. Так зеленый канал превращается в идеальную матирующую маску. Естественный цвет переднего плана восстанавливают ИИ-технологиями. Для этого потребуется дополнительно провести съемки актеров уже без красных и синих светодиодов.

На видео, нам, естественно, показали пример с идеальным задником, чего в реальности не бывает. Хотелось бы посмотреть как MGS справится со складками и стыками хромака, неравномерностью его освещения на больших площадках. А что если доп съемки актеров сделали неграмотно, и нейросетка не может правильно восстановить цвет?

Больше всего, конечно хочется пощупать все это своими руками.

Призываю в пост композеров и операторов

пейпер
Хабр
Видео

#keying #greenscreen
Рабочий демоспейс для One-2-3-45
Геометрия по картинке за 45 секунд.
Можно устроить батл на самую упоротую модельку в коментах

Демо

#imageto3D #textto3D #novelview #rendering
👍2
MyReader

Сервис отвечает на вопросы по залитым в него книгам. Суммаризатор на максималках, с которым можно чатиться. Еще и показывает из какого абзаца взят ответ. На бесплатном тарифе ограничение в 20 чат-запросов в день, по количеству книг тоже наверно есть какие-то ограничения.

В общем, подойдет лентяям вроде меня когда хочется чуть лучше разобраться в новой разработке, а читать пейпер некогда. Весьма полезное изобретение!

Для пробы залил в него PDF пейпер Magenta Green Screen и попросил сделать SWAT анализ, результат на скринах.

#summary #chatbot
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
TaskMatrix

Чат-редактор изображений от Microsoft.
Такой каким должен бы был быть Instructpix2pix (подозреваю что именно он под капотом отвечает за редактирование)
Суть на прикрепленном видео.
Помимо прочего внутри прикручены GroundingDINO и SAM

Код
Колаб
Демо (нужен API токен ChatGPT)

#text2image #image2image #chatbot
👍2
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Kandinsky 2.2

Тут коллеги выложили Кандинского в открытый доступ. Попробовал, картинки получаются прикольнее чем было до этого, плюс увеличилось выходное разрешение.

Кроме того, всё это теперь можно запустить через библиотеку diffusers!

А Арсений Шахматов, один из авторов, обещает сегодня выложить Colab'ы с примерами дообучения модели на LoRA. Ждём.

👉 Хабр | hf | телеграм-бот
Forwarded from Psy Eyes (Andrey Bezryadin)
This media is not supported in your browser
VIEW IN TELEGRAM
Цветокоррекция с помощью нейронок через NILUT.

LUT, или Lookup Table, используется в кино для преобразования цветов и тонов в кадре. Помимо грейдинга видео, LUT используется в фотографии, CG, калибрации мониторов и стриминге. Вот видос на эту тему.

3D LUT (3D Lookup Table) - это расширение концепции LUT, которое используется в обработке изображений для более точного контроля над цветами и тонами. Вместо одномерной таблицы, как в обычном LUT, 3D LUT использует трехмерную таблицу, что позволяет более точно манипулировать цветами в изображении.

NILUT (Neural Implicit Lookup Table) - это еще более сложное расширение концепции LUT. Здесь используется нейросеть для параметризации 3D LUT, что позволяет ей эмулировать реальные 3D LUT с большей точностью и гибкостью. Это означает, что NILUT может включать в себя несколько стилей и смешивать их, что делает её более мощным инструментом для улучшения изображений.

Гитхаб
Колаб
👍4