стрим в 22 по Еревану

в программе:
большие языковые модели
новые text2video нейронки

@тоже_моушн

Предварительно сегодня в 20:00 по мск хотим немножко постримить про очень интересный софт для постпродакшена Wonder Studio.

Событие может перенестись на следующий день в связи с горящими жопами участвующих, так что лучше нажать кнопочку "Прислать уведомление" или вообще подписаться на YouTube канал, если ещё этого не сделали. О переносах сообщим)

Подкаст будет онлайн как всегда, только хардкор! Поэтому готовьте свои вопросики по теме софта Wonder Studio прямо тут в комментах.

Подкаст будет тут

ого, большой апдейт ControlNet! в новой версии как будто гораздо лучше стали работать препроцессы - качественней просчитывается глубина, нормали стали выглядеть как нормали, сегментация уже не такая дырявая, в опенпоз нормально поддерживаются руки и лица. появилась опция inpaint. а еще добавилась модель shuffle - похожая на t2i style adapter - выдает вариации исходной картинки. ну что, снова вот э тайм ту би элайф?

@тоже_моушн

прикольное расширение для автоматика - создает бесконечный зум по текстовому запросу. год назад приходилось такое ручками делать а тут наконец то автоматизировано

расширение на github
мой зум-аут в далли

@тоже_моушн

Nvidia дропнула новую модельку
text2video. Качество заметно подросло по сравнению с предыдущими, но это всё ещё не идеальный вариант.

К сожалению, попробовать пока негде, есть только страница проекта с описанием.

Так что пока любуемся Штурмовиком, пылесосящим пляж. В комменты можете кидать удачные примеры использования.

жара! в дискорде runway наконец то заработал gen-2 - генерация видео по текстовому запросу!
мой промпт до сих пор висит в списке ожидания поэтому вот вам чужие астро-котики

@тоже_моушн

некоторые из вас знают что я веду курс по видео-нейронкам в Пражской медиашколе. сегодня наконец то собрали выставку работ выпускников первого потока, и там есть на что посмотреть! очень горжусь студентами и рад что многие дошли до финала и выразили себя в нейро творчестве. ребята, вы крутаны!

а если вы хотите также, сейчас идет набор на третий поток, который стартует в конце мая. и промокод TOZHE все еще работает

@тоже_моушн

плагин для блендера Dream Textures мощно так обновился! он теперь поддерживает контролнет со всеми плюшками, а настройка генерации перекочевала в комфортный нодовый редактор. что это если не хорошая альтернатива автоматику?

p.s. это тот самый плагин который еще и генерацию текстур прямо на 3д объект умеет делать - супер буст для текстурирования не выходя из блендера

скачать плагин

@тоже_моушн

Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.

Нагенерируйте мне красоты!

https://www.youtube.com/watch?v=Un_b8cvzxcw

Короткое промо и демонстрация основных функций первого доступного скрипта для работы со Stable Diffusion под After Effects.

Основные функции
- txt2img с использованием controlnet (покадрово и анимация)
- interrogate
- Препроцессинг изображений (получаем canny и depth прям из Афтера!)
- скрипты для копирования промптов из файлов

Сам скрипт в описании канала.

каким то образом мимо меня пролетела инфа про отличное расширение для автоматика SD-CN-Animation. помимо весьма неплохого text2video (почти настоящего) умеет еще и стилизовать видео по текстовому запросу. я довольный как кот-космонавт!

github

за наводку спасибо Psy Eyes

@тоже_моушн

кому нужны все эти дефорумы, ген-2 и прочие text2video решения если отличный клип можно сделать просто на статичных картинках? смысл же не во внутрикадровом движении а в глубине замысла и харизме автора.

должен признаться, я смотрел клип "Маликов" раз 10 и не могу остановиться! что то он такое задевает внутри, что то глубинное и неясное - глаза горят и смех разливается. а все потому что это образец метаиронии и метамодерна с непредсказуемым финалом.

Олегу Суркову - автору видеоряда - мой респект!

Кирилл Экономов - "Маликов"

@тоже_моушн

Вышел выпуск Редакции про ИИ

Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.

Рада оказаться в выпуске среди дорогих коллег и визионеров.

Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.

РОБОТЫ НАС ЗАМЕНЯТ 🤖🎵

а поможет в этом Wonder Dynamics к которому я наконец то получил доступ!

для тех кто все пропустил - это такой сервис, который ВСЁ делает сам: трекинг, клинап, цветокор. на вход - видео с человеком, на выходе - вполне грамотно вкомпоженный в шот 3д персонаж, даже окружение и освещение неплохо подбирает. и минимум работы руками. правда выбор персонажей невелик, в основном роботы, но можно загрузить и своего

с идеями - кого можно заменить на робота - прошу в комменты. а для вдохновения рекомендую посетить страницу проекта в твиттере или полистать там ленту с тэгом #wonderdynamics

запись в вейтлист

@тоже_моушн

не так давно на канале был пост про BlockadeLabs, первый общедоступный сервис по генерации 360 панорам с помощью Stable Diffusion

а на днях создатели наконец то прикрутили к нему ControlNet. и теперь в режиме Scribble можно накидать примерный эскиз будущей панорамы

чтобы понять возможности применения - рекомендую прогуляться по страничке проекта в твиттере

а для тех кто недавно присоединился к каналу - вот два поста на эту тему:

первые попытки в BlockadeLabs
альтернативный воркфлоу для Автоматик1111

в обоих постах есть ссылки по которым можно покрутить генерации в 360

сделать свою панораму в BlockadeLabs

@тоже_моушн

c головой нырнул в нерфы, ближайшие посты будут о том как сделать свой нейронный слепок пространства

Lumalabs - вероятно самый популярный и раскрученный NeRF продукт. есть приложение Luma AI для ios, но также свой нерф можно сделать бесплатно у них на сайте. больше всего понравилось "переснимать" готовые нерфы в режиме AR - просто загружаешь нерф к себе в комнату и ходишь вокруг (пример в комментах).
на сайте есть свой условно удобный интерфейс для анимации камеры. есть опция импорта камеры в формате fbx.
и наверное главных хук Lumalabs - плагин для Unreal Engine: нерфы сделанные у них на сайте или в приложении можно экспортировать в специальный формат который затем встраивается в игровой движок, это мега круто!
из минусов - рендер видео сопровождается логотипом в углу кадра и есть лимиты на количество рендеров (30 в месяц)

Lumalabs.ai
нереально красивый клип целиком на нерфах
плагин для UE

@тоже_моушн

бытовой нейро-натюрморт в неоновых тонах

instant-ngp - самый быстрый нерф с возможностью запуска на популярных современных карточках, начиная с 10xx серии. чтобы запустить - качаем архив с гитхаба, минимум танцев с бубнами.
интерфейс не самый дружелюбный но разобраться можно быстро.

плюсы:
быстрый, красивый результат,
ништяки - визуальные эффекты, например depth of field,
есть кнопка отправки в VR (не пробовал)

минусы:
качество немного хуже чем у Luma AI,
интерфейс не очень подходит для создания сложных анимаций камеры и не хватает встроенной возможности обмена информацией с 3д софтами типа блендера (пытаюсь придумать пайплайн)

страница проекта
гитхаб
подробный разбор установки и интерфейса от Турбинского
пара полезных скриптов - автоматизация создания датасета из картинок и видео

@тоже_моушн

и наконец nerfstudio - самая продвинутая и хорошо продуманная среда для обучения, просмотра и рендера нерфов.

взрослый понятный интерфейс, связка с блендером, возможность запускать задачи через командную строку - настоящий рай для нейро-гика

мега-фича:
нерф можно выгнать как облако точек или меш, импортировать в блендер, затем сделать анимацию камеры, экспортнуть в формате json обратно в нерф и отрендерить нерф-анимацию (как в прикрепленной gif)!
в комменты положу пример - использовал телефон как виртуальную камеру, движение которой потом прицепил к нерфу

плюсы:
хорошо задокументированы все режимы и настройки софта,
аккуратный результат,
помимо встроенного относительно неплохого nerfacto позволяет обучать нерфы на самых разных алгоритмах, в том числе instant-ngp,
возможность запуска операций через командную строку

минусы:
медленное обучение,
неидеальное качество,
нужно кодить чтобы получить эффекты типа DOF

и напоследок просто мысль: отчетливая ассоциация с ранними фотографиями - когда людям приходилось сидеть в кадре неподвижно по несколько минут. в моем случае сын дрыгался, поэтому в нерфе он размазался, в отличие от четкого ковра

nerfstudio github
nerfstudio docs
видео о том как установить и запускать
видео о хитрых пайплайнах и интеграции с блендером

@тоже_моушн