Нейросети и Блендер – Telegram
Нейросети и Блендер
12.8K subscribers
1.41K photos
356 videos
3 files
565 links
Дизайн и искусство в Blender и в AI
Тренирую модели, людей и себя

Поддержать канал — patreon.com/monkeyinlaw_patreon

Стрим канал — https://news.1rj.ru/str/motivationarts

https://linktr.ee/monkeyinlaw — Связь

Чата в канале нет с 13.07.2025
Download Telegram
Disco Diffusion —> Midjourney v4

📕 Хотелось бы рассказать про Disco Diffusion, он до сих пор доступен в Midjourney, если выбрать --v 1, этот алгоритм с улучшенными дополнительными промптами стал доступен для бета теста 5 марта 2022 года, примерно в то же время, как вышел Disco Diffusion v5.

😳 Тогда было мало инструментов для img2text и в целом коммьюнити первое время вручную добывало интересные промпты, при среднем времени 10-20 минут на одну генерацию, этот процесс мотивировался лишь одной мыслью, что такая красота получается через перемножение матриц, текстовой подсказки и видеокарты, которая просчитывая всё это делала бррррр....

🧐 Иногда хотелось создать анимацию и тогда вкладка в колабе не закрывалась по два-три дня, а на выходе получалось 10 секундное видео, ВОУ, особенно спустя год это выглядит очень, очень медленно.

🫥 Дискорд и твиттер составлял основу поиска информации о том как генерить, какие настройки ставить и так же поиск интересных промптов или новых художников для генерации, а когда получилось создавать свою связку, то хотелось сразу показать результаты остальным.

🥳 И это все было лишь год назад, с этого времени кажется что прошло еще 2 артовые революции, хотя и тогда я бегал по всем кафе и заведениям в городе показывая работы и говоря о том, что грядут невероятные вещи в искусстве (напоминает городских сумасшедших?)

😶‍🌫️ Сейчас многие из тех энтузиастов занимают должности в Midjourney, Stability AI или стали уже известными AI художниками. Но мне кажется все это только начало, нас ждет безумие в видео нейронках, 3D нейронках и в нейронках симуляции мира. Каждый из этих этапов будет переворачивать медиа и привычные взгляды на жизнь и работу.

Вот такой получился пятничный пост. 

Промпт: an ultrafine detailed painting of cloisonnism::2 + art by Ji Sheng + art by Cheng Shifa + art by Li Gonglin + art by Fu Baoshi + art by Wuzhun Shifan + modern european ink painting + naive art + fantasy art + art & language + traditional chinese watercolor + traditional chinese ink painting
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍205🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Simpsons intro через GEN-1

🧍‍♂️ «Симпсоны» в стиле экспериментальной кубистической покадровой анимации. Продолжая традиции разноформатных интро для Симпсонов.

😭 Анализ ролика показывает, что на данный момент GEN-1 явно имеет ограничения в длительности генерации, поэтом стилистика видеоряда в интро скачет.

🥶 Эта проблема разделения на две части задач по видео нейронкам: передача нового стиля для видео и понимания что происходит в видео. В GEN-1 проблему движений решили дополнительным датасетом Davis в 6.4 миллиона видео в дополнение к 240 миллионам изображений. PAPER

Автор интро: Paul Trillo
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥292😁2
Дайджест за неделю

👍 Google vs Miscrosoft. На этой неделе много новостей о провальной презентации Google, где ожидалось представление невероятного конкурента ChatGPT, но на выходе получили сырой продукт, который и потестить сложно.

Не понятно зачем так поспешили с анонсом, все же Google имеет мощные статьи и ресерч, но с выводом на продуктовый уровень своих трудов Google явно имеет огромные проблемы.

В этом абсолютная победа OpenAI и Microsoft. К слову о Google, кажется ребята смотрят на несколько шагов вперед, хорошо что OpenAI может позволить себе навести суету в огромной корпорации. Теперь начинаются первые AI войны за лучшие инструменты для пользователей. Пользователи от этой битвы будет только в плюсе.

📕 OpenAI стали предлагать подписку на ChatGPT, без очередей и без падений модели всего за 20$ в месяц, на выбор есть две модели: Быстрая модель и стандартная. Приобрел себе подписку для этой новости, чтобы сказать что внутри.

🍎 Img2img на этой неделе преобразился аж тремя новыми моделями на основе SD:

🔥 Pix2Pix - Zero-shot - выглядит максимально автоматизировано и кажется Pix2Pix модельки будут отлично в будущем совместно с BLIP2-разметкой заменять промпт инженеров. Еще раз метод не требует текстовых дополнений или файнтюна модели, а результаты сравнимы с Dreambooth генерациям при затрате Dreambooth больших ресурсов и времени.
INFOGITHUBDEMO

🤫 PnP-diffusion. Схожая модель основанная на возможностях предварительно обученного текста. Модель создает img2img соответствующую целевому тексту, при сохранении структуры исходного изображения.
INFOPAPERGITHUBEXAMPLES

🐑 ControlNet. Использую разные методы создания краев объекта улучшает контроль структуры исходного изображения, вариантов поиграться много, в Github много примеров и подробное описание.
INFOPAPERGITHUBDEMOCOLAB

Превью - генерация из Midjourney, получилась неожиданно, как артефакт в подборке реалистичных пейзажей
Please open Telegram to view this post
VIEW IN TELEGRAM
👍182🔥1
Forwarded from тоже моушн
This media is not supported in your browser
VIEW IN TELEGRAM
вау! получай еще один колаб для стилизации видео с помощью Instruct pix2pix. автор прикрутил к нему Эбсинт (!) для получения более гладкого, консистентного результата

твиттер автора
colab notebook IP2P Video w/ Coherence Guidance

за наводку спасибо Нейросети и Блендер

@тоже_моушн
👍16🔥72
This media is not supported in your browser
VIEW IN TELEGRAM
Джим Керри в Том Круза

🍎 Через новый аддон ControlNet для Automatic1111 TomLikesRobots сделал более стабильную анимацию с изменением лица.

😶‍🌫️ Использовался img2img и модель Canny Edge Detection в ControlNet.

🥳 Сейчас развиваются сразу несколько одновременно подходов (InstructPix2Pix, ControlNet, Gen-1) для создания стабильных видео нейронок и это хорошо!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Gen-1 генерации невероятно красивые

Доступ к новой сетки я жду с таким же нетерпением, как доступ к Dalle 2(А помните как все хотели ее потестить год назад?)

Это все же новый подход в генерации видеоряда, пока нужен референс для генерации, но какое же видео на выходе!

В посте работа Paul Trillo, где он использует Nerf генерации совместно с 3d рендерами как входящие видео, смешивает с рефернс картинками космоса и получает такое красивое безумие!
🔥37👍71
ControlNet хорош!

☺️ Позволяет не только делать более подробные позы и контролировать положение персонажа, но еще и в мемы можно, пальцев было много в генерациях?

😳 Теперь сетки могут генерить и ног больше и рук и даже голов! Кайф!

🐱 Это все работы toyxyz у него в твиттере еще много всего интересного про ControlNet, мне особенно нравятся связки с Блендером.

🧑‍🎓 Вот Automatic1111 addon и конечно ждем вскоре Блендер addon.

Уверен будет Open Pose для Блендера c возможность анимации, а некоторые уже перенесли normal генерации ControlNet в Блендер.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥7😱1
Forwarded from Denis Sexy IT 🤖
Журнал Time поместил на обложку скрин с ChatGPT, и написал статью где говорится примерно следующее:

Гонка ИИ набирает обороты и технологические компании бегут, чтобы создать все более продвинутые и мощные модели ИИ. Однако все большая зависимость от ИИ вызывает опасения по поводу потенциальных рисков, включая монополизацию глобальной экономики и существенные угрозы человечеству.

Несмотря на усилия по обеспечению соответствия ИИ человеческим ценностям, многие считают, что нужно сделать больше, чтобы решить проблемы ИИ и предотвратить будущие катастрофы. Хотя потенциальные выгоды от ИИ огромны, важно, чтобы мы подходили к его разработке с осторожностью и приоритет отдавали безопасности над прибылью.

Короче говоря, статья предупреждает о рисках, вызванных все большим интегрированием ИИ в нашу жизнь и потенциальных последствиях создания ИИ, который будет более мощным, чем человек.

Порыв к развитию ИИ вызван перспективой огромных прибылей, но поскольку компании приоритетно относятся к скорости вместо безопасности – растет беспокойство о том, что корпорации могут создать чудовище, и это может привести к катастрофическим последствиям.

Хотя развитие ИИ имеет потенциал переосмыслить нашу жизнь по многим аспектам, важно, чтобы мы адресовали риски и принимали осторожный подход к его развитию.

Я подумал, что будет иронично, если сначала краткое содержание статьи сделает ChatGPT, а потом это краткое содержание на английском, я подам на вход в другую GPT нейронку, доообученную на моем телеграм канале – в общем, все что серым, написало нейронка, якобы в моем стиле, но я что-то не вижу тут тупых шуток, да и слог хромает, так что продолжу эксперименты.

#Нейропост_v01
👍23🤯54🔥2🎉2
This media is not supported in your browser
VIEW IN TELEGRAM
Дайджест по творчеству

🤫 Основной дайджест выйдет завтра, коротко — ControlNet, InstructPix2Pix перевернул всю AI анимацию за одну неделю, генерации стали стабильнее в разы! Есть позы, края, карты глубины новые ууух

😡 Хотелось бы показать несколько интересных работ, которые вышли в СНГ пространстве на этой неделе в клипах:

🔥 У Славы Мэрлоу вышел клип на трек О2, и там похоже использовался videoinput и интерполяция.
КЛИПAI ARTIST

🔥 OFFMi - Найду. Здесь приятный videoinput с масками. И сцены хорошо вписаны в стандартный клип.
КЛИПAI ARTIST

☺️ И вышло со мной интервью, где я общаюсь про нейросети с продюсером медиапроизводства Светланой Лаурой
Интервью было записано достаточно давно. Многие вещи поменялись, стали намного круче, качество генераций улучшаются стремительно!

Хотя всю неделю ковырялся в коде, теперь прям все новые инструменты дико замотивировали поделать новых нейроанимаций.
Please open Telegram to view this post
VIEW IN TELEGRAM
21👍8🔥8😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Воскресный дайджест в понедельник

🔥 ControlNet - дообучение с новыми слоями поверх SD 1.5, который полностью меняет подход к img2img, теперь можно контролировать карту глубины детальнее, позу, карту нормалей, края объектов на изображениях, сегментацию изображений для контроля объектов при генерации и их положений и много еще.

❤️ Так же можно контролировать и смешивать эти подходы. Уже сейчас появились варианты использования для улучшения стабильность AI анимаций. Но кажется все еще впереди.

📕 Теперь можно создавать клипы с контролем действий персонажа, а как известно в SD 1.5 мы можем дообучить на своем датасете. Использовать простые сцены из Блендера, как основу локации и много еще крутого!
PAPERGITHUBWEBUIforAUTO1111

😶‍🌫️ Редактор поз для ControlNet. Создание любых поз и так же любого количества персонажей в сцене.
GITHUBDEMO

😳 UV texture map через ControlNet. Здесь прям обучалка как создавать очень крутые UV текстурки через ControlNET. Надеюсь скоро добавят прям в Blender к Dream Texture.
LINK

У меня пока не было время оценить все возможность, но ТожеМоушн уже провел небольшой стрим про ControlNet, вот запись стрима.

Ожидаем всплеска новых пайплайнов для анимаций, кажется GEN-1 уже не такой желанный.(Но потыкать его еще хочется)
Please open Telegram to view this post
VIEW IN TELEGRAM
21🔥7👍1