Disco Diffusion —> Midjourney v4
📕 Хотелось бы рассказать про Disco Diffusion, он до сих пор доступен в Midjourney, если выбрать --v 1, этот алгоритм с улучшенными дополнительными промптами стал доступен для бета теста 5 марта 2022 года, примерно в то же время, как вышел Disco Diffusion v5.
😳 Тогда было мало инструментов для img2text и в целом коммьюнити первое время вручную добывало интересные промпты, при среднем времени 10-20 минут на одну генерацию, этот процесс мотивировался лишь одной мыслью, что такая красота получается через перемножение матриц, текстовой подсказки и видеокарты, которая просчитывая всё это делала бррррр....
🧐 Иногда хотелось создать анимацию и тогда вкладка в колабе не закрывалась по два-три дня, а на выходе получалось 10 секундное видео, ВОУ, особенно спустя год это выглядит очень, очень медленно.
🫥 Дискорд и твиттер составлял основу поиска информации о том как генерить, какие настройки ставить и так же поиск интересных промптов или новых художников для генерации, а когда получилось создавать свою связку, то хотелось сразу показать результаты остальным.
🥳 И это все было лишь год назад, с этого времени кажется что прошло еще 2 артовые революции, хотя и тогда я бегал по всем кафе и заведениям в городе показывая работы и говоря о том, что грядут невероятные вещи в искусстве
😶🌫️ Сейчас многие из тех энтузиастов занимают должности в Midjourney, Stability AI или стали уже известными AI художниками. Но мне кажется все это только начало, нас ждет безумие в видео нейронках, 3D нейронках и в нейронках симуляции мира. Каждый из этих этапов будет переворачивать медиа и привычные взгляды на жизнь и работу.
(напоминает городских сумасшедших?) Вот такой получился пятничный пост.Промпт:
an ultrafine detailed painting of cloisonnism::2 + art by Ji Sheng + art by Cheng Shifa + art by Li Gonglin + art by Fu Baoshi + art by Wuzhun Shifan + modern european ink painting + naive art + fantasy art + art & language + traditional chinese watercolor + traditional chinese ink paintingPlease open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤5🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Simpsons intro через GEN-1
🧍♂️ «Симпсоны» в стиле экспериментальной кубистической покадровой анимации. Продолжая традиции разноформатных интро для Симпсонов.
😭 Анализ ролика показывает, что на данный момент GEN-1 явно имеет ограничения в длительности генерации, поэтом стилистика видеоряда в интро скачет.
🥶 Эта проблема разделения на две части задач по видео нейронкам: передача нового стиля для видео и понимания что происходит в видео. В GEN-1 проблему движений решили дополнительным датасетом Davis в 6.4 миллиона видео в дополнение к 240 миллионам изображений. PAPER
Автор интро: Paul Trillo
Автор интро: Paul Trillo
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥29❤2😁2
Дайджест за неделю
👍 Google vs Miscrosoft. На этой неделе много новостей о провальной презентации Google, где ожидалось представление невероятного конкурента ChatGPT, но на выходе получили сырой продукт, который и потестить сложно.
Не понятно зачем так поспешили с анонсом, все же Google имеет мощные статьи и ресерч, но с выводом на продуктовый уровень своих трудов Google явно имеет огромные проблемы.
В этом абсолютная победа OpenAI и Microsoft. К слову о Google, кажется ребята смотрят на несколько шагов вперед, хорошо что OpenAI может позволить себе навести суету в огромной корпорации. Теперь начинаются первые AI войны за лучшие инструменты для пользователей.📕 OpenAI стали предлагать подписку на ChatGPT, без очередей и без падений модели всего за 20$ в месяц, на выбор есть две модели: Быстрая модель и стандартная. 🍎 Img2img на этой неделе преобразился аж тремя новыми моделями на основе SD:
🔥 Pix2Pix - Zero-shot - выглядит максимально автоматизировано и кажется Pix2Pix модельки будут отлично в будущем совместно с BLIP2-разметкой заменять промпт инженеров. Еще раз метод не требует текстовых дополнений или файнтюна модели, а результаты сравнимы с Dreambooth генерациям при затрате Dreambooth больших ресурсов и времени.
INFO—GITHUB—DEMO
🤫 PnP-diffusion. Схожая модель основанная на возможностях предварительно обученного текста. Модель создает img2img соответствующую целевому тексту, при сохранении структуры исходного изображения.
INFO—PAPER—GITHUB—EXAMPLES
🐑 ControlNet. Использую разные методы создания краев объекта улучшает контроль структуры исходного изображения, вариантов поиграться много, в Github много примеров и подробное описание.
INFO—PAPER—GITHUB—DEMO—COLAB
Не понятно зачем так поспешили с анонсом, все же Google имеет мощные статьи и ресерч, но с выводом на продуктовый уровень своих трудов Google явно имеет огромные проблемы.
В этом абсолютная победа OpenAI и Microsoft. К слову о Google, кажется ребята смотрят на несколько шагов вперед, хорошо что OpenAI может позволить себе навести суету в огромной корпорации. Теперь начинаются первые AI войны за лучшие инструменты для пользователей.
Пользователи от этой битвы будет только в плюсе.
Приобрел себе подписку для этой новости, чтобы сказать что внутри.
INFO—GITHUB—DEMO
INFO—PAPER—GITHUB—EXAMPLES
INFO—PAPER—GITHUB—DEMO—COLAB
Превью - генерация из Midjourney, получилась неожиданно, как артефакт в подборке реалистичных пейзажейPlease open Telegram to view this post
VIEW IN TELEGRAM
👍18❤2🔥1
Forwarded from тоже моушн
This media is not supported in your browser
VIEW IN TELEGRAM
вау! получай еще один колаб для стилизации видео с помощью Instruct pix2pix. автор прикрутил к нему Эбсинт (!) для получения более гладкого, консистентного результата
твиттер автора
colab notebook IP2P Video w/ Coherence Guidance
за наводку спасибо Нейросети и Блендер
@тоже_моушн
твиттер автора
colab notebook IP2P Video w/ Coherence Guidance
за наводку спасибо Нейросети и Блендер
@тоже_моушн
👍16🔥7❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Джим Керри в Том Круза
🍎 Через новый аддон ControlNet для Automatic1111 TomLikesRobots сделал более стабильную анимацию с изменением лица.
😶🌫️ Использовался img2img и модель Canny Edge Detection в ControlNet.
🥳 Сейчас развиваются сразу несколько одновременно подходов (InstructPix2Pix, ControlNet, Gen-1) для создания стабильных видео нейронок и это хорошо!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Gen-1 генерации невероятно красивые
Доступ к новой сетки я жду с таким же нетерпением, как доступ к Dalle 2
В посте работа Paul Trillo, где он использует Nerf генерации совместно с 3d рендерами как входящие видео, смешивает с рефернс картинками космоса и получает такое красивое безумие!
Доступ к новой сетки я жду с таким же нетерпением, как доступ к Dalle 2
(А помните как все хотели ее потестить год назад?)
Это все же новый подход в генерации видеоряда, пока нужен референс для генерации, но какое же видео на выходе! В посте работа Paul Trillo, где он использует Nerf генерации совместно с 3d рендерами как входящие видео, смешивает с рефернс картинками космоса и получает такое красивое безумие!
🔥37👍7❤1
ControlNet хорош!
☺️ Позволяет не только делать более подробные позы и контролировать положение персонажа, но еще и в мемы можно, пальцев было много в генерациях?
😳 Теперь сетки могут генерить и ног больше и рук и даже голов! Кайф!
🐱 Это все работы toyxyz у него в твиттере еще много всего интересного про ControlNet, мне особенно нравятся связки с Блендером.
🧑🎓 Вот Automatic1111 addon и конечно ждем вскоре Блендер addon.
Уверен будет Open Pose для Блендера c возможность анимации, а некоторые уже перенесли normal генерации ControlNet в Блендер.Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥7😱1
Forwarded from Denis Sexy IT 🤖
Журнал Time поместил на обложку скрин с ChatGPT, и написал статью где говорится примерно следующее:
Я подумал, что будет иронично, если сначала краткое содержание статьи сделает ChatGPT, а потом это краткое содержание на английском, я подам на вход в другую GPT нейронку, доообученную на моем телеграм канале – в общем, все что серым, написало нейронка, якобы в моем стиле, но я что-то не вижу тут тупых шуток, да и слог хромает, так что продолжу эксперименты.
#Нейропост_v01
Гонка ИИ набирает обороты и технологические компании бегут, чтобы создать все более продвинутые и мощные модели ИИ. Однако все большая зависимость от ИИ вызывает опасения по поводу потенциальных рисков, включая монополизацию глобальной экономики и существенные угрозы человечеству.
Несмотря на усилия по обеспечению соответствия ИИ человеческим ценностям, многие считают, что нужно сделать больше, чтобы решить проблемы ИИ и предотвратить будущие катастрофы. Хотя потенциальные выгоды от ИИ огромны, важно, чтобы мы подходили к его разработке с осторожностью и приоритет отдавали безопасности над прибылью.
Короче говоря, статья предупреждает о рисках, вызванных все большим интегрированием ИИ в нашу жизнь и потенциальных последствиях создания ИИ, который будет более мощным, чем человек.
Порыв к развитию ИИ вызван перспективой огромных прибылей, но поскольку компании приоритетно относятся к скорости вместо безопасности – растет беспокойство о том, что корпорации могут создать чудовище, и это может привести к катастрофическим последствиям.
Хотя развитие ИИ имеет потенциал переосмыслить нашу жизнь по многим аспектам, важно, чтобы мы адресовали риски и принимали осторожный подход к его развитию.
Я подумал, что будет иронично, если сначала краткое содержание статьи сделает ChatGPT, а потом это краткое содержание на английском, я подам на вход в другую GPT нейронку, доообученную на моем телеграм канале – в общем, все что серым, написало нейронка, якобы в моем стиле, но я что-то не вижу тут тупых шуток, да и слог хромает, так что продолжу эксперименты.
#Нейропост_v01
👍23🤯5❤4🔥2🎉2
This media is not supported in your browser
VIEW IN TELEGRAM
Дайджест по творчеству
🤫 Основной дайджест выйдет завтра, коротко — ControlNet, InstructPix2Pix перевернул всю AI анимацию за одну неделю, генерации стали стабильнее в разы! 😡 Хотелось бы показать несколько интересных работ, которые вышли в СНГ пространстве на этой неделе в клипах:
🔥 У Славы Мэрлоу вышел клип на трек О2, и там похоже использовался videoinput и интерполяция.
КЛИП—AI ARTIST
🔥 OFFMi - Найду. Здесь приятный videoinput с масками. И сцены хорошо вписаны в стандартный клип.
КЛИП—AI ARTIST
☺️ И вышло со мной интервью, где я общаюсь про нейросети с продюсером медиапроизводства Светланой Лаурой
Есть позы, края, карты глубины новые ууух
КЛИП—AI ARTIST
КЛИП—AI ARTIST
Интервью было записано достаточно давно. Многие вещи поменялись, стали намного круче, качество генераций улучшаются стремительно!
Хотя всю неделю ковырялся в коде, теперь прям все новые инструменты дико замотивировали поделать новых нейроанимаций.Please open Telegram to view this post
VIEW IN TELEGRAM
❤21👍8🔥8😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Воскресный дайджест в понедельник
🔥 ControlNet - дообучение с новыми слоями поверх SD 1.5, который полностью меняет подход к img2img, теперь можно контролировать карту глубины детальнее, позу, карту нормалей, края объектов на изображениях, сегментацию изображений для контроля объектов при генерации и их положений и много еще.
❤️ Так же можно контролировать и смешивать эти подходы. Уже сейчас появились варианты использования для улучшения стабильность AI анимаций. Но кажется все еще впереди.
📕 Теперь можно создавать клипы с контролем действий персонажа, а как известно в SD 1.5 мы можем дообучить на своем датасете. Использовать простые сцены из Блендера, как основу локации и много еще крутого!
PAPER—GITHUB—WEBUIforAUTO1111
😶🌫️ Редактор поз для ControlNet. Создание любых поз и так же любого количества персонажей в сцене.
GITHUB—DEMO
😳 UV texture map через ControlNet. Здесь прям обучалка как создавать очень крутые UV текстурки через ControlNET. Надеюсь скоро добавят прям в Blender к Dream Texture.
LINK
PAPER—GITHUB—WEBUIforAUTO1111
GITHUB—DEMO
LINK
У меня пока не было время оценить все возможность, но ТожеМоушн уже провел небольшой стрим про ControlNet, вот запись стрима.
Ожидаем всплеска новых пайплайнов для анимаций, кажется GEN-1 уже не такой желанный.(Но потыкать его еще хочется)Please open Telegram to view this post
VIEW IN TELEGRAM
❤21🔥7👍1