Тут вот в коментах пригнали еще один GUI для Stable Diffusion.
Вроде как ставится с нуля без колдунства (отпишитесь, как пройдет).
Плюс полный фарш из самых последних фич (текстовая инверсия, инпайнтинг, улучшение лица и пр)
Вот что пишет автор:

"На данный момент работает только на графических процессорах Nvidia! Графические процессоры AMD не поддерживаются. В будущем это может измениться.

Она полностью лишена цензуры и фильтрации - я не несу ответственности за любой контент, созданный с ее помощью.

Особенности:
Все зависимости включены, нет необходимости в сложной установке
Поддерживает преобразование текста в изображение и изображения в изображение (изображение+текстовая подсказка)
Запускайте несколько подсказок одновременно
Встроенный просмотрщик изображений, показывающий информацию о созданных изображениях
Встроенные функции увеличения (RealESRGAN) и восстановления лица (GFPGAN)
Возможность создания бесшовных (тайловых) изображений, например, для игровых текстур
Поддерживает загрузку пользовательских концепций (текстовая инверсия)

Системные требования:
Windows 10/11 64-bit
Последний графический процессор Nvidia, предпочтительно RTX
4 Гб VRAM (для медленного режима с малым объемом памяти) или 8 Гб VRAM (для быстрого режима с большим количеством функций)
~11 ГБ дискового пространства после установки (на SSD для лучшей производительности)

Пробуем?

https://nmkd.itch.io/t2i-gui

Обсуждалка:
https://www.reddit.com/r/StableDiffusion/comments/xjacbf/nmkd_stable_diffusion_gui_140_is_here_now_with/

Кстати, вы можете разгонять свои унылые 512x512 до 8К с помощью rudalle-sr. Просто прогнав картинку два раза через апскейл.
https://replicate.com/cjwbw/rudalle-sr

Ну и вообще, походите по сайту
https://replicate.com/explore

Загляните в блог
https://replicate.com/blog

Там огромное количество годноты, которое можно запускать как локально, так и в облаке.

Лайфхак. Если сайт начинает просить денег, просто почистите кукисы.

Нвидия последовательно и плотно строит свой Omniverse. Идея (имхо) немного опережает время, каналы связи еще надо подтянуть для такой работы.
Но Нвидия идет дальше и вводит понятие Graphics Delivery Network (GDN) (по аналогии с CDN Content Delivery Netvork), которое является распределенным центром обработки данных, обеспечивающим работу Omniverse Cloud. GDN - это сеть, доставляющая всю эту высокопроизводительную графику с низкой задержкой всем, кто в ней нуждается (некий аналог GeforceNow, но без акцента на игры).

Судя по тому, что благодаря ИИ все больше народа переходит на аренду вычислений в облаке, графику ожидает такая же участь. Скоро будем хвастаться "я вчера взял в прокат RTX 8080 TI с кожаным салоном в максимальной комплектации" или "за углом дают в аренду 8090 в полцены".

Также показательно, что Nvidia последовательно продвигает использование Omniverse для цифровых двойников, заявляя, что в будущем каждый продукт, управляемый программным обеспечением, должен иметь цифрового двойника для тестирования. Что очень правильно. И что, по сути, и является трушным единым метаверсом, а не вот эти ваши нфт-земли на блокчейне.
https://www.digitaltrends.com/computing/nvidia-gtc-2022-everything-announced/

Пока все говорят, некоторые ворочают мешки.
Дима Носик взял и сделал.
Метаверс в Дубаях.
Красавчик.

Ребята работают на уровне государства, создают цифровую копию городов, а затем в этот трушный метаверс залетают клиенты в поисках, например, недвижимости, смотрят объекты и через NFT(!) покупают у государства реальную недвижку.
Вот оно будущее, которое уже там. И метаверс, который по делу и для дела. И NFT, у которого есть ютилити.
Просто за дело берутся взрослые мальчики, а не шиллеры земли в децентралендах за крипту.

Вот этот вот подход, когда берется первый кадр с лицом, а потом на него накладываются, скажем так, нейроэффекты, все больше набирает обороты.
Это связано еще и с тем, что уже сейчас твиттор наполнен попытками генерить красивые (или нужные) лица нейросетками типа Stable Diffusion, а потом анимировать их (используя этот первый кадр) с помощью других инструментов, например связками типа MetaHuman + Ebsynth. Получаются этакие обобщенные дипфейки с генеративными персонажами. Нейрорендеринг на стероидах ИИ-концептов.

Вот один из проектов, которые работают немного в другой нише: берется фотка или рендер лица, дается текст, а дальше это "лицо" зачитывает этот текст. ИИ анимирует картинку в соответствии с текстом (или готовым звуком). Рынок дикторов, ведущих, виртуальных ассистентов и прочих зловещих персонажей, в которых неумолимо упираются любители "фотореализьма".
https://www.d-id.com/

Разработчики говорят, что платформа поддерживает работу со 119 языками. Пользователи могут настраивать голос, а также задавать его настроение.

На основе заданных параметров алгоритмы Creative Reality Studio генерируют видео, на котором синтезированный диктор реалистично (и зловещще) прочитает указанный текст.

Это стартап, поэтому на их месте я бы срочно нахлобучил сверху интеграцию со Stable Diffusion.
Пример такого использования с помощью скотча и нейропалок я уже приводил, но вот если бы это было встроено в продукт (у которого есть 14дневний триал), то твитторы бы заполнились анимацией всех этих роскошных ИИ-красавиц, читающих влажные фантазии по запросу.

Не фанат склеивания набора картинок в единое видео. Сегодня в беседе с Пашей Мунтяном сформулировал для себя определение. Это не Анимация - это Инсталяция.
Тут нет сторителлинга, тут упор на созерцание и придумывание собственных историй в голове.
Но сделано круто, ничего не скажешь. Наверняка есть фанаты таких инсталляций. Инджой.
https://twitter.com/GanWeaving/status/1572196189130616832

Битва людей и машин продолжается.
Теперь Getty Images вступил на тропу войны.
Жоско забанил всех, кто заливал контент, сделанный нейросетками.
Подписчики поделились письмами счастья.

Как сообщает The Verge, в Getty ссылаются на вероятность того, что такие изображения могут содержать чужие метаданные и лица людей, которые не давали согласия на публикацию.

Круто всё-таки ИИ вскрыл одну из наиболее спорных и устаревших кожаных концепций - "авторские права".
У человека нет четкого определения "творчества", зато есть чоткие авторские права, история которых пестрит скандалами, обвинениями в плагиате, подделками и "заимствованиями".

И тут приходит ИИ, и все это начинает шататься под напором новых ветров.

Гетти и Ко, боязливо рубят с плеча в мякоть ИИ - проще запретить, чем потом бодаться с вампирами-юристами.

Но ничего, на вампиров найдутся ИИ-юристы, которые затаскают упырей по виртуальным судам, выпуская сотни исков в минуту.

Вот и стартап подоспел: бот защищающий права ИИ-артиста и генерящий делопроизводство с нечеловеческой скоростью.
https://www.theverge.com/2022/9/21/23364696/getty-images-ai-ban-generated-artwork-illustration-copyright

Децентрализация, говорили они.
Независимость от границ и чиновников.
Нуштош.
Binance создали Global Advisory Board - комитет для сотрудничества с правительствами разных стран по вопросам регулирования крипты.

В него вошли разные чиновники (с нехилыми регалиями и очень близкие к правительству) из США, Франции, Германии, Европы, Англии, Южной Кореи, Бразилии и других стран.

А все такие удивляются, пошто это крипта стала следовать за рынком? Никогда такого не было, а тут такое...

P.S. Там в комитете, на минуточку, Макс Баукус, бывший сенатор-демократ от штата Монтана, занимавший пост посла США в Китае.

Фотошоп или фото?

Вот вам информация на подумать.
Про сражение машин и людей. Которое будет проиграно очень скоро. С перевесом 9 к 1.
И выводы будут касаться не только количества и качества контента, а трансформации всего кожаного вида в потребителей не только еды, одежды и прочих товаров, а в потребителей ВСЕГО. В тех самых людей из матрицы с присосками на затылке. Ибо неважно содержание, важно ощущение.

Итак.
По оценками правоохранительной группы Europol, к 2026 году 90% контента в интернете будет генерировать искусственный интеллект.
Цитирую "к 2026 году до 90 процентов онлайн-контента может быть создано синтетическим путем - синтетические медиа относятся к медиа, созданным или манипулируемым с помощью искусственного интеллекта".

Девяносто процентов, Карл!

Авторы растеряны: "Аудио и видео записи события часто рассматриваются как правдивый отчет о событии. Но что, если эти медиа могут быть созданы искусственно и приспособлены для показа событий, которые никогда не происходили, для искажения событий или для искажения правды?". - наивно и с ужасом пишут авторы отчета."

Смешные.

Контент создается не для освещения событий, а для вызывания Ощущений у зрителей(читателей).

Который год твержу, что ИИ будет решать эту задачу сходу, в отличие от кожаных, которые блуждают годами в темноте, эмпирически и аналитически подбирая паттерны воздействия на аудиторию.
Градиентый спуск быстро покажет в какие точки надо бить и какие пиксели (и тексты) генерить, чтобы достигать максимального эффекта.

Который год твержу, что никто не сможет отказаться от такой возможности манипулировать аудиторией. Ибо экономика внимания, волны хайпа, пузыри мнений и вот это вот все - это просто красивые термины вокруг новых инструментов воздействия на кожаный мозг. Пикселями и буковками.


Давайте еще раз: "90% контента в интернете будет генерировать искусственный интеллект".

И тут Шаттерсток и Getty Images - мы не такие!!
Держите свои 10% на всех и будьте не такими.

А как же творчество и вдохновение?
Держите 10% внимания на всех и продолжайте "творить".

Да что он может этот ваш жалкий ИИ, кроме как копировать?
Может в 90% всего внимания на планете.

И это до 2026 года.

Потом чипы и в матрицу.

https://futurism.com/the-byte/experts-90-online-content-ai-generated

Новый нормальный фотошоп.
Просто загружаете свою фотку или картинку, а потом громко говорите понятными словами "Сделать Красиво". И оно делает.
Все это в веб-интерфейсе. На основе inpainting on Stable Diffusion.

Вы главное найдите с ИИ общий язык - он все сделает.

https://github.com/amrrs/stable-diffusion-prompt-inpainting

Ну что, продолжаем погружение в метаверс?

Коллеги из Meta Reality Labs опубликовали новую статью по реконструкции полной 3D позы
человека чисто по 3 точкам - показания с 6D сенсоров хедсета Quest и двух контроллероа в руках. То есть так можно управлять всем телом целиком, даже если на ногах нет никаких датчиков.

Под копотом жужжит reinforcement learning: обучили policy MLP, который на вход получает три точки, а на выходе выдает крутящие моменты для каждого сустава в скелете. Далее происходит предсказание движения в физическом симуляторе.

❱❱ paper
❱❱ video

@ai_newz

Богатый информацией сигнал из физического симулятора позволяет управлять аватаром даже без трекинга рук. Например, на этом видео сеть получает на вход только 6D позу головы. Используя только такой жиденький сигнал, мы все равно видим, как реконструируется все тело целиком.

@ai_newz

Ребята из канала @twin_3d пригнали отличный пример метаверсизации и виртуализации кожаного мира.
У звезды «Даллас Маверикс» баскетболитса Луки Дончича теперь ИИ-альтер-эго Luk.AI.
Под капотом MetaHuman, UE5, полное сканирование и, самое главное, нейроанимация.
Более того, с 22 сентября Luk.AI получит полный контроль над TikTok Дончича - вот он digital twin in action.
Подробнее читайте тут:
https://news.1rj.ru/str/twin_3d/72

Чуваки из Corridor Crew похоже решили проблему консистентности при генерации (не только комиксов) визуальных материалов. Вам придется посмотреть это видео от начала до конца, хотя очень хочется вырезать весь инкадровый смех и превратить это в 2 минуты.
Помните я писал про DreamBooth от Google? Который позволяет присунуть свой визуальный стиль в модель для обучения и потом ссылаться на него. Типа как на Илона Маска, только в данном случае на нужного персонажа. Которого можно просто пару раз сфоткать или подсунуть свой рендер или концепт.
DreamBooth основан на Imagen, но(!) умельцы уже прикрутили его (слава опенсорцам) к Stable Diffusion и даже бахнули код на гитхаб.
Теперь если у вас есть A6000 или хотя бы 3090 с 24 гигами памяти, вы можете делать это локально, что собственно и показывают чуваки из Коридора.
Они изваяли комикс, где главные герои - это сотрудники студии. Узнаваемые, повторяемые, воспроизводимые.
Поглядите до конца, можно с 9:45, это действительно круто. Вопрос пародий и перевоплощений закрыт. Шаржисты укрываются холстами и тихо ползут с арбата.
Вот вам ссылка на полное видео:
https://youtu.be/W4Mcuh38wyM

И на "Dreambooth" for Stable Diffusion:
https://github.com/JoePenna/Dreambooth-Stable-Diffusion

У кого 3090, пишите, заработает ли.
Там же есть ссылка на Jupyter ноутбук, чтобы можно было запускать это хозяйство в облаке.

Вот вы спрашивали, а когда оно в 3Д сумеет?
Генерация объектов в 3Д на порядок сложнее по множеству причин, от наличия размеченных датасетов, до (самое проблематичное) обеспечения отсутствия препятствий между камерой и 3Д-объектом. Вы же всенепременно захотите покрутить-полетать вокруг объекта. И если 2Д-картинку сгенерил и забыл, то 3Д-сцена требует разных углов обзора - и что туда напихает нейрорендеринг, одному латентному богу известно.
Но.
Работы в этом направлении ведутся.
VentureBeat снова ссылается на летнее интервью с Хольцем (основателем Midjourney), дополняя материал новыми фанфактами. В частности про 3Д.
Хольц планирует перейти на новый уровень с помощью преобразования текста в 3D. Он подробно рассказал о намерении Midjourney сделать результат более реальным и двигаться в направлении дополненной и виртуальной реальности.

"Меня волнуют три вещи: Отражение, координация и воображение. Чтобы сделать мир лучше, мы должны быть более рефлексивными, более изобретательными и лучше координировать свои действия. И я хочу построить что-то большое в каждой области, а затем однажды объединить их вместе"

Амбициозно до жути.

Кроме того, Midjourney намерена расширить существующий продукт, добавив в него дополнительные функции, что позволит сделать результат более реалистичным и нюансированным. Куда уже еще!?

А теперь сюрприз:

Midjourney использует сочетание собственных моделей и модулей с открытым исходным кодом . Ближайшая цель Хольца - ПРЕКРАТИТЬ использование продуктов с открытым исходным кодом и создавать модели на 100% своими силами.

Похоже противостояние Stable Diffusion против всех продолжается.
https://venturebeat.com/ai/midjourney-founder-says-the-world-needs-more-imagination/

А реальные новости про ИИ и 3Д - в следующем посте.

Читаем следующий пост

NVIDIA Research упрямо столбит поляну настоящего 3Д (продвигая Omniverse) и в то же время очень круто пробрасывает мост между нейрорендерингом и настоящим 3Д.
Все эти метаверсы, созданные растущим числом компаний с FOMO и новыми нормальными креаторами, требуют контента с разнообразными трехмерными зданиями, транспортными средствами, персонажами и многим другим.

Нвидия теперь умеет генерить 3Д-объекты по фото с какой-то нечеловеческой точностью. Но самое главное, все это приземляется не в псевдо-пролеты вокруг сцены, а в настоящие 3Д-форматы, применяемые в посте и в кадах.

"NVIDIA GET3D генерирует 3D-формы с высококачественными текстурами и сложными геометрическими деталями. Эти 3D-объекты создаются в том же формате, что и популярные графические приложения, что позволяет пользователям сразу же импортировать свои формы в 3D-рендереры и игровые движки для дальнейшего редактирования."

GET3D может генерировать практически неограниченное количество 3D-форм на основе данных, на которых он обучен.

Например, с помощью обучающего набора данных 2D-изображений автомобилей создается коллекция седанов, грузовиков, гоночных автомобилей и фургонов. При обучении на изображениях животных он выдает таких существ, как лисы, носороги, лошади и медведи. Учитывая стулья, модель создает различные вращающиеся стулья, обеденные стулья и уютные кресла с откидной спинкой.

NVIDIA обучили GET3D синтетическим данным, состоящим из рендеров 3D-форм, снятых с разных ракурсов камеры. Команде потребовалось всего два дня, чтобы обучить модель примерно на 1 миллионе изображений с использованием графических процессоров NVIDIA A100 с тензорными ядрами.

Дальше звучит совсем уж сладко:
"После того как создатели экспортируют формы, созданные с помощью GET3D, в графическое приложение, они могут применять реалистичные световые эффекты при перемещении или вращении объекта в сцене. Включив еще один инструмент ИИ от NVIDIA Research, StyleGAN-NADA , разработчики могут использовать текстовые подсказки для добавления определенного стиля к изображению, например, изменить отрендеренный автомобиль, чтобы он стал сгоревшим автомобилем или такси, или превратить обычный дом в дом с привидениями.

Исследователи отмечают, что в будущей версии GET3D могут использоваться методы оценки положения камеры, что позволит разработчикам обучать модель на реальных данных, а не на синтетических наборах данных. Его также можно было бы улучшить для поддержки универсальной генерации — это означает, что разработчики могут обучать GET3D одновременно всем видам 3D-форм, вместо того, чтобы обучать его на одной категории объектов за раз."

Давайте уже поблагодарим моделлеров, наконец. Проводим их в долгий путь создателей синтетики, на которой будет учиться ИИ. Они хорошо потрудились на благо ИИ, и еще потрудятся, создавая модели для обучения.
https://blogs.nvidia.com/blog/2022/09/23/3d-generative-ai-research-virtual-worlds/

Хех, пришел тот день, когда ИИ оценивает работу дизайнеров (логотипов).
Просто он достаточно наелся тоннами шлака из сети и теперь умеет отличать крутые логосы от поделок со стоков.

Logo Rank — это система искусственного интеллекта, которая умеет в дизайн логотипов. Он обучен на более чем миллионе изображений логотипов, чтобы дать вам советы и идеи. Его также можно использовать, чтобы узнать, черпал ли ваш дизайнер вдохновение из стандартных стоковых иконок.

Более того, он еще и разберет ваше лого по косточкам на уникальность, зрительную читаемость, совместимые цвета и пр.

В очередь на анализы, кожаные мешки.
https://brandmark.io/logo-rank/

Больше двух лет назад писал: "Ну и вообще, виар-шлем - это целый клондайк для трекания башки кожаного мешка. Тут и кожно-гальваническая активность кожи (стресс) и мышечная активность верхней части морды (пища для ИИ и расшифровки если не мыслей то, триггеров) и сенсоры ЭЭГ просятся на ремешки. В общем вот она башка - измеряй не хочу. А потом берем ИИ - и ну искать корреляты!"

Ну и возвращался к этой теме постоянно.

Varjo, производитель шлемов, и OpenBCI, летом объявили о новом партнерстве, в рамках которого долгожданный нейронный интерфейс OpenBCI "Galea" появится в новейшей гарнитуре Aero VR от Varjo.


Знание того, как человек реагирует в реальном времени на виртуальные стимулы, может дать разработчикам(?) в будущем больше возможностей для создания динамического контента. Читай - для воздействия на кожаного мешка контентом, от которого сложно отказаться.

Galea включает набор датчиков, в том числе датчики электроэнцефалограммы (ЭЭГ), электроокулографии (ЭОГ), электромиографии (ЭМГ), электродермальной активности (ЭДА) и фотоплетизмографии (ФПГ), которые предназначены для измерения данных мозга, глаз, сердца, кожи и мышц пользователя.

А теперь внимание: цена комплекта Varjo Aero + Galea составляет $22 500.

Вот свежее видео.
https://shop.openbci.com/products/galea

Давно слежу за Крис Каштановой, она делает потрясающие вещи и постит много полезностей в фб.
А теперь она взяла и зарегистрировала свой комикс, полностью созданный с помощью Midjourney и получила авторские права на него!!
Шах и мат, шаттерсток и гетти. ИИ тоже человек.
Комикс тут: https://aicomicbooks.com/wp-content/uploads/2022/09/kashtanova-full-book-v1-small.pdf

Статья тут:
https://arstechnica.com/information-technology/2022/09/artist-receives-first-known-us-copyright-registration-for-generative-ai-art/

ФБ Крис - https://www.facebook.com/groups/526007639164475/user/100006290070556/