​​«Глубокая фальшивая любовь» - развлечение на базе технологической пытки.
За что платят $900К продукт-менеджерам на удаленке.
«Вероятно, вы доживете до того дня, когда сможете увидеть рукотворные ужасы, выходящие за рамки вашего понимания» - сказал великий Никола Тесла на первой выставке электротехники в сентябре 1898 года. Спустя 125 лет мы дожили до этого.

Мир шоу-бизнеса креативен и прагматичен. Пока исследователи ИИ, политики и общественность спорят о моральных аспектах начавшейся революции генеративного ИИ, шоу-бизнес уже вовсю зарабатывает на нем.

О том, много ли уже зарабатывает, - можно судить по зарплатам в объявлениях о найме китами этого бизнеса Netflix и Disney:
• технарь по генеративному ИИ - до $650K
• продукт-менеджер платформы машинного обучения (можно на удаленке) - до $900K.

О том, на чем зарабатывают, можно сказать по-разному. Например (ссылки не привожу, дабы не перегружать) на:
• «рукотворном ужасе» и «самом жестком шоу на ТВ»
• «глубокой фальшивой науке, стирающей грань между правдой и ложью»
• «развлечении в форме технологической пытки»
• «антиутопическом кошмаре, где Бога не существует»
• «абсурдном оскорбительном развлечении на основе мошенничества и дезинформации»
• «встраивании реальных людей в порно без их согласия».

Речь о новом реалити-шоу Netflix «Глубокая фальшивая любовь» - «Deep Fake Love») – восьмисерийной психологической пытке пяти пар, находящихся в серьезных отношениях (некоторые из них помолвлены, а другие вместе уже много лет). У каждой пары есть две общие черты: их партнерские отношения несколько натянуты, и они не знают, во что ввязываются, решив принять участие в откровенно ужасающем шоу.

✔️ В первом эпизоде пары разделяют и отправляют в разные пансионаты под названием «Марс» и «Венера», полные одиноких людей, многие их которых готовы на все за свои 15 минут позора.
✔️ В конце каждого дня участнику показывают видео измены его/ее партнера, которые могут быть правдой или дипфейком.
✔️ По ходу сериала, дипфейки становятся все более непристойными, а ИИ используется для создания иллюзии полноценного секса.
✔️ Наживкой для зрителей становится наблюдение за реакцией людей, которые видят, как их партнеры им изменяют, разрушая их и без того хрупкое доверие. В отличие от участников, зрители в курсе дипфейков. Им даже показывают подоплеку фальшивых замен участников на актеров: на половине экрана - ведущего себя невинно участника, а на второй – беснующегося актера, на внешность которого «натягивается» внешность участника.
✔️ На кону приз в размере 100 000 евро, о котором участники не знают. Он присуждается вовсе не на основе верности или доверия. Вместо этого, победителями станет пара, которая сможет расшифровать наибольшее количество видео как настоящие или фейковые.

Реакция медиа на это шоу довольно однозначная.
• «Deep Fake Love — это не просто эксперимент по нанесению абсолютно ненужного психологического ущерба личной жизни участников, но и создание мрачного прецедента для будущего ИИ»
• «Если мусорный телевизор — это пол, то Deep Fake Love — в подвале»
• «Deep Fake Love - душераздирающий и крайне интересный тест использования технологий, но его видео следовало оставить в монтажной и никогда не показывать на ТВ»

Зато какая реклама от всей этой шумихи!
Так что ожидайте. Полагаю, что скоро и у нас подобный концентрат мусора появится, и не на одном канале. Лицензию ведь теперь покупать не нужно. А шоу о суровой повседневности и приветов от Андреев давно пора разбавлять высокотехнологичной «генеративной клубничкой».

Ох и не зря я свой первый пост этого года назвал «Человечество на пути к пропасти AICG, и не видно способа отвернуть». Всё к тому и идет 🥹
#AICG

А вот и ссылки на официальные модели #SDXL 1.0

Базовая
Refiner
VAE

Гитхаб

Tracking Anything in High Quality

сегментация/отслеживание объектов на видео на основе HQ-SAM

Код

#segmentation #image2mask #video2mask #tracking

Подробнее о том о чем я коротко вчера говорил

Также Stability выпустили StableSwarmUI

Это модульный веб-интерфейс для SD заточенный под работу в распределёнке с множеством GPU. Swarm (рой) подразумевает, что большое количество машин будут работать вместе, чтобы сгенерировать для пользователя картинку.

В StableSwarm есть несколько слоёв, которые работают независимо и их можно кастомизировать: бэкенд, мидл, и фронтенд. Например, установленное расширение может заменить источник генерации на бэкенде, без необходимости менять что-либо ещё. Фронт сделан на HTML/JS для полной кастомизации и, чтобы не упираться в ограничения Gradio. Бэкенд написан на C# для максимальной производительности, минимизации сложности кода, а также многопоточности, которой нет в Python.

При установке можно выбрать подход к генерации (локально или через API), интерфейс (ComfyUI, A1111, DreamStudio, или другой), загрузить модели (SD 1.5/ 2.1/ SDXL 1.0) и ещё пару вещей. Позже подъедет возможность редактировать изображение, ControlNet и работа с LoRA.

Можно погонять в колабе

Нельзя просто взять и заставить мемы ожить

Поиграл тут немного с #Gen2, почти без черрипика

#Neuronaut_art

Pika Labs открылся для всех!

Генерить видео можно в ветках #generate как просто по тексту, так на основе картинки. Чтобы вкинуть изображение, нажимаете рядом с вбитым промтом на +1, затем жмёте на Upload и добавляете его.

Пример промта: /create prompt:a cat is walking in the forest, sunset, 4K -neg "bad anatomy, lowres" -ar 1:1

Какие параметры у промтов:
-gs xx (guidance scale, чем выше чифра, тем ближе визуал к промту)
-neg "xxx" (негативный промт, задаём чего не должно быть в кадре)
-hide (скрыть промт)
-ar xx:xx (соотношение сторон, 16:9, 9:16, 1:1, 4:5)
-seed xxx (ставим одно число для консистентной генерации, чтобы увидеть сид надо скачать видео он в названии файла)
-motion xx (насколько подвижной нужна картинка, задаётся числами 0, 1, или 2)

Чтобы быстро генерить по тому же промту жмите значок "Повторить". Генерации ограничены 10 штуками в 5 минут.

Дискорд
Сайт

Пока Nvidia готовит выступление на ближайшем SIGGRAPH по поводу нейронной компрессии, я вот что имею вам сказать.

Без сомнения, последнее время развитие в графике происходит не в чем-то принципиально новом, как когда-то в Doom3 придумали использовать нормали, а скорее в улучшении того, что уже было придумано, но на более низком уровне.

Если посмотреть на последние знаковые игры, которые используют быстрые SSD, например Ratchet & Clank Rift apart, то можно восхититься, если знать, как быстро там подгружаются данные при переходах между уровнями и какое количество FX и событий там удерживается на экране. Или те же наниты, по сути это трюки с геометрией, все той же полигональной.

Вот и у Nvidia трюк с теми же текстурами, принципиально они не меняются, но количество данных, которые они смогут содержать в себе при том же размере файла, подгружаемого в память, а иногда и меньше, просто поражает! Но это только с одной стороны.

Да, все будет выглядеть суперчетко, как в порно в 60fps и разрешении 4к, но стал ли такой формат популярен? У некоторых определенно да... больные ублюдки.

С другой стороны, дорогие художники, вы охуеете, все это текстурить! Теперь будут задрачивать так, что вы еще больше "полюбите" геймдев! Если раньше можно было сказать, у нас тексель не вывозит или в игре все равно пожмется даже на хайспеках, то сейчас это не прокатит, будьте добры, чтобы каждый пиксель звенел! И не важно, что это сессионый шутан, где все должно летать даже на пентиум 2. Потому что теперь то, что выглядело мылом и весило 3мб, сейчас весит столько же, а то и меньше, и видно каждую травинку.

В общем, просто потребителям ура, создателям контента лингам вам в руки!

Сорс

Там еще есть видео с презентацией и интерактивый просмотрщик текстур

#texture #compression

Я тут смастерил упоротый трейлер Барби.
Если нужны пояснения как это сделано, то вот они:

Распилил трейлер на шоты, из каждого шота сохранил по одному кадру, который мне казался удачным для анимации. Далее обработал все сохраненные кадры в Runwayml Gen-2 и смонтировал с оригиналом.

Приветствуются ваши Gen-2 анимации в комментариях.

Если будет желание, поддержите меня репостом в твиттере или комментарием/лайком на ютубе

#Neuronaut_art

Нейросеть обошла около 400 конкурентов в литературном конкурсе

Произведение искусственного интеллекта вышло в финал «Проекта особого значения».
Всего в шорт-листе 39 авторов, а призовых мест — 10, так что шансы на победу у нейросети высоки. И вот как это произошло.

Многие уже убедились, что искусственный интеллект может создавать неплохие короткие тексты. А получится ли у него написать достойный научно-фантастический рассказ? Это решили проверить АО «ЗАСЛОН» и ЛитРес Самиздат. Они второй год подряд проводят конкурс «Проект особого значения», в котором работы оценивают профессионалы: Сергей Лукьяненко, Александр Васильев, Вадим Панов и Макс Глебов.

Организаторы попросили специалистов подготовить литературное произведение с помощью ChatGPT и подать заявку на участие от имени вымышленного автора. Чтобы эксперимент удался, членам жюри этот псевдоним не сообщили. Секрет будет раскрыт в октябре, но
читатели уже сейчас могут попробовать самостоятельно определить, кто из финалистов — не человек, а нейросеть.

А между тем, ИИ вползает в 2Д-инструменты для постпродакшена без помпезных пресс-релизов.
В DaVinci Resolve 18.5 четыре новые (относительно) ИИ-фишки. Расшифровка аудиозаписей в клипах для поиска медиафайлов по содержанию повествования и быстрое создание субтитров с помощью функции автоматического преобразования речи в текст. DaVinci Neural Engine может анализировать и автоматически сортировать аудиоклипы на основе классификации. Fairlight может группировать звуковые дорожки для ускорения автоматизации микширования и редактирования. И Relight FX для добавления виртуального освещения в сцену.
Радует то, что все эти бумаги и демки типа Клипдропа все-таки приземляются в рабочие инструменты.
https://www.blackmagicdesign.com/products/davinciresolve/whatsnew

Вообще не ожидал, но опубликован код и даже демо Materialistic, модели которая выдет маску на видео по материалу.

Код
Демо

#segmentation #video2video #video2mask

Реддитор с помощью ИИ анимировал 43 картины известного художника Клода Моне. Вышло довольно атмосферно и мило.

DWPose: Effective Whole-body Pose Estimation with Two-stages Distillation

Определение позы от IDEA Research
Говорят, лучше чем Openpose. Сравнение закину в комментарии

Код
Демо (в выпадающей менюшке выбрать wholebody)

#image2pose #video2pose #poseestimation

PHOTOSWAP: Personalized Subject Swapping in Images

Новый крутой заменятор чего угодно на изображениях от Университета Калифорнии. Работает по статичным изображениям

Код

#faceswap #image2image

AudioLDM 2: A General Framework for Audio, Music, and Speech Generation
Следующее поколение генератора звуков AudioLDM
Умеет по тексту или изображению генерировать музыку, речь и прочее.


Код обещают выложить
Демо будет

Твиттер

#text2music #text2audio #text2speech #TTS