Почему я вдруг на целую неделю отвлекся от своих клипов?🫣

Как вы уже знаете, при работе над AI-видео одна из постоянных головных болей — персонаж, который меняется от кадра к кадру. Приходилось генерить по 15-30 картинок на один кадр, а удачные по композиции варианты отлетали просто из-за отсутствия сходства🥲

Чтобы решить эту проблему для своих музыкальных клипов, я последнюю неделю копался в новой китайской нейросетевой модели 💫QWEN Edit 2509💫 Несмотря на то, что сама модель способна делать впечатляющие вещи, заставить её корректно восстанавливать лицо персонажа, сохраняя его черты, оказалось невероятно сложно. Нейросеть либо игнорировала задачу (потому что видела уже "достаточное" сходство), либо уходила в другую крайность и генерила совершенно новое, неузнаваемое лицо🫠

После нескольких дней экспериментов и довольно хитрых техник, мне удалось создать workflow в ComfyUI, который не только исправляет проблему консистентности персонажа, но и позволяет делать полноценный Head Swap — качественную замену лица. (Теперь могу заставить любого танцевать рикролл 🤌) Это непростая задача даже сейчас, в эпоху нейросетей. Дипфейки существуют, и я даже использовал их в проекте "Твоя вина", но качество "быстрых" вариантов всегда оставляло желать лучшего.

А сейчас получилось создать инструмент, который может пригодиться другим креаторам. Я на время остановил работу над клипом и выложил черновую версию workflow на Reddit, чтобы проверить нужен ли он людям. Оказалось, что проблема действительно болит у многих, пост быстро поднялся в крупном сообществе ComfyUi. Даже попал в топ постов дня. Так, на основе обсуждений, я доработал workflow до версии 2.0 — он стал заметно стабильнее и чище в работе 👾

Также записал и выложил подробный видеоурок на английском, где показываю весь процесс от начала до конца. (Записывать первый туториал и сразу на английском...вышло рофляно, скажем так😅) Зато за день счетчик подписчиков перевалил за 500!🎉 И люди пишут, что моя работа им очень помогла, что реально ценно.

Не ожидал, что этот побочный проект займет всю неделю и так отвлечет от клипов, но раз уж инструмент получился рабочим и востребованным — решил поделиться.

Надеюсь, это сэкономит кому-то из вас несколько бессонных ночей 😌
Туториал тут, а workflow v2.0 - тут.

Как я защищал диплом или как я стал осьминожкой 🐙

Да, сдал диплом в июне, а пост пишу в октябре. И смех и грех 😅

Как звучит диплом технохудожника? «Разработка нейрогенеративной интерактивной...» и еще 10 умных слов 🤯 По сути, я написал программу, которая позволяет быстро подключать нейронки к арт-инсталляциям.
Весь учебный год я был погружен в эксперименты с нейросетями. И только за полтора месяца до защиты я наконец понял, что хочу показать в дипломе не 1 работу, а именно способ, которым я превращаю обычную инсталляцию в «умную» систему, реагирующую в реалтайме.

Конечно, не обошлось без приключений. Целую неделю бился с железом. Камера у Ботика (одного из проектов) отказывалась работать вместе с другими модулями на крошечном ESP32. Не хватало портов на плате. Придумал какие-то нереальные технические схемы, и всё в итоге получилось, но нервных клеток поубавилось 😅

А потом наступил день защиты. Я вёл YouTube-трансляцию наших дипломов: переключал камеры, смотрел комменты в чате и параллельно готовился к выступлению. По сути, пришлось стать осьминогом, который хотел всё успеть. Переживаний было в итоге больше за трансляцию, чем за свой доклад.

Когда я вышел защищаться — включился полный автопилот. Волнения у меня особо не было, но, видимо, тело решило поволноваться за меня. Говорил как робот какой-то. Толик бы оценил👀 Комиссия задала очень классные вопросы. Смог рассказать про альтернативную концепцию Ботика-симбиота — визуальную метафору, как тесно нейронки влезают в нашу жизнь.

Финальным аккордом стал момент объявления оценок. В этом году было много четвёрок. Было грустно слышать, что многих развернули с отличной оценкой. А ведь все друзья — каждого знаешь, с каждым прошёл большой путь. Хочу сказать всем, кто получил четвёрки: вы все молодцы. Оценка — это показатель больше бюрократический. То, что вы сделали за этот год, какие проекты создали, какой путь прошли — это и есть настоящая ценность. Не цифра в дипломе.

Когда озвучили мою пятёрку и добавили, что работа признана лучшей на потоке — я просто хлопал глазами. Я не знал, что такая история вообще есть. Конечно, я рад и ценю эту оценку! Но куда больше я ценю то, что этот разработанный «дипломный» софт не лежит на полке. Моя программа уже поработала в Гатчине и на «Москве 2030», продолжает жить и дорабатываться.
Посмотрим, что будет дальше 🚀

Если бы можно было описать свою защиту диплома одним эмодзи, это был бы — 🐙
А у вас?))