🎤 Wav2Lip 👄

Восстанавливал я значит видео с Марлоном Брандо, как вдруг наткнулся вчера на эту потрясающую нейронку. Протестировать смог только сегодня, плюс время на сборку Колаба и вот инструмент готов. Если коротко, то суть заключается в коррекции движения губ человека на видеозаписи по предоставленному аудиофайлу с какой-нибудь речью. Конкретно для этого видео пришлось отделить вокал от мелодии, чтобы на вход подать чистый голос. Из плюсов: шустрая скорость генерации и приемлемое качество. Основной минус: края измененного прямоугольника с нижней частью лица видны, однако если видео в хорошем качестве и человек делает минимум движений головой, то такой проблемы может и не быть.

https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb

👧 Как пользоваться #BabyGAN 👦

https://youtu.be/xHFGoi81buU

Каждый раз, публикуя новый Колаб, я получаю сообщения по типу: "Как правильно запускать?", "А как сделать то?", "А как сделать сё?". Хоть я и стараюсь сделать подробную инструкцию, всеж большинству информация лучше воспринимается визуально. По этой причине я, вместе с каналом JCenterS, будем выпускать сопроводительные ролики для моих Колабов. Постараемся сделать информативно и занимательно. В первом же видео я решил рассказать о своем детище. Немного теории и много практики. Приятного просмотра!

👨 DFDNet (Photo&Video Restoration) 👩

https://youtu.be/d7b4qsmpEHQ

Если вы подписаны на этот канал, то наверняка помните эту прекрасную нейросеть, улучшающую качество лица на изображении. Недавно я переписал Колаб для восстановления видеозаписей. Подробную инструкцию по тому, как пользоваться нейронкой я записал на Ютуб по ссылке выше. В начале, как обычно, теория, а потом и практика. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/DFDNet/blob/whole/DFDNet_Colab.ipynb

👄 Wav2Lip 🎤

https://youtu.be/XnVVe4CtCxg

Нейросеть, синхронизирующая движение губ человека на видео и речи в аудиофайле. Как вы можете помнить Колаб по ней я уже публиковал, однако не всем удалось ей воспользоваться. Либо сам формат Колабов не понятен, либо результат получался плохим. В этом видео я рассказываю не только о теории, но и об ограничениях, которые в ней имеются. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb

P.S. Следующее видео+колаб сделаю на что-нибудь новенькое.

🙎‍♂️Распознавание лиц 🙍‍♀️

https://youtu.be/cyRHeNQL0-4

Моя первая попытка сделать образовательный ролик. В нем я решил рассказать о том, из чего состоят системы распознавания лиц; какие этапы проходят фотографии, прежде чем нейросеть определит степень их схожести; какие современные модели для решения данной задачи существуют прямо сейчас и какая из них наиболее эффективная. Также, в конце ролика, показано, как самостоятельно протестировать распознавание лиц на имеющейся базе фотографий.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Face_Recognition.ipynb

✍️ Portrait Painter ✍️

А вот и пост из серии #fastColab подъехал. Сами по себе колабы не так-то быстро собирать, а уж видео тем более, поэтому хотя бы обычными новостями, относящимися к тематике канала, буду радовать вас чаще. Сегодня представляю вашему вниманию отрисовщик портретов "U-2-Net", который изначально предполагался для стилизации фотографий, но я, как обычно, добавил возможность прогонять видеозапись. Выглядит весьма симпатично. Лучше предыдущего аналога. Есть проблемы со стабилизацией у видеозаписей, но это не критично.

Онлайн можно поковырять тут: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Portrait_Painter.ipynb

📝 Text to Image Converter 🎨

Вероятнее всего, многие из вас уже слышали о безумно крутой нейронке от OpenAI под названием DALL·E. Увы, не ее я сегодня публикую, но это тоже весьма интересный проект. Суть похожа (пишем текст и получаем картинку), однако по качеству, естественно, уступает. При всем при этом результаты получаются хорошими. Образы часто считываются без особого напряжения своих извилин. Текст писать можно на любом языке (впихнул туда переводчик), главное не забывайте включать свою дикую фантазию. Иногда нейронка справляется с весьма сумасшедшими запросами.

Старый добрый Колаб, чтобы поковыряться онлайн: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image.ipynb

📝 Text to Image Converter 2.0 🎨

А вот и мощное обновление предыдущего конвертера. В качестве генератора выступает BigGAN. Итоговые картинки теперь напоминают не плохой рисунок, а скорее плохую фотографию. Я генерировал много разных картинок (синяя птица в зеленом лесу, стул в виде авокадо, злые собаки и т.п.), хотел скомпилировать все в один презентационный ролик, но потом я попробовал создать портрет Моны Лизы и получил такую прелесть, что в итоге ее одну и оставил. Выполняться генерация стала заметно быстрее. Как и прошлая версия Колаба, эта поддерживает написание текстов на разных языках, поэтому не стесняйтесь экспериментировать.

Новый Колаб уже доступен по ссылке: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image_v2.ipynb

Получил я на днях доступ к бетке GPT-3 и за несколько часов потратил все лимиты, которые были бесплатно предоставлены. Штука настолько поразительная, что оторваться было невозможно. Стоит купить подписку, так как за время пока я ждал доступа в голове накопилась целая куча экспериментов, которые просто необходимо провести с этим замечательным инструментом. Если коротко, GPT-3 способна сочинять правдоподобные текста. Стоит ей дать буквально пару предложений, чтобы было за что зацепиться и дальше она сотворит магию. В общем я скормил ей всего лишь 10 коротких шуток Джимми Карра и вот, что она насочиняла (переведено на Рус.):

▫️Я никогда не любил покупать подарки в день рождения своей девушки, потому что она хочет, чтобы я отдавал их ей.

▫️Многие люди в пожилом возрасте задумываются о том, будет ли жизнь после смерти. И если да, то станут ли они молодыми и красивыми… или просто постарше и более некрасивыми.

▫️Худшее, что может случиться с мужчиной после 40 лет, он встречает девушку своей мечты и узнает, что она его дочь.

▫️Худшее, что может случиться с женщиной после 40 лет - ей 40.

▫️Моя девушка все время злится на меня, когда я разбрасываю свои носки по комнате, но она почему-то ничего не говорит, когда я разбрасываю её белье.

▫️Сейчас я работаю консультантом, но в детстве я мечтал стать космонавтом и полететь к звездам. Гравитация - с*ка.

#эксперимент

📝 Natural Language YouTube Searcher 🔎

Последние мои три поста были о генерации изображений по текстовому описанию. Все они использовали нейросеть CLIP от компании OpenAI, основная задача которой наоборот придумывать описания картинкам. На этот раз из нее собрали поисковик по кадрам из ролика на Ютубе. Все просто: даете ссылку на видео; пишите что нужно найти (как и раньше, на любом языке) и нейросеть не просто показывает кадр, который вы искали, но и говорит на какой он секунде. Если во время выполнения второго блока будет вылетать, то увеличьте показатель frames_to_skip. В остальном, я уверен, вы без труда разберетесь.

Колаб для тестов доступен по ссылке: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Natural_Language_YouTube_Searcher.ipynb

🏝 Panorama generator 🏔

А вот и я с новенькой нейронкой. На этот раз бесконечный генератор панорам. Естественно в Колабе есть некоторые ограничения, поэтому концовка у видео всеж будет. Там же вы найдете кучу разных параметров, начиная от скорости и заканчивая разрешением итогового видео. Весьма залипательный инструмент. Можно в FullHD генерировать красивые, а главное уникальные и несуществующие фоны природы для каких-нибудь инсталляций. В общем каждый может придумать этой нейронке применение.

Протестировать можно тут: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Panorama_generator.ipynb

P.S. Про канал я не забыл и не забуду. С момента последней публикации накопилось много новых и интересных нейронок, на которые я обязательно соберу Колабы. Сейчас свободного времени очень мало. Скоро анонсирую чем именно занимался. Спасибо всем, кто остается с нами. Дальше будет только интереснее.

❗️Живые герои❗️

В этот замечательный праздник, а именно в День Великой Победы, я, вместе со своей командой, хотели бы поздравить всех вас и презентовать один из наших проектов, над которым мы работали в последнее время. Он основан на уже многим известной технологии переноса эмоций с видео на фото, но с небольшими улучшениями. Подробнее о них и о том, как вообще родился этот проект я написал в статье. Если будет интересно, то потом могу написать об оптимизации работы алгоритмов и про мой опыт ведения этого продукта.
Прямо сейчас доступны несколько популярных фронтовых песен, поэтому если интересно, то переходите на сайт проекта где вы найдете ссылки для скачивания на iOS и Android:

живыегерои.рф

👨🏼‍⚕️ QuickFaceSwap 👩🏾‍⚕️

Ку, давно колабов не было. На днях мне попался один лицевой сваппер и энхансер, и я подумал, что можно собрать простенький аналог DFL, который, в перспективе, можно развивать и улучшать (только если вам это интересно). Пока он сыроват и в нем достаточно минусов: края квадрата с лицом заметны (уже исправил), портятся зубы, присутствует легкая нестабильность. И я бы не стал собирать колаб, если бы не ряд плюсов: скорость, которая DFL может только сниться; нужно всего одно фото, вместо нескольких тысяч; благодаря энхансеру моделька на 224 превратилась в 512 без значительных искажений (как это бывает у DFDNet'а). Прикрепленное видео (фуллХД на 22 секунды с 5 персонажами) было сделано за пол часа. Шустро, не правда ли? Короче, судьба этого ансамбля зависит от вашего интереса. TODO расписал внутри колаба. Я чуть-чуть торопился, поэтому могут быть ошибки. Милости прошу тестировать:

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/QuickFaceSwap.ipynb

👨‍💻 Тестирую Codex 👨‍💻

Ку, ребят, не теряйте. Был немного занят, но теперь возвращаюсь обратно, поэтому ждите новых, а так же восстановленных старых, Colab'ов. Скоро все будет.

Сегодня хотел бы похвастаться тем, что мне дали доступ к инструменту Codex. Это такая штука, с помощью которой можно переводить человекопонятные слова в программный код. Увы, мне дали поиграться только с JavaScript'ом, в котором я слаб от слова совсем, но от этого и интереснее было проводить эксперимент.

https://teletype.in/@bomze/codex