🎙Voice Cloner🎙

Вот мы и добрались до клонирования голоса. Качество пока напоминает разговор через рацию, однако кто знает, какими будут подобные технологии лет через 5. Для тех, кому хочется поиграться с этой нейронкой я приготовил для вас пару Колабов: https://github.com/tg-bomze/Voice-Cloner (по старинке, кнопка "Open in Colab"). Перейдя на официальные репозитории (ссылки на них я указал в своем) вы сможете найти инструкцию, как именно обучить нейросеть самостоятельно. И не забывайте об ответственности, которую вы будите нести!

P.S. За предоставленный аудио-файл отдельное спасибо создателю "Multi-Tacotron-Voice-Cloning"

15 июля состоялся митап, посвященный машинному обучению в искусстве, где я принял участие: https://www.youtube.com/watch?v=A6u9c28LIN4

Темы, которые я затронул в докладе:
Омоложение Моны Лизы, популяризаторство "Машинного обучения в искусстве" (проблема и решение), Ансамбль нейронных сетей по восстановлению старых видеозаписей (ENTAR), Оживление портрета ДумГая, Лицевой Депикселизатор, Генератор лиц детей по фотографиям мужчины и женщины.

Помимо этого, советую ознакомиться с докладами других участников:
- Implicit Neural Representations with Periodic Activation Functions (Gleb Sterkin): https://youtu.be/iUmrBL62gvw
- Neural Cellular Automata and Differentiable Self-Organisation (Alexandr Mordvintsev): https://youtu.be/TC548YD0lFc

P.S. Отдельное спасибо организаторам этого мероприятия.

🌕 Changing the time of day 🌑

Буквально час назад был опубликован код нейронки, меняющей время суток на фотографии или видео. Работает весьма шустро и качественно. Накидал вам Колаб на скорую руку (новая рубрика: #fastColab).

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/High_Resolution_Daytime_Translation_(RUS).ipynb

🙎‍♂️DFDNet (opensource аналог Remini) 🙎‍♀️

А вот и совсем свеженький проект, аналог которого (Remini) большинство знают и без меня. Приложение условно бесплатное, поэтому Колаб не нужен. Тем не менее многие опытные пользователи хотели поковыряться в коде и, возможно, применить эту технологию для каких-то своих решений. Именно этим я сегодня и решил заняться и вот на что советую обратить внимание:
1) Без gpu лучше даже не начинать, так как работать будет непозволительно долго.
2) Весит все это добро чуть меньше 5 гигабайт.
3) В ридми не указано, но рекомендуются специфические версии торча (torch==1.5.0, torchvision==0.6.0)

Из плюсов: отличное качество (при весьма агрессивном восстановлении). Из минусов: не может работать с цельным изображением (обрезает лишь лицо и с ним дальше работает).

Ссылка: https://github.com/csxmli2016/DFDNet

P.S. решил начать новую рубрику #withoutColab. Время от времени буду публиковать то, что по каким-то причинам не будет реализовано в виде Колаба.

🎼 Audio Style Transfer 🎼

Очередной пост из серии #fastColab. Данная нейросеть переносит стиль одной мелодии на другую. Если в основной присутствует текст песни, то он сохранится, но результат получится слегка зашумленным.

P.S. Как вы могли заметить, мой предыдущий пост не формат для канала, однако я уже писал, что хотел бы, чтобы MLArt не ассоциировался только как коллекция Колабов, поэтому, время от времени, тут будут возникать подобные отклонения от привычного формата. К тому же такую нейронку я не мог пропустить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Audio_Style_Transfer.ipynb

🙎‍♂️DFDNet Colab 🙎‍♀️

Все помнят мой недавний пост? Запустил я значит новую информационную рубрику, однако некоторые из вас очень просили, чтобы Colab всеж был собран. Пришлось пойти на некоторые ухищрения, так как нейронка весьма требовательная для бесплатной версии Колаба, но в итоге все заработало. По традиции переходим по ссылке ниже и нажимаем "Open in Colab":
https://github.com/tg-bomze/DFDNet

P.S. На фото изображен парнишка, который уже в далекие нулевые радовался тому, что DFDNet в итоге запустится в Гугл Колабе

👧 #BabyGAN 👦

Что это я все чужое да чужое? Пора бы и из своего что-нибудь опубликовать. Собирал я значит не спеша нейронку, генерирующую лица детей по фотографиям родителей, и тут узнаю, что FaceApp меня опередили. Посмотрел что там да как и понял, что они решили эту задачу обычным морфингом, без возможности контролировать интерполяцию. Да и большее влияние на конечный результат у них оказывает загруженное изображение именно первого родителя, что не есть правильно. В общем я понял, что уже хватит тянуть и за пару деньков собрал для вас Колаб. В довесок накидал несколько интересных плюшек, таких как возможность изменять некоторые параметры лица, а также создавать анимации плавного взросления. Вот ссылка напрямую, чтобы протестировать эту нейронку онлайн:

https://colab.research.google.com/github/tg-bomze/BabyGAN/blob/master/BabyGAN_(RUS).ipynb

🎤 Wav2Lip 👄

Восстанавливал я значит видео с Марлоном Брандо, как вдруг наткнулся вчера на эту потрясающую нейронку. Протестировать смог только сегодня, плюс время на сборку Колаба и вот инструмент готов. Если коротко, то суть заключается в коррекции движения губ человека на видеозаписи по предоставленному аудиофайлу с какой-нибудь речью. Конкретно для этого видео пришлось отделить вокал от мелодии, чтобы на вход подать чистый голос. Из плюсов: шустрая скорость генерации и приемлемое качество. Основной минус: края измененного прямоугольника с нижней частью лица видны, однако если видео в хорошем качестве и человек делает минимум движений головой, то такой проблемы может и не быть.

https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb

👧 Как пользоваться #BabyGAN 👦

https://youtu.be/xHFGoi81buU

Каждый раз, публикуя новый Колаб, я получаю сообщения по типу: "Как правильно запускать?", "А как сделать то?", "А как сделать сё?". Хоть я и стараюсь сделать подробную инструкцию, всеж большинству информация лучше воспринимается визуально. По этой причине я, вместе с каналом JCenterS, будем выпускать сопроводительные ролики для моих Колабов. Постараемся сделать информативно и занимательно. В первом же видео я решил рассказать о своем детище. Немного теории и много практики. Приятного просмотра!

👨 DFDNet (Photo&Video Restoration) 👩

https://youtu.be/d7b4qsmpEHQ

Если вы подписаны на этот канал, то наверняка помните эту прекрасную нейросеть, улучшающую качество лица на изображении. Недавно я переписал Колаб для восстановления видеозаписей. Подробную инструкцию по тому, как пользоваться нейронкой я записал на Ютуб по ссылке выше. В начале, как обычно, теория, а потом и практика. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/DFDNet/blob/whole/DFDNet_Colab.ipynb

👄 Wav2Lip 🎤

https://youtu.be/XnVVe4CtCxg

Нейросеть, синхронизирующая движение губ человека на видео и речи в аудиофайле. Как вы можете помнить Колаб по ней я уже публиковал, однако не всем удалось ей воспользоваться. Либо сам формат Колабов не понятен, либо результат получался плохим. В этом видео я рассказываю не только о теории, но и об ограничениях, которые в ней имеются. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb

P.S. Следующее видео+колаб сделаю на что-нибудь новенькое.

🙎‍♂️Распознавание лиц 🙍‍♀️

https://youtu.be/cyRHeNQL0-4

Моя первая попытка сделать образовательный ролик. В нем я решил рассказать о том, из чего состоят системы распознавания лиц; какие этапы проходят фотографии, прежде чем нейросеть определит степень их схожести; какие современные модели для решения данной задачи существуют прямо сейчас и какая из них наиболее эффективная. Также, в конце ролика, показано, как самостоятельно протестировать распознавание лиц на имеющейся базе фотографий.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Face_Recognition.ipynb

✍️ Portrait Painter ✍️

А вот и пост из серии #fastColab подъехал. Сами по себе колабы не так-то быстро собирать, а уж видео тем более, поэтому хотя бы обычными новостями, относящимися к тематике канала, буду радовать вас чаще. Сегодня представляю вашему вниманию отрисовщик портретов "U-2-Net", который изначально предполагался для стилизации фотографий, но я, как обычно, добавил возможность прогонять видеозапись. Выглядит весьма симпатично. Лучше предыдущего аналога. Есть проблемы со стабилизацией у видеозаписей, но это не критично.

Онлайн можно поковырять тут: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Portrait_Painter.ipynb

📝 Text to Image Converter 🎨

Вероятнее всего, многие из вас уже слышали о безумно крутой нейронке от OpenAI под названием DALL·E. Увы, не ее я сегодня публикую, но это тоже весьма интересный проект. Суть похожа (пишем текст и получаем картинку), однако по качеству, естественно, уступает. При всем при этом результаты получаются хорошими. Образы часто считываются без особого напряжения своих извилин. Текст писать можно на любом языке (впихнул туда переводчик), главное не забывайте включать свою дикую фантазию. Иногда нейронка справляется с весьма сумасшедшими запросами.

Старый добрый Колаб, чтобы поковыряться онлайн: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image.ipynb

📝 Text to Image Converter 2.0 🎨

А вот и мощное обновление предыдущего конвертера. В качестве генератора выступает BigGAN. Итоговые картинки теперь напоминают не плохой рисунок, а скорее плохую фотографию. Я генерировал много разных картинок (синяя птица в зеленом лесу, стул в виде авокадо, злые собаки и т.п.), хотел скомпилировать все в один презентационный ролик, но потом я попробовал создать портрет Моны Лизы и получил такую прелесть, что в итоге ее одну и оставил. Выполняться генерация стала заметно быстрее. Как и прошлая версия Колаба, эта поддерживает написание текстов на разных языках, поэтому не стесняйтесь экспериментировать.

Новый Колаб уже доступен по ссылке: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image_v2.ipynb

Получил я на днях доступ к бетке GPT-3 и за несколько часов потратил все лимиты, которые были бесплатно предоставлены. Штука настолько поразительная, что оторваться было невозможно. Стоит купить подписку, так как за время пока я ждал доступа в голове накопилась целая куча экспериментов, которые просто необходимо провести с этим замечательным инструментом. Если коротко, GPT-3 способна сочинять правдоподобные текста. Стоит ей дать буквально пару предложений, чтобы было за что зацепиться и дальше она сотворит магию. В общем я скормил ей всего лишь 10 коротких шуток Джимми Карра и вот, что она насочиняла (переведено на Рус.):

▫️Я никогда не любил покупать подарки в день рождения своей девушки, потому что она хочет, чтобы я отдавал их ей.

▫️Многие люди в пожилом возрасте задумываются о том, будет ли жизнь после смерти. И если да, то станут ли они молодыми и красивыми… или просто постарше и более некрасивыми.

▫️Худшее, что может случиться с мужчиной после 40 лет, он встречает девушку своей мечты и узнает, что она его дочь.

▫️Худшее, что может случиться с женщиной после 40 лет - ей 40.

▫️Моя девушка все время злится на меня, когда я разбрасываю свои носки по комнате, но она почему-то ничего не говорит, когда я разбрасываю её белье.

▫️Сейчас я работаю консультантом, но в детстве я мечтал стать космонавтом и полететь к звездам. Гравитация - с*ка.

#эксперимент