❗️ENTAR v.1.0❗️

А вот и обещанный ансамбль нейросетевых инструментов реставрации старых видео. От названия RoBWOV было решено отказаться. Новый алгоритм имеет куда больший список технологий. С полным списком сеток можно ознакомиться в описании к репозиторию:
https://github.com/tg-bomze/ENTAR/blob/master/README.md
Для самостоятельного тестирования предлагается использовать вычислительные мощности Google на облачной платформе Colab:
https://colab.research.google.com/github/tg-bomze/ENTAR/blob/master/ENTAR_Rus.ipynb
Я постарался максимально доходчиво расписать последовательность действий, чтобы не возникло трудностей даже у тех, кто никогда не занимался программированием. Со временем в ENTAR будут добавляться новые и обновляться старые нейросети, поэтому если вам интересно, то не теряйте ссылку на Colab.

🔹StyleGAN2 (Face Modificator)🔹

Все помнят омоложение Моны Лизы? Так вот, у меня для вас есть небольшой сюрприз. Я решил, что стоит поделиться с вами этой прекрасной сборкой. На свой GitHub (https://github.com/tg-bomze/StyleGAN2-Face-Modificator) я уже выкатил ноутбуки, которые вы можете запустить на облачном Google Colab и самостоятельно поковыряться в них. Переходите по ссылке и тыкайте на кнопку "Open in Colab".

P.S. Юный Александр Сергеевич, представленный в прикрепленном видео, был также сгенерирован при помощи StyleGAN2 😉

🔸Face Image Motion Model🔸

Многие уже знакомы с моделью "First Order Motion Model", с помощью которой можно переносить движения лица из видеофайла на фотографию. У нее есть ряд недостатков: занижает FPS, уменьшает разрешение выходного видео до 256px, не переносит звук, а также требует много ручной подготовки входных материалов. От большинства из них я избавился и по традиции все оформил в удобный Колаб на своем GitHub: https://github.com/tg-bomze/Face-Image-Motion-Model. Переходите по ссылке и нажимайте на кнопку "Open in Colab", чтобы самостоятельно протестировать модель. Оставшиеся нерешенные проблемы будут исправляться в дальнейших обновлениях.

P.S. Если вдруг кто-то не узнал персонажа в прикрепленном видео, то это главный герой из серии игр Doom. Детализацией занимался отдельно, используя Remini и, в том числе, инструмент “StyleGAN2 (Face Modificator)” из предыдущего поста.

P.P.S. Может возникнуть ошибка. Это из-за лимитов Гугла. Если такое случается, то скрипт должен заработать снова в течении суток.

🧩 Video to Anime Converter 🧩

Не так давно на многих тематических каналах публиковали нейросеть, которая трансформировала изображение под стилистику аниме. Я решил сделать Колаб для конвертации коротких видеороликов, который опубликовал у себя на GitHub: https://github.com/tg-bomze/Video2Anime. Каждый желающий может зайти, нажать на кнопку "Open in Colab" и самостоятельно попробовать поиграться с этим инструментом. Проведя некоторое количество тестов я заметил, что этот эффект отлично накладывается на видеоролики с пейзажами. С людьми он пока работает недостаточно хорошо. В дальнейших обновлениях это будет исправлено.

✍️ Stylizer Video to Drawing ✍️

На этот раз у нас нейронка, стилизующая кадры портретного видео в рисунки. Найти Колабы, в которых её можно опробовать, не составит труда, если перейти по ссылке: https://github.com/tg-bomze/Video2Drawing. Данное видео (25 fps), длящееся 20 секунд, она обрабатывала 7 минут. Скорость - ее основной минус. Тем не мене качество весьма достойное, что является плюсом.

P.S. Простите за мой плохой финский.

Дорогие подписчики.

Изначально планировал подвести итоги и рассказать как, опубликованными на этом канале нейросетям, я реставрировал "Тайную вечерю", но в последний момент решил, что лучше просто поведаю о планах на этот канал. Публикация Колабов не закончится (всеж это то, почему многие вообще подписались). Как часто это будет? Сложно сказать, но я буду стараться делать их чаще. Много времени уходит на основную работу и на собственный проект, который я собираю с января (пока не могу сказать какой, но он точно связан с нейронками... думаю вам понравится). Помимо этого хотел попробовать записать подкасты или видеотуториалы по самостоятельному обучению или по разборам уже существующих.

В любом случае хотел сказать спасибо всем и каждому за то, что проявляете интерес к моему труду. Спасибо всем, кто пишет вопросы, советуется или советует, делится своими находками и размышлениями. За время ведения своего канала я познакомился с множеством удивительных людей. Мне очень приятно видеть в них заинтересованность к теме современных технологий. Чтож ... оставайтесь с нами. Дальше будет интереснее.

🔉Timbre Transfer 🔉

Очередной инструмент добавлен на мой GitHub: https://github.com/tg-bomze/TimbreTransfer (там же все ссылки на Колаб). Суть его заключается в синтезе звука. Проще говоря вы можете напеть мелодию прям внутри Колаба (или загрузить с компьютера), выбрать один из музыкальных инструментов (скрипка, флейта, труба, саксофон) и получить сгенерированное звуковое сопровождение. Качество зависит от микрофона и от внутренних настроек. Сам Колаб можно запускать со смартфона (если качество записи там лучше). Помимо этого данный инструмент может очищать аудиозапись от лишних шумов. Это работает лишь тогда, когда входной звуковой файл содержит игру лишь на одном инструменте (и то из тех, которые представлены в самом скрипте).

P.S. Помимо этого хотел бы оповестить о том, что ENTAR обновился до 3 версии. Теперь там появилась возможность увеличивать детализацию видеозаписей. Вкупе с этим инструментом можно улучшать какие-либо старые записи концертов.

🎙Jukebox: Модель генерации музыки🎙

Вероятнее всего вы уже слышали об этой нейронке, поэтому много рассказывать о ней не буду. Краткое описание и Колабы на двух языках разместил по ссылке: https://github.com/tg-bomze/Jukebox_Colab. Единственное, что следует сказать сразу, полный цикл ее работы может составить около 9 часов, поэтому советую ставить ее перед сном, а уже с утра наслаждаться сгенерированным музыкальным произведением.

P.S. Выражаю благодарность @denissexy за предоставленный Colab. Мне оставалось лишь оптимизировать его для удобства пользования.

❗️Канал "Архив_404" меняет название❗️

Теперь он будет называться "MLArt". Завтра поменяется и обложка, но вы не пугайтесь. Я продолжу публиковать Колабы как и прежде (ради этого ведь многие и подписаны на него). Планирую, помимо них, иногда делать обзоры нейронок, освещать значимые события, возможно записывать подкасты. Другими словами популяризировать Machine Learning in Art.

👾 Face Depixelizer 😈

Если попытаться описать суть в одном предложении, то оно будет звучать так: Нейросеть принимает на вход изображение с низким разрешением (преимущественно пиксельное), а на выходе генеративная модель (в данном случае StyleGAN) подбирает такое изображение с высоким разрешением, которые при пикселизации даст максимально похожий результат с входным. Все как в тех сериалах, где сотрудники полиции восстанавливают лицо преступника по записям с камер наружного видеонаблюдения. Колабы на двух языках, как обычно, опубликовал у себя на GitHub: https://github.com/tg-bomze/Face-Depixelizer

🎨 Photo/Video Style Transfer Collection 🎨

Собрал большой пак нейронных сетей по переносу стиля из одного изображения на другое. Некоторые из них обрабатывают фото достаточно быстро и весьма качественно, поэтому переписал их под стилизацию видео. Все это добро сложил в свой GitHub: https://github.com/tg-bomze/Style-Transfer-Collection. Для тестирования переходите по ссылке, выбирайте понравившийся результат и кликайте по кнопке "Open in Colab" рядом с названием соответствующей нейронки (репозитория).

🎙Voice Cloner🎙

Вот мы и добрались до клонирования голоса. Качество пока напоминает разговор через рацию, однако кто знает, какими будут подобные технологии лет через 5. Для тех, кому хочется поиграться с этой нейронкой я приготовил для вас пару Колабов: https://github.com/tg-bomze/Voice-Cloner (по старинке, кнопка "Open in Colab"). Перейдя на официальные репозитории (ссылки на них я указал в своем) вы сможете найти инструкцию, как именно обучить нейросеть самостоятельно. И не забывайте об ответственности, которую вы будите нести!

P.S. За предоставленный аудио-файл отдельное спасибо создателю "Multi-Tacotron-Voice-Cloning"

15 июля состоялся митап, посвященный машинному обучению в искусстве, где я принял участие: https://www.youtube.com/watch?v=A6u9c28LIN4

Темы, которые я затронул в докладе:
Омоложение Моны Лизы, популяризаторство "Машинного обучения в искусстве" (проблема и решение), Ансамбль нейронных сетей по восстановлению старых видеозаписей (ENTAR), Оживление портрета ДумГая, Лицевой Депикселизатор, Генератор лиц детей по фотографиям мужчины и женщины.

Помимо этого, советую ознакомиться с докладами других участников:
- Implicit Neural Representations with Periodic Activation Functions (Gleb Sterkin): https://youtu.be/iUmrBL62gvw
- Neural Cellular Automata and Differentiable Self-Organisation (Alexandr Mordvintsev): https://youtu.be/TC548YD0lFc

P.S. Отдельное спасибо организаторам этого мероприятия.

🌕 Changing the time of day 🌑

Буквально час назад был опубликован код нейронки, меняющей время суток на фотографии или видео. Работает весьма шустро и качественно. Накидал вам Колаб на скорую руку (новая рубрика: #fastColab).

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/High_Resolution_Daytime_Translation_(RUS).ipynb

🙎‍♂️DFDNet (opensource аналог Remini) 🙎‍♀️

А вот и совсем свеженький проект, аналог которого (Remini) большинство знают и без меня. Приложение условно бесплатное, поэтому Колаб не нужен. Тем не менее многие опытные пользователи хотели поковыряться в коде и, возможно, применить эту технологию для каких-то своих решений. Именно этим я сегодня и решил заняться и вот на что советую обратить внимание:
1) Без gpu лучше даже не начинать, так как работать будет непозволительно долго.
2) Весит все это добро чуть меньше 5 гигабайт.
3) В ридми не указано, но рекомендуются специфические версии торча (torch==1.5.0, torchvision==0.6.0)

Из плюсов: отличное качество (при весьма агрессивном восстановлении). Из минусов: не может работать с цельным изображением (обрезает лишь лицо и с ним дальше работает).

Ссылка: https://github.com/csxmli2016/DFDNet

P.S. решил начать новую рубрику #withoutColab. Время от времени буду публиковать то, что по каким-то причинам не будет реализовано в виде Колаба.

🎼 Audio Style Transfer 🎼

Очередной пост из серии #fastColab. Данная нейросеть переносит стиль одной мелодии на другую. Если в основной присутствует текст песни, то он сохранится, но результат получится слегка зашумленным.

P.S. Как вы могли заметить, мой предыдущий пост не формат для канала, однако я уже писал, что хотел бы, чтобы MLArt не ассоциировался только как коллекция Колабов, поэтому, время от времени, тут будут возникать подобные отклонения от привычного формата. К тому же такую нейронку я не мог пропустить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Audio_Style_Transfer.ipynb

🙎‍♂️DFDNet Colab 🙎‍♀️

Все помнят мой недавний пост? Запустил я значит новую информационную рубрику, однако некоторые из вас очень просили, чтобы Colab всеж был собран. Пришлось пойти на некоторые ухищрения, так как нейронка весьма требовательная для бесплатной версии Колаба, но в итоге все заработало. По традиции переходим по ссылке ниже и нажимаем "Open in Colab":
https://github.com/tg-bomze/DFDNet

P.S. На фото изображен парнишка, который уже в далекие нулевые радовался тому, что DFDNet в итоге запустится в Гугл Колабе

👧 #BabyGAN 👦

Что это я все чужое да чужое? Пора бы и из своего что-нибудь опубликовать. Собирал я значит не спеша нейронку, генерирующую лица детей по фотографиям родителей, и тут узнаю, что FaceApp меня опередили. Посмотрел что там да как и понял, что они решили эту задачу обычным морфингом, без возможности контролировать интерполяцию. Да и большее влияние на конечный результат у них оказывает загруженное изображение именно первого родителя, что не есть правильно. В общем я понял, что уже хватит тянуть и за пару деньков собрал для вас Колаб. В довесок накидал несколько интересных плюшек, таких как возможность изменять некоторые параметры лица, а также создавать анимации плавного взросления. Вот ссылка напрямую, чтобы протестировать эту нейронку онлайн:

https://colab.research.google.com/github/tg-bomze/BabyGAN/blob/master/BabyGAN_(RUS).ipynb