ExMuffin – Telegram
ExMuffin
4.57K subscribers
68 photos
36 videos
75 links
Из сохраненок и набросков в посты про ИИ.

👤 @bomze
Download Telegram
🎙Jukebox: Модель генерации музыки🎙

Вероятнее всего вы уже слышали об этой нейронке, поэтому много рассказывать о ней не буду. Краткое описание и Колабы на двух языках разместил по ссылке: https://github.com/tg-bomze/Jukebox_Colab. Единственное, что следует сказать сразу, полный цикл ее работы может составить около 9 часов, поэтому советую ставить ее перед сном, а уже с утра наслаждаться сгенерированным музыкальным произведением.

P.S. Выражаю благодарность @denissexy за предоставленный Colab. Мне оставалось лишь оптимизировать его для удобства пользования.
🔥1😢1
❗️Канал "Архив_404" меняет название❗️

Теперь он будет называться "MLArt". Завтра поменяется и обложка, но вы не пугайтесь. Я продолжу публиковать Колабы как и прежде (ради этого ведь многие и подписаны на него). Планирую, помимо них, иногда делать обзоры нейронок, освещать значимые события, возможно записывать подкасты. Другими словами популяризировать Machine Learning in Art.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
👾 Face Depixelizer 😈

Если попытаться описать суть в одном предложении, то оно будет звучать так: Нейросеть принимает на вход изображение с низким разрешением (преимущественно пиксельное), а на выходе генеративная модель (в данном случае StyleGAN) подбирает такое изображение с высоким разрешением, которые при пикселизации даст максимально похожий результат с входным. Все как в тех сериалах, где сотрудники полиции восстанавливают лицо преступника по записям с камер наружного видеонаблюдения. Колабы на двух языках, как обычно, опубликовал у себя на GitHub: https://github.com/tg-bomze/Face-Depixelizer
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🎨 Photo/Video Style Transfer Collection 🎨

Собрал большой пак нейронных сетей по переносу стиля из одного изображения на другое. Некоторые из них обрабатывают фото достаточно быстро и весьма качественно, поэтому переписал их под стилизацию видео. Все это добро сложил в свой GitHub: https://github.com/tg-bomze/Style-Transfer-Collection. Для тестирования переходите по ссылке, выбирайте понравившийся результат и кликайте по кнопке "Open in Colab" рядом с названием соответствующей нейронки (репозитория).
🔥1😢1
Media is too big
VIEW IN TELEGRAM
🎙Voice Cloner🎙

Вот мы и добрались до клонирования голоса. Качество пока напоминает разговор через рацию, однако кто знает, какими будут подобные технологии лет через 5. Для тех, кому хочется поиграться с этой нейронкой я приготовил для вас пару Колабов: https://github.com/tg-bomze/Voice-Cloner (по старинке, кнопка "Open in Colab"). Перейдя на официальные репозитории (ссылки на них я указал в своем) вы сможете найти инструкцию, как именно обучить нейросеть самостоятельно. И не забывайте об ответственности, которую вы будите нести!

P.S. За предоставленный аудио-файл отдельное спасибо создателю "Multi-Tacotron-Voice-Cloning"
🔥1😢1
15 июля состоялся митап, посвященный машинному обучению в искусстве, где я принял участие: https://www.youtube.com/watch?v=A6u9c28LIN4

Темы, которые я затронул в докладе:
Омоложение Моны Лизы, популяризаторство "Машинного обучения в искусстве" (проблема и решение), Ансамбль нейронных сетей по восстановлению старых видеозаписей (ENTAR), Оживление портрета ДумГая, Лицевой Депикселизатор, Генератор лиц детей по фотографиям мужчины и женщины.

Помимо этого, советую ознакомиться с докладами других участников:
- Implicit Neural Representations with Periodic Activation Functions (Gleb Sterkin): https://youtu.be/iUmrBL62gvw
- Neural Cellular Automata and Differentiable Self-Organisation (Alexandr Mordvintsev): https://youtu.be/TC548YD0lFc

P.S. Отдельное спасибо организаторам этого мероприятия.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🌕 Changing the time of day 🌑

Буквально час назад был опубликован код нейронки, меняющей время суток на фотографии или видео. Работает весьма шустро и качественно. Накидал вам Колаб на скорую руку (новая рубрика: #fastColab).

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/High_Resolution_Daytime_Translation_(RUS).ipynb
🔥1😢1
🙎‍♂️DFDNet (opensource аналог Remini) 🙎‍♀️

А вот и совсем свеженький проект, аналог которого (Remini) большинство знают и без меня. Приложение условно бесплатное, поэтому Колаб не нужен. Тем не менее многие опытные пользователи хотели поковыряться в коде и, возможно, применить эту технологию для каких-то своих решений. Именно этим я сегодня и решил заняться и вот на что советую обратить внимание:
1) Без gpu лучше даже не начинать, так как работать будет непозволительно долго.
2) Весит все это добро чуть меньше 5 гигабайт.
3) В ридми не указано, но рекомендуются специфические версии торча (torch==1.5.0, torchvision==0.6.0)

Из плюсов: отличное качество (при весьма агрессивном восстановлении). Из минусов: не может работать с цельным изображением (обрезает лишь лицо и с ним дальше работает).

Ссылка: https://github.com/csxmli2016/DFDNet

P.S. решил начать новую рубрику #withoutColab. Время от времени буду публиковать то, что по каким-то причинам не будет реализовано в виде Колаба.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🎼 Audio Style Transfer 🎼

Очередной пост из серии #fastColab. Данная нейросеть переносит стиль одной мелодии на другую. Если в основной присутствует текст песни, то он сохранится, но результат получится слегка зашумленным.

P.S. Как вы могли заметить, мой предыдущий пост не формат для канала, однако я уже писал, что хотел бы, чтобы MLArt не ассоциировался только как коллекция Колабов, поэтому, время от времени, тут будут возникать подобные отклонения от привычного формата. К тому же такую нейронку я не мог пропустить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Audio_Style_Transfer.ipynb
🔥1😢1
🙎‍♂️DFDNet Colab 🙎‍♀️

Все помнят мой недавний пост? Запустил я значит новую информационную рубрику, однако некоторые из вас очень просили, чтобы Colab всеж был собран. Пришлось пойти на некоторые ухищрения, так как нейронка весьма требовательная для бесплатной версии Колаба, но в итоге все заработало. По традиции переходим по ссылке ниже и нажимаем "Open in Colab":
https://github.com/tg-bomze/DFDNet

P.S. На фото изображен парнишка, который уже в далекие нулевые радовался тому, что DFDNet в итоге запустится в Гугл Колабе
🔥1😢1
Media is too big
VIEW IN TELEGRAM
👧 #BabyGAN 👦

Что это я все чужое да чужое? Пора бы и из своего что-нибудь опубликовать. Собирал я значит не спеша нейронку, генерирующую лица детей по фотографиям родителей, и тут узнаю, что FaceApp меня опередили. Посмотрел что там да как и понял, что они решили эту задачу обычным морфингом, без возможности контролировать интерполяцию. Да и большее влияние на конечный результат у них оказывает загруженное изображение именно первого родителя, что не есть правильно. В общем я понял, что уже хватит тянуть и за пару деньков собрал для вас Колаб. В довесок накидал несколько интересных плюшек, таких как возможность изменять некоторые параметры лица, а также создавать анимации плавного взросления. Вот ссылка напрямую, чтобы протестировать эту нейронку онлайн:

https://colab.research.google.com/github/tg-bomze/BabyGAN/blob/master/BabyGAN_(RUS).ipynb
🔥1😢1
Media is too big
VIEW IN TELEGRAM
🎤 Wav2Lip 👄

Восстанавливал я значит видео с Марлоном Брандо, как вдруг наткнулся вчера на эту потрясающую нейронку. Протестировать смог только сегодня, плюс время на сборку Колаба и вот инструмент готов. Если коротко, то суть заключается в коррекции движения губ человека на видеозаписи по предоставленному аудиофайлу с какой-нибудь речью. Конкретно для этого видео пришлось отделить вокал от мелодии, чтобы на вход подать чистый голос. Из плюсов: шустрая скорость генерации и приемлемое качество. Основной минус: края измененного прямоугольника с нижней частью лица видны, однако если видео в хорошем качестве и человек делает минимум движений головой, то такой проблемы может и не быть.

https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb
🔥1😢1
👧 Как пользоваться #BabyGAN 👦

https://youtu.be/xHFGoi81buU

Каждый раз, публикуя новый Колаб, я получаю сообщения по типу: "Как правильно запускать?", "А как сделать то?", "А как сделать сё?". Хоть я и стараюсь сделать подробную инструкцию, всеж большинству информация лучше воспринимается визуально. По этой причине я, вместе с каналом JCenterS, будем выпускать сопроводительные ролики для моих Колабов. Постараемся сделать информативно и занимательно. В первом же видео я решил рассказать о своем детище. Немного теории и много практики. Приятного просмотра!
🔥1😢1
👨 DFDNet (Photo&Video Restoration) 👩

https://youtu.be/d7b4qsmpEHQ

Если вы подписаны на этот канал, то наверняка помните эту прекрасную нейросеть, улучшающую качество лица на изображении. Недавно я переписал Колаб для восстановления видеозаписей. Подробную инструкцию по тому, как пользоваться нейронкой я записал на Ютуб по ссылке выше. В начале, как обычно, теория, а потом и практика. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/DFDNet/blob/whole/DFDNet_Colab.ipynb
🔥1😢1
👄 Wav2Lip 🎤

https://youtu.be/XnVVe4CtCxg

Нейросеть, синхронизирующая движение губ человека на видео и речи в аудиофайле. Как вы можете помнить Колаб по ней я уже публиковал, однако не всем удалось ей воспользоваться. Либо сам формат Колабов не понятен, либо результат получался плохим. В этом видео я рассказываю не только о теории, но и об ограничениях, которые в ней имеются. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb

P.S. Следующее видео+колаб сделаю на что-нибудь новенькое.
😢2🔥1
🙎‍♂️Распознавание лиц 🙍‍♀️

https://youtu.be/cyRHeNQL0-4

Моя первая попытка сделать образовательный ролик. В нем я решил рассказать о том, из чего состоят системы распознавания лиц; какие этапы проходят фотографии, прежде чем нейросеть определит степень их схожести; какие современные модели для решения данной задачи существуют прямо сейчас и какая из них наиболее эффективная. Также, в конце ролика, показано, как самостоятельно протестировать распознавание лиц на имеющейся базе фотографий.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Face_Recognition.ipynb
🔥1😢1
Раз уж мой канал позиционирует себя как место, где я рассказываю о нейронках в искусстве, то помимо колабов и видео я буду иногда публиковать подобные посты. И начну я с прекрасного генератива, но прежде спрошу: "Все ли знают кто такой Бэнкси?". Если нет, то вот короткая справка из Википедии: английский стрит-арт художник, политический активист и режиссер. Его работы весьма провокационны, а личность до сих пор неизвестна. На первом фото я представил несколько его трудов. Так вот, не так давно ребята из VoleWTF обучили StyleGAN2 на работах Бэнкси и начали генерить нечто похожее (фото 2). Собрав 256 работ они выставили их на продажу и назвали проект ГАНкси. На сайте можно посмотреть всю галерею. Начальная цена была в 100 рублей, а текущая выросла до 10 тыс. В общей сложности они уже собрали почти пол миллиона. И естественно не деньги главное, а контент, учитывая то, как генератив вошел в современное искусство. Кто-то может сказать, что это вовсе и не искусство, но лично у меня это вызывает только восторг.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
✍️ Portrait Painter ✍️

А вот и пост из серии #fastColab подъехал. Сами по себе колабы не так-то быстро собирать, а уж видео тем более, поэтому хотя бы обычными новостями, относящимися к тематике канала, буду радовать вас чаще. Сегодня представляю вашему вниманию отрисовщик портретов "U-2-Net", который изначально предполагался для стилизации фотографий, но я, как обычно, добавил возможность прогонять видеозапись. Выглядит весьма симпатично. Лучше предыдущего аналога. Есть проблемы со стабилизацией у видеозаписей, но это не критично.

Онлайн можно поковырять тут: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Portrait_Painter.ipynb
🔥2😢1