ExMuffin – Telegram
ExMuffin
4.57K subscribers
68 photos
36 videos
75 links
Из сохраненок и набросков в посты про ИИ.

👤 @bomze
Download Telegram
🎙Jukebox: Модель генерации музыки🎙

Вероятнее всего вы уже слышали об этой нейронке, поэтому много рассказывать о ней не буду. Краткое описание и Колабы на двух языках разместил по ссылке: https://github.com/tg-bomze/Jukebox_Colab. Единственное, что следует сказать сразу, полный цикл ее работы может составить около 9 часов, поэтому советую ставить ее перед сном, а уже с утра наслаждаться сгенерированным музыкальным произведением.

P.S. Выражаю благодарность @denissexy за предоставленный Colab. Мне оставалось лишь оптимизировать его для удобства пользования.
🔥1😢1
❗️Канал "Архив_404" меняет название❗️

Теперь он будет называться "MLArt". Завтра поменяется и обложка, но вы не пугайтесь. Я продолжу публиковать Колабы как и прежде (ради этого ведь многие и подписаны на него). Планирую, помимо них, иногда делать обзоры нейронок, освещать значимые события, возможно записывать подкасты. Другими словами популяризировать Machine Learning in Art.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
👾 Face Depixelizer 😈

Если попытаться описать суть в одном предложении, то оно будет звучать так: Нейросеть принимает на вход изображение с низким разрешением (преимущественно пиксельное), а на выходе генеративная модель (в данном случае StyleGAN) подбирает такое изображение с высоким разрешением, которые при пикселизации даст максимально похожий результат с входным. Все как в тех сериалах, где сотрудники полиции восстанавливают лицо преступника по записям с камер наружного видеонаблюдения. Колабы на двух языках, как обычно, опубликовал у себя на GitHub: https://github.com/tg-bomze/Face-Depixelizer
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🎨 Photo/Video Style Transfer Collection 🎨

Собрал большой пак нейронных сетей по переносу стиля из одного изображения на другое. Некоторые из них обрабатывают фото достаточно быстро и весьма качественно, поэтому переписал их под стилизацию видео. Все это добро сложил в свой GitHub: https://github.com/tg-bomze/Style-Transfer-Collection. Для тестирования переходите по ссылке, выбирайте понравившийся результат и кликайте по кнопке "Open in Colab" рядом с названием соответствующей нейронки (репозитория).
🔥1😢1
Media is too big
VIEW IN TELEGRAM
🎙Voice Cloner🎙

Вот мы и добрались до клонирования голоса. Качество пока напоминает разговор через рацию, однако кто знает, какими будут подобные технологии лет через 5. Для тех, кому хочется поиграться с этой нейронкой я приготовил для вас пару Колабов: https://github.com/tg-bomze/Voice-Cloner (по старинке, кнопка "Open in Colab"). Перейдя на официальные репозитории (ссылки на них я указал в своем) вы сможете найти инструкцию, как именно обучить нейросеть самостоятельно. И не забывайте об ответственности, которую вы будите нести!

P.S. За предоставленный аудио-файл отдельное спасибо создателю "Multi-Tacotron-Voice-Cloning"
🔥1😢1
15 июля состоялся митап, посвященный машинному обучению в искусстве, где я принял участие: https://www.youtube.com/watch?v=A6u9c28LIN4

Темы, которые я затронул в докладе:
Омоложение Моны Лизы, популяризаторство "Машинного обучения в искусстве" (проблема и решение), Ансамбль нейронных сетей по восстановлению старых видеозаписей (ENTAR), Оживление портрета ДумГая, Лицевой Депикселизатор, Генератор лиц детей по фотографиям мужчины и женщины.

Помимо этого, советую ознакомиться с докладами других участников:
- Implicit Neural Representations with Periodic Activation Functions (Gleb Sterkin): https://youtu.be/iUmrBL62gvw
- Neural Cellular Automata and Differentiable Self-Organisation (Alexandr Mordvintsev): https://youtu.be/TC548YD0lFc

P.S. Отдельное спасибо организаторам этого мероприятия.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🌕 Changing the time of day 🌑

Буквально час назад был опубликован код нейронки, меняющей время суток на фотографии или видео. Работает весьма шустро и качественно. Накидал вам Колаб на скорую руку (новая рубрика: #fastColab).

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/High_Resolution_Daytime_Translation_(RUS).ipynb
🔥1😢1
🙎‍♂️DFDNet (opensource аналог Remini) 🙎‍♀️

А вот и совсем свеженький проект, аналог которого (Remini) большинство знают и без меня. Приложение условно бесплатное, поэтому Колаб не нужен. Тем не менее многие опытные пользователи хотели поковыряться в коде и, возможно, применить эту технологию для каких-то своих решений. Именно этим я сегодня и решил заняться и вот на что советую обратить внимание:
1) Без gpu лучше даже не начинать, так как работать будет непозволительно долго.
2) Весит все это добро чуть меньше 5 гигабайт.
3) В ридми не указано, но рекомендуются специфические версии торча (torch==1.5.0, torchvision==0.6.0)

Из плюсов: отличное качество (при весьма агрессивном восстановлении). Из минусов: не может работать с цельным изображением (обрезает лишь лицо и с ним дальше работает).

Ссылка: https://github.com/csxmli2016/DFDNet

P.S. решил начать новую рубрику #withoutColab. Время от времени буду публиковать то, что по каким-то причинам не будет реализовано в виде Колаба.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🎼 Audio Style Transfer 🎼

Очередной пост из серии #fastColab. Данная нейросеть переносит стиль одной мелодии на другую. Если в основной присутствует текст песни, то он сохранится, но результат получится слегка зашумленным.

P.S. Как вы могли заметить, мой предыдущий пост не формат для канала, однако я уже писал, что хотел бы, чтобы MLArt не ассоциировался только как коллекция Колабов, поэтому, время от времени, тут будут возникать подобные отклонения от привычного формата. К тому же такую нейронку я не мог пропустить.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Audio_Style_Transfer.ipynb
🔥1😢1
🙎‍♂️DFDNet Colab 🙎‍♀️

Все помнят мой недавний пост? Запустил я значит новую информационную рубрику, однако некоторые из вас очень просили, чтобы Colab всеж был собран. Пришлось пойти на некоторые ухищрения, так как нейронка весьма требовательная для бесплатной версии Колаба, но в итоге все заработало. По традиции переходим по ссылке ниже и нажимаем "Open in Colab":
https://github.com/tg-bomze/DFDNet

P.S. На фото изображен парнишка, который уже в далекие нулевые радовался тому, что DFDNet в итоге запустится в Гугл Колабе
🔥1😢1
Media is too big
VIEW IN TELEGRAM
👧 #BabyGAN 👦

Что это я все чужое да чужое? Пора бы и из своего что-нибудь опубликовать. Собирал я значит не спеша нейронку, генерирующую лица детей по фотографиям родителей, и тут узнаю, что FaceApp меня опередили. Посмотрел что там да как и понял, что они решили эту задачу обычным морфингом, без возможности контролировать интерполяцию. Да и большее влияние на конечный результат у них оказывает загруженное изображение именно первого родителя, что не есть правильно. В общем я понял, что уже хватит тянуть и за пару деньков собрал для вас Колаб. В довесок накидал несколько интересных плюшек, таких как возможность изменять некоторые параметры лица, а также создавать анимации плавного взросления. Вот ссылка напрямую, чтобы протестировать эту нейронку онлайн:

https://colab.research.google.com/github/tg-bomze/BabyGAN/blob/master/BabyGAN_(RUS).ipynb
🔥1😢1
Media is too big
VIEW IN TELEGRAM
🎤 Wav2Lip 👄

Восстанавливал я значит видео с Марлоном Брандо, как вдруг наткнулся вчера на эту потрясающую нейронку. Протестировать смог только сегодня, плюс время на сборку Колаба и вот инструмент готов. Если коротко, то суть заключается в коррекции движения губ человека на видеозаписи по предоставленному аудиофайлу с какой-нибудь речью. Конкретно для этого видео пришлось отделить вокал от мелодии, чтобы на вход подать чистый голос. Из плюсов: шустрая скорость генерации и приемлемое качество. Основной минус: края измененного прямоугольника с нижней частью лица видны, однако если видео в хорошем качестве и человек делает минимум движений головой, то такой проблемы может и не быть.

https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb
🔥1😢1
👧 Как пользоваться #BabyGAN 👦

https://youtu.be/xHFGoi81buU

Каждый раз, публикуя новый Колаб, я получаю сообщения по типу: "Как правильно запускать?", "А как сделать то?", "А как сделать сё?". Хоть я и стараюсь сделать подробную инструкцию, всеж большинству информация лучше воспринимается визуально. По этой причине я, вместе с каналом JCenterS, будем выпускать сопроводительные ролики для моих Колабов. Постараемся сделать информативно и занимательно. В первом же видео я решил рассказать о своем детище. Немного теории и много практики. Приятного просмотра!
🔥1😢1
👨 DFDNet (Photo&Video Restoration) 👩

https://youtu.be/d7b4qsmpEHQ

Если вы подписаны на этот канал, то наверняка помните эту прекрасную нейросеть, улучшающую качество лица на изображении. Недавно я переписал Колаб для восстановления видеозаписей. Подробную инструкцию по тому, как пользоваться нейронкой я записал на Ютуб по ссылке выше. В начале, как обычно, теория, а потом и практика. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/DFDNet/blob/whole/DFDNet_Colab.ipynb
🔥1😢1
👄 Wav2Lip 🎤

https://youtu.be/XnVVe4CtCxg

Нейросеть, синхронизирующая движение губ человека на видео и речи в аудиофайле. Как вы можете помнить Колаб по ней я уже публиковал, однако не всем удалось ей воспользоваться. Либо сам формат Колабов не понятен, либо результат получался плохим. В этом видео я рассказываю не только о теории, но и об ограничениях, которые в ней имеются. Всем приятного просмотра.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/Wav2Lip/blob/master/Wav2Lip_RUS.ipynb

P.S. Следующее видео+колаб сделаю на что-нибудь новенькое.
😢2🔥1
🙎‍♂️Распознавание лиц 🙍‍♀️

https://youtu.be/cyRHeNQL0-4

Моя первая попытка сделать образовательный ролик. В нем я решил рассказать о том, из чего состоят системы распознавания лиц; какие этапы проходят фотографии, прежде чем нейросеть определит степень их схожести; какие современные модели для решения данной задачи существуют прямо сейчас и какая из них наиболее эффективная. Также, в конце ролика, показано, как самостоятельно протестировать распознавание лиц на имеющейся базе фотографий.

Ссылка на Колаб:
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Face_Recognition.ipynb
🔥1😢1
Раз уж мой канал позиционирует себя как место, где я рассказываю о нейронках в искусстве, то помимо колабов и видео я буду иногда публиковать подобные посты. И начну я с прекрасного генератива, но прежде спрошу: "Все ли знают кто такой Бэнкси?". Если нет, то вот короткая справка из Википедии: английский стрит-арт художник, политический активист и режиссер. Его работы весьма провокационны, а личность до сих пор неизвестна. На первом фото я представил несколько его трудов. Так вот, не так давно ребята из VoleWTF обучили StyleGAN2 на работах Бэнкси и начали генерить нечто похожее (фото 2). Собрав 256 работ они выставили их на продажу и назвали проект ГАНкси. На сайте можно посмотреть всю галерею. Начальная цена была в 100 рублей, а текущая выросла до 10 тыс. В общей сложности они уже собрали почти пол миллиона. И естественно не деньги главное, а контент, учитывая то, как генератив вошел в современное искусство. Кто-то может сказать, что это вовсе и не искусство, но лично у меня это вызывает только восторг.
🔥1😢1
This media is not supported in your browser
VIEW IN TELEGRAM
✍️ Portrait Painter ✍️

А вот и пост из серии #fastColab подъехал. Сами по себе колабы не так-то быстро собирать, а уж видео тем более, поэтому хотя бы обычными новостями, относящимися к тематике канала, буду радовать вас чаще. Сегодня представляю вашему вниманию отрисовщик портретов "U-2-Net", который изначально предполагался для стилизации фотографий, но я, как обычно, добавил возможность прогонять видеозапись. Выглядит весьма симпатично. Лучше предыдущего аналога. Есть проблемы со стабилизацией у видеозаписей, но это не критично.

Онлайн можно поковырять тут: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Portrait_Painter.ipynb
🔥2😢1
This media is not supported in your browser
VIEW IN TELEGRAM
📝 Text to Image Converter 🎨

Вероятнее всего, многие из вас уже слышали о безумно крутой нейронке от OpenAI под названием DALL·E. Увы, не ее я сегодня публикую, но это тоже весьма интересный проект. Суть похожа (пишем текст и получаем картинку), однако по качеству, естественно, уступает. При всем при этом результаты получаются хорошими. Образы часто считываются без особого напряжения своих извилин. Текст писать можно на любом языке (впихнул туда переводчик), главное не забывайте включать свою дикую фантазию. Иногда нейронка справляется с весьма сумасшедшими запросами.

Старый добрый Колаб, чтобы поковыряться онлайн: https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image.ipynb
🔥1😢1