✍️ Text2Animation 🎬

Что-то последнее время только генерация картинок по текстовому описанию у меня и появляется. Настало время исправить ситуацию и представить вам генерацию видео. Управлять всем этим добром не так просто, но внутри Колаба описана вся механика создания анимации, поэтому при желании каждый сможет разобраться. Гененрируется все очень шустро и итоговое качество весьма впечатляющее. Как и прошлый раз добавил переводчик, поэтому текст можете писать на любом языке.

P.S. в прикрепленном видео мы влетаем в Мону Лизу и оказываемся внутри Сальвадора Дали. Что бы это не значило :-)

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Animation.ipynb

👨StyleGAN3 Train&Test + CLIP 👩‍🦱

Последнюю неделю все восхищаются релизом нового СтильГАНа, а я как-то пролетел мимо такого прекрасного события. Ну ничего, вот я вам собрал Колаб, который содержит в себе и тренировку собственных моделей, и тестирование существующих, и CLIP, без которого нынче никуда. Кстати в КЛИПе, как обычно, сделал поддержку всех языков и добавил возможность грузить картинки как конечную цель. Пока нормального энкодера нет можно так побаловаться.

P.S. В примере выше я попробовал потренировать второй и третий стайлган на лицах статуй. Простите за сепиюв в примере справа (недоучил чутка). В общем ждем много новых и интересных моделей.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/StyleGAN3_train%26test.ipynb

📝 Text2Image 4.0 ruDALL-E 🎨

Вероятнее всего вы, так или иначе, уже слышали об этой прекрасной нейросети by Sberbank-AI. Ее можно потестировать и в вэбе, и в боте, и в колабе. Последний способ был самым долгим (~50 min.), но товарищ neverix немного пошаманил с оптимизацией и теперь генерация происходит раз в 10 быстрее. Я, как обычно, собрал колаб с поддержкой мультиязычного текста и прочих мелочей, поэтому меньше слов, больше генераций.

P.S. В прикрепленном изображении показаны «злые собаки» 🐶

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Image_v4.ipynb

✍️ Text2PixelAnimation 👾

Всегда восхищался пиксельартом и поэтому, в свое время, был очень рад появлению нейросети, которая создавала его по текстовому описанию. Ранее я публиковал Колаб, где можно было поиграться с генерацией картинок. Теперь настала пора генерировать видео. Колаб опубликовал автор канала @pathetic_low_freq. Я, как обычно, чуть пересобрал, добавив текст на любом языке и простые настройки. Запаситесь временем, ибо его потребуется не мало. Прикрепленное видео я генерировал чуть больше 3 часов с текстовым описанием «Горящий огонь».

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2PixelAnimation.ipynb

✍️ NeuroCensor v.1.0 🚫

Версия 1.0, значит пока ничего серьезного. Хоть как-то работает, что уже хорошо, ведь все и всегда с чего-то простого начинается. В общем теперь можно выступать в роли цензора и удалять объекты, аля Черное зеркало, по текстовому описанию. Работает быстро, но есть вероятность, что памяти Колаба может не хватить на тяжелые видео, поэтому я поставил некоторые ограничения. Вместе с этим добавил возможность писать на любом языке (или сразу нескольких).

В видео продемонстрировано удаление «Grizzly bear» и «Мужчины в куртке».

upd 1.1 - Добавил новый метод закрашивания объектов. Работает дольше, но качественнее

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuroCensor.ipynb

👘 NeuralWardrobe v.1.0 👔

Около месяца назад меня посещала мысль погенерировать СтайлГАНом какие-нибудь новые модные наряды, но буквально недавно я наткнулся на примеры создания образов с помощью ruDALL-E и был приятно удивлен. Качество потрясающее и генерируется относительно быстро. А с помощью встроенного переводчика вы можете на любом языке подсказывать этому НейроГардеробу то, какую именно одежду вы хотите на себе видеть.

P.S. На примере выше Илон в спортивном костюме, Девушка из Матрицы в деловом костюме и Кристиан в платье. Каждый из этих наборов (8 картинок) генерировался 30 минут.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralWardrobe.ipynb

✍️ NeuralCorrector v.1.0 🦦

Вчера появилась новая нейронка GLIDE от OpenAI, которая помимо уже привычной генерации картинок из текстовых описаний умела дорисовывать объекты на изображение, которое мы подадим. Нужно просто маской указать где хочется добавить объект и все. Но требовать от пользователей заранее готовить картинку с этой маской мне не хотелось, поэтому я прямо в колаб добавил рисовалку, которой нужно будет закрашивать изменяемую область. Плюс встроенный переводчик для тех, кто привык писать запросы на родном языке. Ну и учитывая то, что на выходе мы получаем изображение 256х256, я добавил свежий алгоритм апскейла на диффьюзивных моделях. Инструмент очень сырой, поэтому если объект не добавится, нужно перезапустить блок с генерацией.

P.S. На фото «мужчина и пирог на столе»

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuralCorrector.ipynb

✍️ Text2Voxel v.1.0 👽

Наступил 2022 год и мне хотелось бы пожелать всем вам счастья, любви и благополучия. Я благодарен каждому кто проявляет интерес к моему труду. В новом году будем знакомиться с еще большим количеством интересных нейронок и собирать на них Колабы.

Сегодня мне хотелось бы поделиться Колабом, который по текстовому описанию генерирует воксельный объект. Двухмерные генерации стали трендом предыдущего года. Кто знает, может 3D будет трендом текущего. Внутри основного блока есть куча всяких переменных. Не хотелось усложнять интерфейс, но кому нужна тонкая настройка, тот может открыть код и подправить.

P.S. На видео процесс генерации новогодней елки.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/Text2Voxel.ipynb

💃 HomeStylist v.1.0 🕺

Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба не было. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb