Media is too big
VIEW IN TELEGRAM
Zero-Shot Style Transfer
Добавил к Zero-Shot Style Transfer мофинг в z пространстве taming transformer’a.
На самом деле все очень просто: движение между двумя точками z, можно интерпретировать как интерполяцию между двумя латентными векторами, пораждающими изображения. Это движение можно производить между реальными изображениям — morphing, а можно двигаться в ту сторону, которую “укажет” CLIP — Zero-Shot Style Transfer.
На видео происходит и то и другое. В самом начале Рерих z-морфится в Хокусая, а дальше уже Zero-Shot Style Transfer в Винсента ван Гога и снова в Рериха.
Добавил к Zero-Shot Style Transfer мофинг в z пространстве taming transformer’a.
На самом деле все очень просто: движение между двумя точками z, можно интерпретировать как интерполяцию между двумя латентными векторами, пораждающими изображения. Это движение можно производить между реальными изображениям — morphing, а можно двигаться в ту сторону, которую “укажет” CLIP — Zero-Shot Style Transfer.
На видео происходит и то и другое. В самом начале Рерих z-морфится в Хокусая, а дальше уже Zero-Shot Style Transfer в Винсента ван Гога и снова в Рериха.
Forwarded from Neural Shit
Forwarded from Denis Sexy IT 🤖
Опять в выходные арендовал сервак с A6000 и генерировал картинки в стиле Ивана Айвазовского – в этот раз по запросу «Горы покрытые бушующими пожарами», кажется я немного разобрался с параметрами для генерации, вышло лучше.
Прошлая часть тут
Прошлая часть тут
Media is too big
VIEW IN TELEGRAM
Zero-Shot Image Transfer
Мне кажется, что развиваемый мной последнее время подход (Zero-Shot Style Transfer + z-Morphing) уже вышел за рамки сугубо Style Transfer, и может применяться, не только к стилю, но к модальности (e.g. время суток, время года, условия) и даже к контенту (присутствие конкретных объектов) в рамках одного стиля.
Zero-Shot Image Transfer на этом примере используется для смены времени суток, в рамках одного исходного стиля Винсента ван Гога, а z-Morphing позволяет зациклить подобную генерацию.
Мне кажется, что развиваемый мной последнее время подход (Zero-Shot Style Transfer + z-Morphing) уже вышел за рамки сугубо Style Transfer, и может применяться, не только к стилю, но к модальности (e.g. время суток, время года, условия) и даже к контенту (присутствие конкретных объектов) в рамках одного стиля.
Zero-Shot Image Transfer на этом примере используется для смены времени суток, в рамках одного исходного стиля Винсента ван Гога, а z-Morphing позволяет зациклить подобную генерацию.
Forwarded from Love. Death. Transformers.
Автор канала Мишин лернинг гений
Забавно, каббалисты уже тогда придумали скип коннекшн с layer1 в layer3, и назвали его сфирот-блок
Идея заключалась в том, что божественная эманация затухала, двигаясь по кабалистическому графу, поэтому решили заюзать u-net (минора) подобную архитектуру, который упрощает операцию ЯХВЭ-бэкпроб, и дает новому поколению с 5ой дифференцируемой графой, учить БОГОЕДИНОЕ отображение x+F(x)
Инициализация подобной сети, должна выполняться, учитывая дни творения и молитву Шма Исраэль, для корой не очень подходит Xavier и He, но отлично спасает обрезание (крайнего слоя)
После такого талмудического публичного претрейна на обрезанную сеть можно надевать Кипу (линейный классификатор, голову). Пейсы же служат гиперпараметрами, которыми легко можно поднять трешхолды, опуская и поднимая печальный взгляд хасида-трансформера, который не успел сэкономить на дорогой операции квадратичного внимания
Забавно, каббалисты уже тогда придумали скип коннекшн с layer1 в layer3, и назвали его сфирот-блок
Идея заключалась в том, что божественная эманация затухала, двигаясь по кабалистическому графу, поэтому решили заюзать u-net (минора) подобную архитектуру, который упрощает операцию ЯХВЭ-бэкпроб, и дает новому поколению с 5ой дифференцируемой графой, учить БОГОЕДИНОЕ отображение x+F(x)
Инициализация подобной сети, должна выполняться, учитывая дни творения и молитву Шма Исраэль, для корой не очень подходит Xavier и He, но отлично спасает обрезание (крайнего слоя)
После такого талмудического публичного претрейна на обрезанную сеть можно надевать Кипу (линейный классификатор, голову). Пейсы же служат гиперпараметрами, которыми легко можно поднять трешхолды, опуская и поднимая печальный взгляд хасида-трансформера, который не успел сэкономить на дорогой операции квадратичного внимания
Apple Event — September 14
Меня интересуют сколько раз слово «neural» будет звучать на презентации..
📣 На презентации показали:
▪️Ipad / от 330$ (A13 bionic)
▪️Ipad Mini / от 500$ (без рамок)
▪️Apple Watch Series 7 / от 400$ (большой экран, помещается полноразмерная клавиатура, хз удобно ли)
▪️Добавили медитацию в фитнес+ подписку (Карл Поппер в гробу перевернулся)
▪️Iphone 13 (теперь «узнавать» можно по диагональному расположению камер) / от 700$
▪️Iphone 13 mini
A15 Bionic, матричная стабилизация, cinematic mode
🔓Затронули и privacy, ну конечно, язык после того, как отложили CSAM уже легко поворачивается
▪️Iphone 13 Pro / от 1000$
▪️Iphone 13 Pro Max / от 1100$
A15 Bionic, матричная стабилизация, cinematic mode, 5 core GPU, улучшенный дисплей OLED Super Retina HDR, 120 fps, телик - 3x zoom, «умные» фото фильтры (вычислительная фотография), ProRes (4K, 30fps)
⚙️ A15 Bionic (6 core, 16 core ml neural engine)
Вхождения:
«neural» = 7
«machine learning» = 7
«ml» = 5
📽 https://youtu.be/EvGOlAkLSLw
Меня интересуют сколько раз слово «neural» будет звучать на презентации..
📣 На презентации показали:
▪️Ipad / от 330$ (A13 bionic)
▪️Ipad Mini / от 500$ (без рамок)
▪️Apple Watch Series 7 / от 400$ (большой экран, помещается полноразмерная клавиатура, хз удобно ли)
▪️Добавили медитацию в фитнес+ подписку (Карл Поппер в гробу перевернулся)
▪️Iphone 13 (теперь «узнавать» можно по диагональному расположению камер) / от 700$
▪️Iphone 13 mini
A15 Bionic, матричная стабилизация, cinematic mode
🔓Затронули и privacy, ну конечно, язык после того, как отложили CSAM уже легко поворачивается
▪️Iphone 13 Pro / от 1000$
▪️Iphone 13 Pro Max / от 1100$
A15 Bionic, матричная стабилизация, cinematic mode, 5 core GPU, улучшенный дисплей OLED Super Retina HDR, 120 fps, телик - 3x zoom, «умные» фото фильтры (вычислительная фотография), ProRes (4K, 30fps)
⚙️ A15 Bionic (6 core, 16 core ml neural engine)
Вхождения:
«neural» = 7
«machine learning» = 7
«ml» = 5
📽 https://youtu.be/EvGOlAkLSLw
YouTube
Apple Event — September 14, 2021
Watch the special Apple Event to learn about the new iPhone 13 Pro, iPhone 13, Apple Watch Series 7, iPad mini, iPad, and more.
To watch the event interpreted in American Sign Language (ASL), please click here: https://youtu.be/d1PcBDLV6jw
00:00:00 Introduction…
To watch the event interpreted in American Sign Language (ASL), please click here: https://youtu.be/d1PcBDLV6jw
00:00:00 Introduction…
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Итак, Xiaomi, долго не думая, выпустили свои умные очки. Судя по презе, у них есть даже какой-то AR, но почему-то только в зелёной палитре, прям как в матрице.
Подробнее в блоге Xiaomi.
Подробнее в блоге Xiaomi.
Forwarded from DL in NLP (nlpcontroller_bot)
XLM-E: Cross-lingual Language Model Pre-training via ELECTRA
Chi et al. [Microsoft]
arxiv.org/abs/2106.16138
Помните XLM-R? BERT-like модельку, где MLM делали на парах [предложение] [SEP] [перевод] и таким образом обучали классную мультиязычную модель?
В этой статье сделали то же самое, но c задачкой ELECTRA, где модель не заменет MASK на пропущенные слова, а пытается детектировать какие слова оригинальные, а какие подменённые (просто бинарная классификация). Подменой слов занимается другая модель, которая учится как BERT.
По результатам XLM-E показывает 100-кратное уменьшение FLOPS для предобучения и заметный буст в cross-lingual zero-shot transfer. Приятно читается, жалко только что кода XLM-E по ссылки из статьи нету.
Chi et al. [Microsoft]
arxiv.org/abs/2106.16138
Помните XLM-R? BERT-like модельку, где MLM делали на парах [предложение] [SEP] [перевод] и таким образом обучали классную мультиязычную модель?
В этой статье сделали то же самое, но c задачкой ELECTRA, где модель не заменет MASK на пропущенные слова, а пытается детектировать какие слова оригинальные, а какие подменённые (просто бинарная классификация). Подменой слов занимается другая модель, которая учится как BERT.
По результатам XLM-E показывает 100-кратное уменьшение FLOPS для предобучения и заметный буст в cross-lingual zero-shot transfer. Приятно читается, жалко только что кода XLM-E по ссылки из статьи нету.
🏆 Адаптировал Zero-Shot Image Transfer для создания портретов
Zero-Shot Image Transfer дает возможность описать текстом:
▪️ стиль
▪️ художника (Рерих, Айвазовский)
▪️ тип арта (масло, акварель, 3d)
▪️ время года и суток
▪️ контекст (постапакалипсис, фентези)
▪️ объекты, которые должны быть
К сожалению, подход не позволяет адекватно работать с лицам. Проблема в taming transformer (претрейн imagenet), который выполняет функцию нейронной “проявки” изображения.
Варианты решения проблемы:
- Сделать претрейн на большем кол-ве лиц (время и деньги)
- Взять генератор для лиц, e.g.: StyleGAN (и потерять генеральность подхода)
- Улучшить генерируемые лица еще одной сетью (что я и сделал для, прикрутив GFPGAN)
Мишин Лернинг взял Catherine Deneuve и текстом сделал из нее:
▪️ Tilda Swinton
▪️ Sherilyn Fenn
▪️ Charlotte Gainsbourg
▪️ Uma Thurman
▪️ Monica Bellucci
▪️ Angelina Jolie
▪️ Emma Watson
▪️ Bjork
В стилях:
🎙 Bright pop portrait
👩🎤 Noir jazz violet poster
👨🎨 Cubism-like modern
🎨 Modigliani modern
Zero-Shot Image Transfer дает возможность описать текстом:
▪️ стиль
▪️ художника (Рерих, Айвазовский)
▪️ тип арта (масло, акварель, 3d)
▪️ время года и суток
▪️ контекст (постапакалипсис, фентези)
▪️ объекты, которые должны быть
К сожалению, подход не позволяет адекватно работать с лицам. Проблема в taming transformer (претрейн imagenet), который выполняет функцию нейронной “проявки” изображения.
Варианты решения проблемы:
- Сделать претрейн на большем кол-ве лиц (время и деньги)
- Взять генератор для лиц, e.g.: StyleGAN (и потерять генеральность подхода)
- Улучшить генерируемые лица еще одной сетью (что я и сделал для, прикрутив GFPGAN)
Мишин Лернинг взял Catherine Deneuve и текстом сделал из нее:
▪️ Tilda Swinton
▪️ Sherilyn Fenn
▪️ Charlotte Gainsbourg
▪️ Uma Thurman
▪️ Monica Bellucci
▪️ Angelina Jolie
▪️ Emma Watson
▪️ Bjork
В стилях:
🎙 Bright pop portrait
👩🎤 Noir jazz violet poster
👨🎨 Cubism-like modern
🎨 Modigliani modern
Журнал Time включил генерального директора NVIDIA Дженсена Хуанга в список самых влиятельных людей 2021 года
«Искусственный интеллект меняет наш мир», — пишет Эндрю Нг (Andrew Ng). «Современное программное обеспечение, которое позволяет компьютерам делать вещи, которые когда-то требовали человеческого восприятия и мышления, стало частью нашей жизни из-за аппаратного обеспечения, которое появилось благодаря Дженсену Хуангу».
Помимо Хуанга, в список Time за 2021 год попали главы компаний Apple и Tesla Тим Кук (Tim Cook) и Илон Маск (Elon Musk).
«Искусственный интеллект меняет наш мир», — пишет Эндрю Нг (Andrew Ng). «Современное программное обеспечение, которое позволяет компьютерам делать вещи, которые когда-то требовали человеческого восприятия и мышления, стало частью нашей жизни из-за аппаратного обеспечения, которое появилось благодаря Дженсену Хуангу».
Помимо Хуанга, в список Time за 2021 год попали главы компаний Apple и Tesla Тим Кук (Tim Cook) и Илон Маск (Elon Musk).
Zero-Shot Image Transfer (Taming Transformer, CLIP, GFPGAN, posterization + edge detection)
У настоящего художника в наше время ушло бы пару часов на то, чтобы нарисовать картину, в конкретном стиле с конкретным лицом и т.д.
Но прелесть эпохи zero-shot в том, что если ты zero-shot художник, ты можешь даже не знать как вся эта нейроштука работает под капотом, а просто получать результат!
У настоящего художника в наше время ушло бы пару часов на то, чтобы нарисовать картину, в конкретном стиле с конкретным лицом и т.д.
Но прелесть эпохи zero-shot в том, что если ты zero-shot художник, ты можешь даже не знать как вся эта нейроштука работает под капотом, а просто получать результат!
Zero-Shot Image Transfer: Step-by-Step Animation
Cдалал нейросетевой перевод из Catherine Deneuve в:
▪️ Uma Thurman
▪️ Monica Bellucci
▪️ Emma Watson
▪️ Tilda Swinton
▪️ Thom Yorke
▪️ Kurt Cobain
▪️ Jim Morrison
Для герации сделал связку из Taming Transformer, CLIP, GFPGAN и недиференцируемых posterization и edge detector фильтов.
👉 https://youtu.be/sMvqpuB_xc4
p.s.: добавил в клип психоделический джаз, который написал в 2017-ом
Cдалал нейросетевой перевод из Catherine Deneuve в:
▪️ Uma Thurman
▪️ Monica Bellucci
▪️ Emma Watson
▪️ Tilda Swinton
▪️ Thom Yorke
▪️ Kurt Cobain
▪️ Jim Morrison
Для герации сделал связку из Taming Transformer, CLIP, GFPGAN и недиференцируемых posterization и edge detector фильтов.
👉 https://youtu.be/sMvqpuB_xc4
p.s.: добавил в клип психоделический джаз, который написал в 2017-ом
YouTube
Psychedelic Neural Transfer | Deneuve Thurman Bellucci Watson Tilda Thom Yorke Kurt Jim Morrison
Using my Zero-Shot Image Transfer, I made a neural network image translation, by text denoscription only, from Catherine Deneuve to Uma Thurman, Monica Bellucci, Emma Watson, Tilda Swinton, Thom Yorke, Kurt Cobain, Jim Morrison. For image generation, I made…
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
А еще, мне кажется, этот же алгоритм можно использовать для генерации персонажей в играх. Во всяком случае для какого-то инди-проекта можно очень быстро сделать уникальных персонажей, в стиле который вам кажется клевым – оставляете алгоритм генерировать по вашему текстовому описанию десятки картинок, а утром выбираете то что больше всего понравилось, красота же.
Я не аниматор, криво набросал что-то вроде лицевой анимации на "медного робота", вполне сошло бы для какого-то проходного RPG сделанного одним человеком.
Я не аниматор, криво набросал что-то вроде лицевой анимации на "медного робота", вполне сошло бы для какого-то проходного RPG сделанного одним человеком.
Forwarded from эйай ньюз
Колаб для CLIP guided diffusion в разрешении 512x512.
Одна генерация в 1000 итераций занимает примерно 50 минут. Тут нужно, чтобы вам выпала либо видеокарта T4 либо P100 с 16 GB VRAM.
1. Magnificent mountains by Nicholas Roerich
2. My girlfriend by Pablo Picasso in Cubist style
3. Female portrait by Pablo Picasso
Да, Пикассо не очень удался что-то.
Одна генерация в 1000 итераций занимает примерно 50 минут. Тут нужно, чтобы вам выпала либо видеокарта T4 либо P100 с 16 GB VRAM.
1. Magnificent mountains by Nicholas Roerich
2. My girlfriend by Pablo Picasso in Cubist style
3. Female portrait by Pablo Picasso
Да, Пикассо не очень удался что-то.