Forwarded from эйай ньюз
А вот и новые умные очечи от Ray-Ban + Facebook. Буду скромен с описанием, чтобы не взболтнуть лишнего. Очки называются Ray-Ban Stories. В них имеются две встроенные кармеры по бокам, с помощью которых можно снимать классные видео от первого лица, процессор Snapdragon, набор микроспикеров, три микрофона, оптимизированные для аудиозвонков, и даже маленький тачпад. Из технологий для улучшения звука и видео: стабилизация видео, HDR, улучшение освещения, деноизинг и подавление фонового шума, видео и фото энхансинг с помощью ML. В дополнение к очкам идет отдельное приложение Facebook View, которое помогает все настраивать и управлять записываемых контентом.
Есть варианты в нескольких классических оправах. Радует, что выглядят они очень стильно, в отличие от уродцев Spectacles 3 от Снэпа. Также стоит отметить вполне дотупную цену девайса - всего $299. Насчет AR/VR - пока функционал очков ограничен, но, очевидно, что все движется в этом направлении и будут выходить софтверные обновления.
Тех описание на блоге ФБ.
Есть варианты в нескольких классических оправах. Радует, что выглядят они очень стильно, в отличие от уродцев Spectacles 3 от Снэпа. Также стоит отметить вполне дотупную цену девайса - всего $299. Насчет AR/VR - пока функционал очков ограничен, но, очевидно, что все движется в этом направлении и будут выходить софтверные обновления.
Тех описание на блоге ФБ.
Forwarded from эйай ньюз
Media is too big
VIEW IN TELEGRAM
А это сама презентация очков Ray-Ban Stories 😎
This media is not supported in your browser
VIEW IN TELEGRAM
Zero-Shot Style Transfer: Моне, Рерих, Айвазовский
🎬 YouTube канал Мишин Лернинг
Я давно хотел начать вести Мишин Лирнинг и на YouTube, и вот решил начать с небольшого видео, демонстрирующего возможности Zero-Shot Style Transfer.
Такой подход предполагает перенос стиля изображения без необходимости использования примеров целевого стиля. Стиль переносится используя текстовые описания: "Professional oil painting by ", подставляя фамилии различных художников, e.g.: Monet, Roerich, Aivazovsky.
Идея похожа на deep dream, только градиенты текут не на само изображение, а на z-пространство taming transformer'а, который берет на себя роль генератора (рендер) изображения, а в роли сети донора (знаний) градиентов выступает не VGG (которая используется для one-shot / few-shot style transfer), а CLIP от OpenAI, способный выполнят эту задачу в Zero-Shot, то есть без примеров и без дополнительного обучения (без файнтюна).
📼 https://youtu.be/aXF22T_RWLs
p.s.: Для финального видео использовалась технология neural enhancement и super resolution от neural.love (@denissexy), позволившая насладиться Style Transfer с повышенным разрешением и частотой кадров.
Я давно хотел начать вести Мишин Лирнинг и на YouTube, и вот решил начать с небольшого видео, демонстрирующего возможности Zero-Shot Style Transfer.
Такой подход предполагает перенос стиля изображения без необходимости использования примеров целевого стиля. Стиль переносится используя текстовые описания: "Professional oil painting by ", подставляя фамилии различных художников, e.g.: Monet, Roerich, Aivazovsky.
Идея похожа на deep dream, только градиенты текут не на само изображение, а на z-пространство taming transformer'а, который берет на себя роль генератора (рендер) изображения, а в роли сети донора (знаний) градиентов выступает не VGG (которая используется для one-shot / few-shot style transfer), а CLIP от OpenAI, способный выполнят эту задачу в Zero-Shot, то есть без примеров и без дополнительного обучения (без файнтюна).
📼 https://youtu.be/aXF22T_RWLs
p.s.: Для финального видео использовалась технология neural enhancement и super resolution от neural.love (@denissexy), позволившая насладиться Style Transfer с повышенным разрешением и частотой кадров.
YouTube
Zero-Shot Style Transfer: Monet, Roerich, Aivazovsky | Neural Art | AI | 4K | Мишин Лернинг
На этом видео показаны возможности Zero-Shot Style Transfer, что предполагает перенос стиля изображения без необходимости использования примеров целевого стиля. Стиль переносится используя текстовые описания: "Professional oil painting by ", подставляя фамилии…
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🏆 GSLM - Безтекстовое NLP от Facebook AI, и это Новая Эра
Facebook AI gпредсавил GSLM, первую языковую модель, которая полностью избавляет от текста при обучении. Этот подход «бестекстового НЛП» способен генерировать выразительную речь, обучаясь только на сырых аудиозаписях.
Ян ЛеКун уже написал в своем twitter:
«В естественных языках есть гораздо больше, чем текст: тон, акцент, выражение, просодия, тембр, высота ... «Бестекстовое НЛП» представляет речь через поток дискретных токенов. Речавая модель, обученная в self-supervised режиме, напрямую из звуковой волны! Это Новая Эра.»
В видео в этом посте 3 примера продолжения (генерации) по аудио prompt.
📇Blog 💻 Code 📰 GSLM paper
Facebook AI gпредсавил GSLM, первую языковую модель, которая полностью избавляет от текста при обучении. Этот подход «бестекстового НЛП» способен генерировать выразительную речь, обучаясь только на сырых аудиозаписях.
Ян ЛеКун уже написал в своем twitter:
«В естественных языках есть гораздо больше, чем текст: тон, акцент, выражение, просодия, тембр, высота ... «Бестекстовое НЛП» представляет речь через поток дискретных токенов. Речавая модель, обученная в self-supervised режиме, напрямую из звуковой волны! Это Новая Эра.»
В видео в этом посте 3 примера продолжения (генерации) по аудио prompt.
📇Blog 💻 Code 📰 GSLM paper
This media is not supported in your browser
VIEW IN TELEGRAM
Тут @denissexy сделал голосовой перевод отборного юридического бреда, который генерирует речевая модель GSLM из предыдущего поста!
«От почтовых топоров никогда не требовали труда, и любой запас был лично адекватен труду и разделу 19!»
«От почтовых топоров никогда не требовали труда, и любой запас был лично адекватен труду и разделу 19!»
Apple откладывает развертывание системы обнаружения запрещенного контента
Месяц назад Apple анонсировала фичу (на основе нейронного хэширования) для обнаружения запрещённых материалов в iCloud для обеспечения безопасности детей. Теперь Apple заявила, что им «потребуется дополнительное время» для доработки функций перед их выпуском. Вот заявление для 9to5Mac от Apple:
«В прошлом месяце мы объявили о планах по созданию фичей, призванных помочь защитить детей от преступников, которые используют средства коммуникации, а также ограничить распространение материалов сексуального насилии над детьми. Основываясь на отзывах клиентов, правозащитных групп, исследователей и других лиц, мы решили в ближайшие месяцы выделить дополнительное время, чтобы собрать информацию и внести улучшения в продукт, прежде чем выпускать эти критически важные функции, обеспечивающие безопасность детей».
Новые функции Apple по обеспечению безопасности детей должны были быть запущены в рамках обновлений iOS 15, iPadOS 15 и macOS Monterey.
Месяц назад Apple анонсировала фичу (на основе нейронного хэширования) для обнаружения запрещённых материалов в iCloud для обеспечения безопасности детей. Теперь Apple заявила, что им «потребуется дополнительное время» для доработки функций перед их выпуском. Вот заявление для 9to5Mac от Apple:
«В прошлом месяце мы объявили о планах по созданию фичей, призванных помочь защитить детей от преступников, которые используют средства коммуникации, а также ограничить распространение материалов сексуального насилии над детьми. Основываясь на отзывах клиентов, правозащитных групп, исследователей и других лиц, мы решили в ближайшие месяцы выделить дополнительное время, чтобы собрать информацию и внести улучшения в продукт, прежде чем выпускать эти критически важные функции, обеспечивающие безопасность детей».
Новые функции Apple по обеспечению безопасности детей должны были быть запущены в рамках обновлений iOS 15, iPadOS 15 и macOS Monterey.
Media is too big
VIEW IN TELEGRAM
Zero-Shot Style Transfer
Добавил к Zero-Shot Style Transfer мофинг в z пространстве taming transformer’a.
На самом деле все очень просто: движение между двумя точками z, можно интерпретировать как интерполяцию между двумя латентными векторами, пораждающими изображения. Это движение можно производить между реальными изображениям — morphing, а можно двигаться в ту сторону, которую “укажет” CLIP — Zero-Shot Style Transfer.
На видео происходит и то и другое. В самом начале Рерих z-морфится в Хокусая, а дальше уже Zero-Shot Style Transfer в Винсента ван Гога и снова в Рериха.
Добавил к Zero-Shot Style Transfer мофинг в z пространстве taming transformer’a.
На самом деле все очень просто: движение между двумя точками z, можно интерпретировать как интерполяцию между двумя латентными векторами, пораждающими изображения. Это движение можно производить между реальными изображениям — morphing, а можно двигаться в ту сторону, которую “укажет” CLIP — Zero-Shot Style Transfer.
На видео происходит и то и другое. В самом начале Рерих z-морфится в Хокусая, а дальше уже Zero-Shot Style Transfer в Винсента ван Гога и снова в Рериха.
Forwarded from Neural Shit
Forwarded from Denis Sexy IT 🤖
Опять в выходные арендовал сервак с A6000 и генерировал картинки в стиле Ивана Айвазовского – в этот раз по запросу «Горы покрытые бушующими пожарами», кажется я немного разобрался с параметрами для генерации, вышло лучше.
Прошлая часть тут
Прошлая часть тут
Media is too big
VIEW IN TELEGRAM
Zero-Shot Image Transfer
Мне кажется, что развиваемый мной последнее время подход (Zero-Shot Style Transfer + z-Morphing) уже вышел за рамки сугубо Style Transfer, и может применяться, не только к стилю, но к модальности (e.g. время суток, время года, условия) и даже к контенту (присутствие конкретных объектов) в рамках одного стиля.
Zero-Shot Image Transfer на этом примере используется для смены времени суток, в рамках одного исходного стиля Винсента ван Гога, а z-Morphing позволяет зациклить подобную генерацию.
Мне кажется, что развиваемый мной последнее время подход (Zero-Shot Style Transfer + z-Morphing) уже вышел за рамки сугубо Style Transfer, и может применяться, не только к стилю, но к модальности (e.g. время суток, время года, условия) и даже к контенту (присутствие конкретных объектов) в рамках одного стиля.
Zero-Shot Image Transfer на этом примере используется для смены времени суток, в рамках одного исходного стиля Винсента ван Гога, а z-Morphing позволяет зациклить подобную генерацию.
Forwarded from Love. Death. Transformers.
Автор канала Мишин лернинг гений
Забавно, каббалисты уже тогда придумали скип коннекшн с layer1 в layer3, и назвали его сфирот-блок
Идея заключалась в том, что божественная эманация затухала, двигаясь по кабалистическому графу, поэтому решили заюзать u-net (минора) подобную архитектуру, который упрощает операцию ЯХВЭ-бэкпроб, и дает новому поколению с 5ой дифференцируемой графой, учить БОГОЕДИНОЕ отображение x+F(x)
Инициализация подобной сети, должна выполняться, учитывая дни творения и молитву Шма Исраэль, для корой не очень подходит Xavier и He, но отлично спасает обрезание (крайнего слоя)
После такого талмудического публичного претрейна на обрезанную сеть можно надевать Кипу (линейный классификатор, голову). Пейсы же служат гиперпараметрами, которыми легко можно поднять трешхолды, опуская и поднимая печальный взгляд хасида-трансформера, который не успел сэкономить на дорогой операции квадратичного внимания
Забавно, каббалисты уже тогда придумали скип коннекшн с layer1 в layer3, и назвали его сфирот-блок
Идея заключалась в том, что божественная эманация затухала, двигаясь по кабалистическому графу, поэтому решили заюзать u-net (минора) подобную архитектуру, который упрощает операцию ЯХВЭ-бэкпроб, и дает новому поколению с 5ой дифференцируемой графой, учить БОГОЕДИНОЕ отображение x+F(x)
Инициализация подобной сети, должна выполняться, учитывая дни творения и молитву Шма Исраэль, для корой не очень подходит Xavier и He, но отлично спасает обрезание (крайнего слоя)
После такого талмудического публичного претрейна на обрезанную сеть можно надевать Кипу (линейный классификатор, голову). Пейсы же служат гиперпараметрами, которыми легко можно поднять трешхолды, опуская и поднимая печальный взгляд хасида-трансформера, который не успел сэкономить на дорогой операции квадратичного внимания
Apple Event — September 14
Меня интересуют сколько раз слово «neural» будет звучать на презентации..
📣 На презентации показали:
▪️Ipad / от 330$ (A13 bionic)
▪️Ipad Mini / от 500$ (без рамок)
▪️Apple Watch Series 7 / от 400$ (большой экран, помещается полноразмерная клавиатура, хз удобно ли)
▪️Добавили медитацию в фитнес+ подписку (Карл Поппер в гробу перевернулся)
▪️Iphone 13 (теперь «узнавать» можно по диагональному расположению камер) / от 700$
▪️Iphone 13 mini
A15 Bionic, матричная стабилизация, cinematic mode
🔓Затронули и privacy, ну конечно, язык после того, как отложили CSAM уже легко поворачивается
▪️Iphone 13 Pro / от 1000$
▪️Iphone 13 Pro Max / от 1100$
A15 Bionic, матричная стабилизация, cinematic mode, 5 core GPU, улучшенный дисплей OLED Super Retina HDR, 120 fps, телик - 3x zoom, «умные» фото фильтры (вычислительная фотография), ProRes (4K, 30fps)
⚙️ A15 Bionic (6 core, 16 core ml neural engine)
Вхождения:
«neural» = 7
«machine learning» = 7
«ml» = 5
📽 https://youtu.be/EvGOlAkLSLw
Меня интересуют сколько раз слово «neural» будет звучать на презентации..
📣 На презентации показали:
▪️Ipad / от 330$ (A13 bionic)
▪️Ipad Mini / от 500$ (без рамок)
▪️Apple Watch Series 7 / от 400$ (большой экран, помещается полноразмерная клавиатура, хз удобно ли)
▪️Добавили медитацию в фитнес+ подписку (Карл Поппер в гробу перевернулся)
▪️Iphone 13 (теперь «узнавать» можно по диагональному расположению камер) / от 700$
▪️Iphone 13 mini
A15 Bionic, матричная стабилизация, cinematic mode
🔓Затронули и privacy, ну конечно, язык после того, как отложили CSAM уже легко поворачивается
▪️Iphone 13 Pro / от 1000$
▪️Iphone 13 Pro Max / от 1100$
A15 Bionic, матричная стабилизация, cinematic mode, 5 core GPU, улучшенный дисплей OLED Super Retina HDR, 120 fps, телик - 3x zoom, «умные» фото фильтры (вычислительная фотография), ProRes (4K, 30fps)
⚙️ A15 Bionic (6 core, 16 core ml neural engine)
Вхождения:
«neural» = 7
«machine learning» = 7
«ml» = 5
📽 https://youtu.be/EvGOlAkLSLw
YouTube
Apple Event — September 14, 2021
Watch the special Apple Event to learn about the new iPhone 13 Pro, iPhone 13, Apple Watch Series 7, iPad mini, iPad, and more.
To watch the event interpreted in American Sign Language (ASL), please click here: https://youtu.be/d1PcBDLV6jw
00:00:00 Introduction…
To watch the event interpreted in American Sign Language (ASL), please click here: https://youtu.be/d1PcBDLV6jw
00:00:00 Introduction…
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Итак, Xiaomi, долго не думая, выпустили свои умные очки. Судя по презе, у них есть даже какой-то AR, но почему-то только в зелёной палитре, прям как в матрице.
Подробнее в блоге Xiaomi.
Подробнее в блоге Xiaomi.
Forwarded from DL in NLP (nlpcontroller_bot)
XLM-E: Cross-lingual Language Model Pre-training via ELECTRA
Chi et al. [Microsoft]
arxiv.org/abs/2106.16138
Помните XLM-R? BERT-like модельку, где MLM делали на парах [предложение] [SEP] [перевод] и таким образом обучали классную мультиязычную модель?
В этой статье сделали то же самое, но c задачкой ELECTRA, где модель не заменет MASK на пропущенные слова, а пытается детектировать какие слова оригинальные, а какие подменённые (просто бинарная классификация). Подменой слов занимается другая модель, которая учится как BERT.
По результатам XLM-E показывает 100-кратное уменьшение FLOPS для предобучения и заметный буст в cross-lingual zero-shot transfer. Приятно читается, жалко только что кода XLM-E по ссылки из статьи нету.
Chi et al. [Microsoft]
arxiv.org/abs/2106.16138
Помните XLM-R? BERT-like модельку, где MLM делали на парах [предложение] [SEP] [перевод] и таким образом обучали классную мультиязычную модель?
В этой статье сделали то же самое, но c задачкой ELECTRA, где модель не заменет MASK на пропущенные слова, а пытается детектировать какие слова оригинальные, а какие подменённые (просто бинарная классификация). Подменой слов занимается другая модель, которая учится как BERT.
По результатам XLM-E показывает 100-кратное уменьшение FLOPS для предобучения и заметный буст в cross-lingual zero-shot transfer. Приятно читается, жалко только что кода XLM-E по ссылки из статьи нету.
🏆 Адаптировал Zero-Shot Image Transfer для создания портретов
Zero-Shot Image Transfer дает возможность описать текстом:
▪️ стиль
▪️ художника (Рерих, Айвазовский)
▪️ тип арта (масло, акварель, 3d)
▪️ время года и суток
▪️ контекст (постапакалипсис, фентези)
▪️ объекты, которые должны быть
К сожалению, подход не позволяет адекватно работать с лицам. Проблема в taming transformer (претрейн imagenet), который выполняет функцию нейронной “проявки” изображения.
Варианты решения проблемы:
- Сделать претрейн на большем кол-ве лиц (время и деньги)
- Взять генератор для лиц, e.g.: StyleGAN (и потерять генеральность подхода)
- Улучшить генерируемые лица еще одной сетью (что я и сделал для, прикрутив GFPGAN)
Мишин Лернинг взял Catherine Deneuve и текстом сделал из нее:
▪️ Tilda Swinton
▪️ Sherilyn Fenn
▪️ Charlotte Gainsbourg
▪️ Uma Thurman
▪️ Monica Bellucci
▪️ Angelina Jolie
▪️ Emma Watson
▪️ Bjork
В стилях:
🎙 Bright pop portrait
👩🎤 Noir jazz violet poster
👨🎨 Cubism-like modern
🎨 Modigliani modern
Zero-Shot Image Transfer дает возможность описать текстом:
▪️ стиль
▪️ художника (Рерих, Айвазовский)
▪️ тип арта (масло, акварель, 3d)
▪️ время года и суток
▪️ контекст (постапакалипсис, фентези)
▪️ объекты, которые должны быть
К сожалению, подход не позволяет адекватно работать с лицам. Проблема в taming transformer (претрейн imagenet), который выполняет функцию нейронной “проявки” изображения.
Варианты решения проблемы:
- Сделать претрейн на большем кол-ве лиц (время и деньги)
- Взять генератор для лиц, e.g.: StyleGAN (и потерять генеральность подхода)
- Улучшить генерируемые лица еще одной сетью (что я и сделал для, прикрутив GFPGAN)
Мишин Лернинг взял Catherine Deneuve и текстом сделал из нее:
▪️ Tilda Swinton
▪️ Sherilyn Fenn
▪️ Charlotte Gainsbourg
▪️ Uma Thurman
▪️ Monica Bellucci
▪️ Angelina Jolie
▪️ Emma Watson
▪️ Bjork
В стилях:
🎙 Bright pop portrait
👩🎤 Noir jazz violet poster
👨🎨 Cubism-like modern
🎨 Modigliani modern