🎨 ➿ Text2OneLine Draw — дифференцируемое рисование одной линией
Представьте себе, что вы можете заказать модное тату не у дизайнера, а у нейронной сети. Или векторный логотип в noscript.
Собрал для вас новый colab:
🔮Text2OneLine Draw — дифференцируемое рисование одной линией!
🤖Описание:
- Создается рандомная кривая Безье. Толщина линии width и число перегибов line_complexity задается в интерфейсе
- Кривая рендерится через дифференцируемую векторную графику
- Текстовое описание превращается в вектор (текстовый CLIP)
- Затем градиенты текут на кривую Безье, максимизируя cossim картинки с тектом
💡Интуиция:
- Представьте, что перед вами на белом листе бумаги длинная запутанная черная нитка
- Алгоритм двигает эту нитку, пытаясь создать описанное изображение
p.s: Чтобы добиться желаемого результата, нужно поиграть с запросом и line_complexity, и возможно запустить генерацию несколько раз
Подход показывает, что эра дифференцируемой векторной графики началась!
#colab #mishin_learning_colab #neuralart
Представьте себе, что вы можете заказать модное тату не у дизайнера, а у нейронной сети. Или векторный логотип в noscript.
Собрал для вас новый colab:
🔮Text2OneLine Draw — дифференцируемое рисование одной линией!
🤖Описание:
- Создается рандомная кривая Безье. Толщина линии width и число перегибов line_complexity задается в интерфейсе
- Кривая рендерится через дифференцируемую векторную графику
- Текстовое описание превращается в вектор (текстовый CLIP)
- Затем градиенты текут на кривую Безье, максимизируя cossim картинки с тектом
💡Интуиция:
- Представьте, что перед вами на белом листе бумаги длинная запутанная черная нитка
- Алгоритм двигает эту нитку, пытаясь создать описанное изображение
p.s: Чтобы добиться желаемого результата, нужно поиграть с запросом и line_complexity, и возможно запустить генерацию несколько раз
Подход показывает, что эра дифференцируемой векторной графики началась!
#colab #mishin_learning_colab #neuralart
CLIP: Zero-Shot or Linear Probe? No! Just, Context Optimization (CoOp)
Zero-Shot CLIP, позволяет вместо сбора данных, разметки и обучения с учителем написать словами (prompt):
- a photo of a cat
- a photo of a dog
и получить классификационные головы для CLIP (обучение без обучения!)
Если нужна более высокая точность, то можно прибегнуть к linear probe — трейн (логистической) головы или на всем сете или на части — few-shot. Уже на 8-16 изображениях на класс, few-shot CLIP становится точнее, чем zero-shot. Из минусов: в режиме few-shot ухудшается робастность.
Ребята предлагают изящный способ — CoOp, который обладает преимуществами и zero-shot и few-shot! Вы пишите prompt [a photo of a cat], [a photo of a dog], собираете по 8-16 примеров нужных изображений, и пускаете градиенты на текстовый энкодер, изменяя вектора [a photo of a].
Тем самым вы заставляете выучить continuous prompt, который будет лучше, чем любой придуманный человеком + точность выше чем few-shot!
📰 paper 💻 code
Zero-Shot CLIP, позволяет вместо сбора данных, разметки и обучения с учителем написать словами (prompt):
- a photo of a cat
- a photo of a dog
и получить классификационные головы для CLIP (обучение без обучения!)
Если нужна более высокая точность, то можно прибегнуть к linear probe — трейн (логистической) головы или на всем сете или на части — few-shot. Уже на 8-16 изображениях на класс, few-shot CLIP становится точнее, чем zero-shot. Из минусов: в режиме few-shot ухудшается робастность.
Ребята предлагают изящный способ — CoOp, который обладает преимуществами и zero-shot и few-shot! Вы пишите prompt [a photo of a cat], [a photo of a dog], собираете по 8-16 примеров нужных изображений, и пускаете градиенты на текстовый энкодер, изменяя вектора [a photo of a].
Тем самым вы заставляете выучить continuous prompt, который будет лучше, чем любой придуманный человеком + точность выше чем few-shot!
📰 paper 💻 code
Forwarded from эйай ньюз
В элитном интерактивном онлайн-журнале distill.pub вышла статья: "Нежное Введение в Графовые Нейронные Сети"
Мой рекомендасион.
https://distill.pub/2021/gnn-intro/
Ктати, это одна из последних статей в этом журнале. К сожалению, редакторы жёстко выгорели за пять лет поддержания такой высокой планки качества.
Мой рекомендасион.
https://distill.pub/2021/gnn-intro/
Ктати, это одна из последних статей в этом журнале. К сожалению, редакторы жёстко выгорели за пять лет поддержания такой высокой планки качества.
∞-former: Infinite Memory Transformer
Представлен трансформер, решающий проблему квадратичной сложности механизма внимания даже не за линейное время, а за константу.
Основная идея в том, чтобы аппроксимировать вектора токенов последовательности различной длины фиксированным набором континуальных радиальных базисов.
По факту, вместо привычной матрицы [длина последовательности, размерность токенов] получается набор континуальных функций размерностью [константа, размерность токенов]. Интуиция - компрессия временной составляющей.
За счет использования механизма непрерывного внимания для работы с такой долговременной памятью, сложность внимания ∞-former становится независимой от длины контекста.
Метод не такой изящный, как perceiver io, но определено интересный.
📄 paper
Представлен трансформер, решающий проблему квадратичной сложности механизма внимания даже не за линейное время, а за константу.
Основная идея в том, чтобы аппроксимировать вектора токенов последовательности различной длины фиксированным набором континуальных радиальных базисов.
По факту, вместо привычной матрицы [длина последовательности, размерность токенов] получается набор континуальных функций размерностью [константа, размерность токенов]. Интуиция - компрессия временной составляющей.
За счет использования механизма непрерывного внимания для работы с такой долговременной памятью, сложность внимания ∞-former становится независимой от длины контекста.
Метод не такой изящный, как perceiver io, но определено интересный.
📄 paper
Forwarded from эйай ньюз
Finetuned Language Models Are Zero-Shot Learners (FLAN)
Новая статейка от Google Research о языковой модели на 137-миллиардов параметров, которая превосходит GPT-3 (few-shot) на различных задачах в zero shot сценарии.
🗯Идея. Предлагается новый метод файнтьюнинга, называемый "instruction tuning". Тут авторы используют идею, что NLP задачи могут быть описаны человеческими словами. Например, “Is the sentiment of this movie review positive or negative?” или “Translate ‘how are you’ into Chinese.” Итак, берется предобученный трансформер на 137-миллиардов параметров (состоит только из декодера), и файнтьюнится на пачке задач с текстовыми инструкциями. После этого его тестируют на новых задачах, также описанных текстом.
✔️Результат. FLAN модель (137 миллиардов параметров) после "instruction tuning" уделывает GPT-3 (175 миллиардов параметров) на 19 из 25 новых языковых задачах.
Статья на arxiv. Кода пока нет, но должен появиться тут.
Новая статейка от Google Research о языковой модели на 137-миллиардов параметров, которая превосходит GPT-3 (few-shot) на различных задачах в zero shot сценарии.
🗯Идея. Предлагается новый метод файнтьюнинга, называемый "instruction tuning". Тут авторы используют идею, что NLP задачи могут быть описаны человеческими словами. Например, “Is the sentiment of this movie review positive or negative?” или “Translate ‘how are you’ into Chinese.” Итак, берется предобученный трансформер на 137-миллиардов параметров (состоит только из декодера), и файнтьюнится на пачке задач с текстовыми инструкциями. После этого его тестируют на новых задачах, также описанных текстом.
✔️Результат. FLAN модель (137 миллиардов параметров) после "instruction tuning" уделывает GPT-3 (175 миллиардов параметров) на 19 из 25 новых языковых задачах.
Статья на arxiv. Кода пока нет, но должен появиться тут.
Готовлю новую серию работ на online выставку Neural Art проекта transformer.
Каждый пиксель этих 4K картин сгенерирован нейронными сетями.
Каждый пиксель этих 4K картин сгенерирован нейронными сетями.
This media is not supported in your browser
VIEW IN TELEGRAM
Сделал для вас нейронный таймлапс: Zero-Shot Season Shifting
Вот и лето прошло,
Словно и не бывало.
На пригреве тепло.
Только этого мало.
Всё, что сбыться могло,
Мне, как лист пятипалый,
Прямо в руки легло.
Только этого мало.
Понапрасну ни зло,
Ни добро не пропало,
Всё горело светло.
Только этого мало.
Жизнь брала под крыло,
Берегла и спасала.
Мне и вправду везло.
Только этого мало.
Листьев не обожгло,
Веток не обломало…
День промыт, как стекло.
Только этого мало.
Арсений Тарковский, 1967 г.
p.s. текстовое описание для генерации: «начало зимы, кадр из кинофильма Тарковского»
Вот и лето прошло,
Словно и не бывало.
На пригреве тепло.
Только этого мало.
Всё, что сбыться могло,
Мне, как лист пятипалый,
Прямо в руки легло.
Только этого мало.
Понапрасну ни зло,
Ни добро не пропало,
Всё горело светло.
Только этого мало.
Жизнь брала под крыло,
Берегла и спасала.
Мне и вправду везло.
Только этого мало.
Листьев не обожгло,
Веток не обломало…
День промыт, как стекло.
Только этого мало.
Арсений Тарковский, 1967 г.
p.s. текстовое описание для генерации: «начало зимы, кадр из кинофильма Тарковского»
Image2Image Translation и Style Transfer в эпоху Zero-Shot
Есть такая область машинного обучения image2image translation. По факту это аналог nlp языкового перевода в cv. Примеры:
- перевод из лета в зиму
- из зебр в лошадь
- из чб в цвет
- из ночи в день
- из блюра в четкие фото
- из фото в скетч
- и т.д.
Пару лет назад на этапе PoC я заморачивался с тем, чтобы сделать мультимодальный перевод из лета в зиму (см фото поста). Потом мы с коллегами юзали сложнейший GAN с 14-ю лоссами внутри, чтобы добиться качественной раскраски чб видео и повышения его качества. Для этого нам потребовался огромный датасет, который приходилось днями чистить вручную! И обучать все это неделями на суперкомпьютерах.
Сейчас, в 2021, я смотрю на задачи style transfer и image2image через призму zero-shot, и до сей поры не могу поверить, что можно превратить, e.g.: лето в зиму (предыдущий пост), сохранив весь контекст, без единого обучающего примера и без обучения вообще!
Действительно, zero-shot —киберпанк, который мы заслужили.
Есть такая область машинного обучения image2image translation. По факту это аналог nlp языкового перевода в cv. Примеры:
- перевод из лета в зиму
- из зебр в лошадь
- из чб в цвет
- из ночи в день
- из блюра в четкие фото
- из фото в скетч
- и т.д.
Пару лет назад на этапе PoC я заморачивался с тем, чтобы сделать мультимодальный перевод из лета в зиму (см фото поста). Потом мы с коллегами юзали сложнейший GAN с 14-ю лоссами внутри, чтобы добиться качественной раскраски чб видео и повышения его качества. Для этого нам потребовался огромный датасет, который приходилось днями чистить вручную! И обучать все это неделями на суперкомпьютерах.
Сейчас, в 2021, я смотрю на задачи style transfer и image2image через призму zero-shot, и до сей поры не могу поверить, что можно превратить, e.g.: лето в зиму (предыдущий пост), сохранив весь контекст, без единого обучающего примера и без обучения вообще!
Действительно, zero-shot —киберпанк, который мы заслужили.
Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
Национальный киноархив Австралии раскрасил кадры с тасманийским тигром последний из которых умер 85 лет назад, а я прогнал его через нейронки тут, и сделал 60 кадров в секунду и чуть подправил скорость проигрывания. Ну и добавил звук, для антуража.
Давайте беречь животных 🖤
Давайте беречь животных 🖤
Forwarded from эйай ньюз
А вот и новые умные очечи от Ray-Ban + Facebook. Буду скромен с описанием, чтобы не взболтнуть лишнего. Очки называются Ray-Ban Stories. В них имеются две встроенные кармеры по бокам, с помощью которых можно снимать классные видео от первого лица, процессор Snapdragon, набор микроспикеров, три микрофона, оптимизированные для аудиозвонков, и даже маленький тачпад. Из технологий для улучшения звука и видео: стабилизация видео, HDR, улучшение освещения, деноизинг и подавление фонового шума, видео и фото энхансинг с помощью ML. В дополнение к очкам идет отдельное приложение Facebook View, которое помогает все настраивать и управлять записываемых контентом.
Есть варианты в нескольких классических оправах. Радует, что выглядят они очень стильно, в отличие от уродцев Spectacles 3 от Снэпа. Также стоит отметить вполне дотупную цену девайса - всего $299. Насчет AR/VR - пока функционал очков ограничен, но, очевидно, что все движется в этом направлении и будут выходить софтверные обновления.
Тех описание на блоге ФБ.
Есть варианты в нескольких классических оправах. Радует, что выглядят они очень стильно, в отличие от уродцев Spectacles 3 от Снэпа. Также стоит отметить вполне дотупную цену девайса - всего $299. Насчет AR/VR - пока функционал очков ограничен, но, очевидно, что все движется в этом направлении и будут выходить софтверные обновления.
Тех описание на блоге ФБ.
Forwarded from эйай ньюз
Media is too big
VIEW IN TELEGRAM
А это сама презентация очков Ray-Ban Stories 😎
This media is not supported in your browser
VIEW IN TELEGRAM
Zero-Shot Style Transfer: Моне, Рерих, Айвазовский
🎬 YouTube канал Мишин Лернинг
Я давно хотел начать вести Мишин Лирнинг и на YouTube, и вот решил начать с небольшого видео, демонстрирующего возможности Zero-Shot Style Transfer.
Такой подход предполагает перенос стиля изображения без необходимости использования примеров целевого стиля. Стиль переносится используя текстовые описания: "Professional oil painting by ", подставляя фамилии различных художников, e.g.: Monet, Roerich, Aivazovsky.
Идея похожа на deep dream, только градиенты текут не на само изображение, а на z-пространство taming transformer'а, который берет на себя роль генератора (рендер) изображения, а в роли сети донора (знаний) градиентов выступает не VGG (которая используется для one-shot / few-shot style transfer), а CLIP от OpenAI, способный выполнят эту задачу в Zero-Shot, то есть без примеров и без дополнительного обучения (без файнтюна).
📼 https://youtu.be/aXF22T_RWLs
p.s.: Для финального видео использовалась технология neural enhancement и super resolution от neural.love (@denissexy), позволившая насладиться Style Transfer с повышенным разрешением и частотой кадров.
Я давно хотел начать вести Мишин Лирнинг и на YouTube, и вот решил начать с небольшого видео, демонстрирующего возможности Zero-Shot Style Transfer.
Такой подход предполагает перенос стиля изображения без необходимости использования примеров целевого стиля. Стиль переносится используя текстовые описания: "Professional oil painting by ", подставляя фамилии различных художников, e.g.: Monet, Roerich, Aivazovsky.
Идея похожа на deep dream, только градиенты текут не на само изображение, а на z-пространство taming transformer'а, который берет на себя роль генератора (рендер) изображения, а в роли сети донора (знаний) градиентов выступает не VGG (которая используется для one-shot / few-shot style transfer), а CLIP от OpenAI, способный выполнят эту задачу в Zero-Shot, то есть без примеров и без дополнительного обучения (без файнтюна).
📼 https://youtu.be/aXF22T_RWLs
p.s.: Для финального видео использовалась технология neural enhancement и super resolution от neural.love (@denissexy), позволившая насладиться Style Transfer с повышенным разрешением и частотой кадров.
YouTube
Zero-Shot Style Transfer: Monet, Roerich, Aivazovsky | Neural Art | AI | 4K | Мишин Лернинг
На этом видео показаны возможности Zero-Shot Style Transfer, что предполагает перенос стиля изображения без необходимости использования примеров целевого стиля. Стиль переносится используя текстовые описания: "Professional oil painting by ", подставляя фамилии…
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🏆 GSLM - Безтекстовое NLP от Facebook AI, и это Новая Эра
Facebook AI gпредсавил GSLM, первую языковую модель, которая полностью избавляет от текста при обучении. Этот подход «бестекстового НЛП» способен генерировать выразительную речь, обучаясь только на сырых аудиозаписях.
Ян ЛеКун уже написал в своем twitter:
«В естественных языках есть гораздо больше, чем текст: тон, акцент, выражение, просодия, тембр, высота ... «Бестекстовое НЛП» представляет речь через поток дискретных токенов. Речавая модель, обученная в self-supervised режиме, напрямую из звуковой волны! Это Новая Эра.»
В видео в этом посте 3 примера продолжения (генерации) по аудио prompt.
📇Blog 💻 Code 📰 GSLM paper
Facebook AI gпредсавил GSLM, первую языковую модель, которая полностью избавляет от текста при обучении. Этот подход «бестекстового НЛП» способен генерировать выразительную речь, обучаясь только на сырых аудиозаписях.
Ян ЛеКун уже написал в своем twitter:
«В естественных языках есть гораздо больше, чем текст: тон, акцент, выражение, просодия, тембр, высота ... «Бестекстовое НЛП» представляет речь через поток дискретных токенов. Речавая модель, обученная в self-supervised режиме, напрямую из звуковой волны! Это Новая Эра.»
В видео в этом посте 3 примера продолжения (генерации) по аудио prompt.
📇Blog 💻 Code 📰 GSLM paper
This media is not supported in your browser
VIEW IN TELEGRAM
Тут @denissexy сделал голосовой перевод отборного юридического бреда, который генерирует речевая модель GSLM из предыдущего поста!
«От почтовых топоров никогда не требовали труда, и любой запас был лично адекватен труду и разделу 19!»
«От почтовых топоров никогда не требовали труда, и любой запас был лично адекватен труду и разделу 19!»
Apple откладывает развертывание системы обнаружения запрещенного контента
Месяц назад Apple анонсировала фичу (на основе нейронного хэширования) для обнаружения запрещённых материалов в iCloud для обеспечения безопасности детей. Теперь Apple заявила, что им «потребуется дополнительное время» для доработки функций перед их выпуском. Вот заявление для 9to5Mac от Apple:
«В прошлом месяце мы объявили о планах по созданию фичей, призванных помочь защитить детей от преступников, которые используют средства коммуникации, а также ограничить распространение материалов сексуального насилии над детьми. Основываясь на отзывах клиентов, правозащитных групп, исследователей и других лиц, мы решили в ближайшие месяцы выделить дополнительное время, чтобы собрать информацию и внести улучшения в продукт, прежде чем выпускать эти критически важные функции, обеспечивающие безопасность детей».
Новые функции Apple по обеспечению безопасности детей должны были быть запущены в рамках обновлений iOS 15, iPadOS 15 и macOS Monterey.
Месяц назад Apple анонсировала фичу (на основе нейронного хэширования) для обнаружения запрещённых материалов в iCloud для обеспечения безопасности детей. Теперь Apple заявила, что им «потребуется дополнительное время» для доработки функций перед их выпуском. Вот заявление для 9to5Mac от Apple:
«В прошлом месяце мы объявили о планах по созданию фичей, призванных помочь защитить детей от преступников, которые используют средства коммуникации, а также ограничить распространение материалов сексуального насилии над детьми. Основываясь на отзывах клиентов, правозащитных групп, исследователей и других лиц, мы решили в ближайшие месяцы выделить дополнительное время, чтобы собрать информацию и внести улучшения в продукт, прежде чем выпускать эти критически важные функции, обеспечивающие безопасность детей».
Новые функции Apple по обеспечению безопасности детей должны были быть запущены в рамках обновлений iOS 15, iPadOS 15 и macOS Monterey.
Media is too big
VIEW IN TELEGRAM
Zero-Shot Style Transfer
Добавил к Zero-Shot Style Transfer мофинг в z пространстве taming transformer’a.
На самом деле все очень просто: движение между двумя точками z, можно интерпретировать как интерполяцию между двумя латентными векторами, пораждающими изображения. Это движение можно производить между реальными изображениям — morphing, а можно двигаться в ту сторону, которую “укажет” CLIP — Zero-Shot Style Transfer.
На видео происходит и то и другое. В самом начале Рерих z-морфится в Хокусая, а дальше уже Zero-Shot Style Transfer в Винсента ван Гога и снова в Рериха.
Добавил к Zero-Shot Style Transfer мофинг в z пространстве taming transformer’a.
На самом деле все очень просто: движение между двумя точками z, можно интерпретировать как интерполяцию между двумя латентными векторами, пораждающими изображения. Это движение можно производить между реальными изображениям — morphing, а можно двигаться в ту сторону, которую “укажет” CLIP — Zero-Shot Style Transfer.
На видео происходит и то и другое. В самом начале Рерих z-морфится в Хокусая, а дальше уже Zero-Shot Style Transfer в Винсента ван Гога и снова в Рериха.