Отложенный труп Жириновского | Теперь уже официальный RuntimeError и согласованный CUDA Out Of Memory
❤47👍22👎13😢3
🤖🥑 Latent Diffusion LAION 400M Colab
Теперь работает на всех google аккаунтах и без pro / pro+ colab подписки.
p.s. Диффузия таки может не только в абстракцию, но и в текст!
🔮 latent diffusion laion 400M
Теперь работает на всех google аккаунтах и без pro / pro+ colab подписки.
p.s. Диффузия таки может не только в абстракцию, но и в текст!
🔮 latent diffusion laion 400M
👍21❤6
Media is too big
VIEW IN TELEGRAM
🥑😈 DALL•E 2 от OpenAI: Hierarchical Text-Conditional Image Generation with CLIP Latents
2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.
Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!
🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!
p.s.: да, OpenAI все еще ClosedAI, так что надежда или на крутой клон от Stability.AI, ну или на waitlist 🙃
📰 Paper 🎓 Blog 🎥 Янык
2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.
Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!
🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!
p.s.: да, OpenAI все еще ClosedAI, так что надежда или на крутой клон от Stability.AI, ну или на waitlist 🙃
📰 Paper 🎓 Blog 🎥 Янык
❤19👍10
Forwarded from Нейроэстетика
🥑 DALL•E 2 text-to-image examples from OpenAI researchers
▪️A rabbit detective sitting on a park bench and reading a newspaper in a victorian setting
▪️Rabbits attending a college seminar on human anatomy
▪️A vacuum listening to music on its headphones while cleaning the room
▪️A raccoon wearing a with a lightsaber
▪️A raccoon wearing a hoodie working on his
laptop late into the night in Los Angeles making a 'yes'
▪️A raccoon wearing a hoodie working on his
laptop late into the night
▪️A kid and a dog staring at the stars
▪️An elephant tea party on a grass lawn
▪️A panda wearing red bandana and sunglasses on the motorcycle in the desert
▪️A rabbit detective sitting on a park bench and reading a newspaper in a victorian setting
▪️Rabbits attending a college seminar on human anatomy
▪️A vacuum listening to music on its headphones while cleaning the room
▪️A raccoon wearing a with a lightsaber
▪️A raccoon wearing a hoodie working on his
laptop late into the night in Los Angeles making a 'yes'
▪️A raccoon wearing a hoodie working on his
laptop late into the night
▪️A kid and a dog staring at the stars
▪️An elephant tea party on a grass lawn
▪️A panda wearing red bandana and sunglasses on the motorcycle in the desert
❤50👍19
This media is not supported in your browser
VIEW IN TELEGRAM
🥑 DALL-E 2 позволяет не только генерировать новые изображение, но и скрещивать реальные!
DALL-E 2 сочетает лучшее из двух миров:
▪️Zero-Shot способность генерации изображений практически во всех доменах
▪️И способность интерполяции между изображениями (между векторами их эмбедингов)
На gif'ке — DALL-E 2 вариации между двумя изображениями: логотипом OpenAI и картиной "Изучение цвета квадратов и кругов" Кандинского; путем интерполяции их CLIP эмбедингов, а затем декодирования с помощью диффузионной модели unСLIP (декодер части модели DALL-E 2).
Так что все прелести StyleGAN-интерполяции поставляются в DALL-E 2 "из коробки"
DALL-E 2 сочетает лучшее из двух миров:
▪️Zero-Shot способность генерации изображений практически во всех доменах
▪️И способность интерполяции между изображениями (между векторами их эмбедингов)
На gif'ке — DALL-E 2 вариации между двумя изображениями: логотипом OpenAI и картиной "Изучение цвета квадратов и кругов" Кандинского; путем интерполяции их CLIP эмбедингов, а затем декодирования с помощью диффузионной модели unСLIP (декодер части модели DALL-E 2).
Так что все прелести StyleGAN-интерполяции поставляются в DALL-E 2 "из коробки"
❤30👍7
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Если помните, Nvidia не так давно показала свою новую нейронку (iNGP) – скармливаешь ей кучу фоток и она дает тебе 3D пространство этого помещения, в котором можно «перемещать камеру».
Один из интересных побочных эффектов этого алгоритма, это то, что можно «залетать» в отражения, в данном случае в зеркало — и летать там смотреть чего как.
Вход в зазеркалье открывается только с помощью нейронок, теперь все понятно ¯\_(ツ)_/¯
UPD для нердов: Эта сцена тренировалась на 134 фотографиях
Один из интересных побочных эффектов этого алгоритма, это то, что можно «залетать» в отражения, в данном случае в зеркало — и летать там смотреть чего как.
Вход в зазеркалье открывается только с помощью нейронок, теперь все понятно ¯\_(ツ)_/¯
UPD для нердов: Эта сцена тренировалась на 134 фотографиях
❤60👍21🔥2
🚵 Transformers for Referring Video Object Segmentation | Zero-Shot, VideoSWIN, MDETR, MTTR | YouTube Lecture
Представляете себе трансформер для zero-shot стабильной детекции объектов на видео по текстовому описанию? Если Ваш мозг уже начал рисовать MDETR, базирующийся на Video Swin на стероидах, то поздравляю, Вы на правильном пути!
🎥 MTTR — Evgenii Zheltonozhskii (coathor) | Transformer Community | YouTube
Надеюсь, вы помните про мой проект:
Transformer | Прогрессивное ML Комьюнити
В ближайшие месяцы я планирую возобновить работу Transformer'a: продолжить лекции, приглашать специалистов, и делать контент!
А уже сегодня стала доступна запись лекции от соавтора популярной нейростети MTTR:
Evgenii Zheltonozhskii, M.Sc. in Technion | Телеграм Канал автора
Что вас ждет на лекции:
▪️ Short intro, reminder on Transformers
▪️ Intro to RVOS task, explanation and challenges
▪️ Related work: short overview of previous approaches to RVOS, DETR, VisTR, MDETR
▪️ Our approach overview
▪️ Real life samples, discussion of challenges, limitations and future directions
📄 MTTR paper
💻 MTTR code
🚀 MTTR demo
🔮 MTTR colab
P.S.: Буду очень рад, если подпишетесь на мой YouTube канал Transformer 🔔 ML и AI лекции от топовых ресерчеров и специалистов!
Представляете себе трансформер для zero-shot стабильной детекции объектов на видео по текстовому описанию? Если Ваш мозг уже начал рисовать MDETR, базирующийся на Video Swin на стероидах, то поздравляю, Вы на правильном пути!
🎥 MTTR — Evgenii Zheltonozhskii (coathor) | Transformer Community | YouTube
Надеюсь, вы помните про мой проект:
Transformer | Прогрессивное ML Комьюнити
В ближайшие месяцы я планирую возобновить работу Transformer'a: продолжить лекции, приглашать специалистов, и делать контент!
А уже сегодня стала доступна запись лекции от соавтора популярной нейростети MTTR:
Evgenii Zheltonozhskii, M.Sc. in Technion | Телеграм Канал автора
Что вас ждет на лекции:
▪️ Short intro, reminder on Transformers
▪️ Intro to RVOS task, explanation and challenges
▪️ Related work: short overview of previous approaches to RVOS, DETR, VisTR, MDETR
▪️ Our approach overview
▪️ Real life samples, discussion of challenges, limitations and future directions
📄 MTTR paper
💻 MTTR code
🚀 MTTR demo
🔮 MTTR colab
P.S.: Буду очень рад, если подпишетесь на мой YouTube канал Transformer 🔔 ML и AI лекции от топовых ресерчеров и специалистов!
YouTube
Transformers for Referring Video Object Segmentation | Zero-Shot, VideoSWIN, MDETR, MTTR [eng]
Evgenii Zheltonozhskii, M.Sc. in Technion https://evgeniizh.com | Telegram Blog: https://news.1rj.ru/str/j_links
Transfomer: https://transformer.community
MTTR paper: https://arxiv.org/abs/2111.14821
MTTR code: https://github.com/mttr2021/MTTR
MTTR demo: https://h…
Transfomer: https://transformer.community
MTTR paper: https://arxiv.org/abs/2111.14821
MTTR code: https://github.com/mttr2021/MTTR
MTTR demo: https://h…
❤12👍3