🥑😈 DALL•E 2 от OpenAI: Hierarchical Text-Conditional Image Generation with CLIP Latents

2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.

Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!

🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!

p.s.: да, OpenAI все еще ClosedAI, так что надежда или на крутой клон от Stability.AI, ну или на waitlist 🙃

📰 Paper 🎓 Blog 🎥 Янык

​​Принес вам немножко поводов покликать по ссылкам: @ozon_tech замутил ML Meetup 14 апреля в 17:00.

О чем будут говорить?

1. Как в Ozon заменили потоп на поток в ETL-pipeline матчинга товаров, а также о прозрачном мониторинге такого подхода в production - Ван Хачатрян, Ozon

2. Рекомендации на Go и зачем переходить от оффлайн рекомендаций к онлайн - Илья Осиновсков, Ozon

3. Развитие инструментария и платформы от MVP в стартапе до зрелого ML сервиса в большой компании - Макар Краснопёров, Яндекс.Маркет

4. Как в компании перестали бояться иероглифов и полюбили китайскую инфраструктуру - Михаил Бочкарев, AliExpress

5. Круглый стол на тему: «Взгляд изнутри: процессы и роли в ML-командах крупных IT-компаний» с представителями Яндекс.Маркет, Aliexpress, Циан
Модератор Юрий Дорн (Ozon)

Билетики тут, регистрируемся: https://bit.ly/3umo3P6

Ссылка на трансляцию: https://bit.ly/3uoiFuZ

#реклама