🥑 DALL•E 2 text-to-image examples from OpenAI researchers

▪️A rabbit detective sitting on a park bench and reading a newspaper in a victorian setting

▪️Rabbits attending a college seminar on human anatomy

▪️A vacuum listening to music on its headphones while cleaning the room

▪️A raccoon wearing a with a lightsaber

▪️A raccoon wearing a hoodie working on his
laptop late into the night in Los Angeles making a 'yes'

▪️A raccoon wearing a hoodie working on his
laptop late into the night

▪️A kid and a dog staring at the stars

▪️An elephant tea party on a grass lawn

▪️A panda wearing red bandana and sunglasses on the motorcycle in the desert

🏆 Инженер из OpenAI придумал, как использовать DALL-E 2 для генерации качественных картин любого размера!

Да, опять DALL-E 2, ну что я могу поделать, когда вокруг такая красивая простота! Действительно все гениальное — просто.

Идею подхода, инженер из OpenAI David Schnurr, описывает так: "Я создал серию изображений с помощью DALL·E , где каждое последующее изображение, использовало предыдущее изображение, как кондишн), а затем соединил их все вместе".

По своей сути DALL-E 2, является развитием идеи GLIDE (сам декодер так вообще тюн GLIDE, где добавили кондишн векторов CLIP, сделав тем самым unCLIP). A GLIDE мы уже знаем как использовать в режиме Inpainting! У MLArt есть крутой колаб с этим Inpainting функционалом для GLIDE.

🌬 Оригиналы генераций приложил в комментарии к посту в своем телеграм-канале Нейроэстетика, где выкладываю генеративный арт.

p.s.: Нейро-полотно Босха и Дали от DALL-E действительно лучшее из того, что я пока видел!

🎲 Мысли вслух по поводу GPT-3 от OpenAI

Удивился насколько неплохо может суммаризировать текст GPT-3 (Babbage) в которой всего лишь 1.3B параметров.

Прикрепил два скриншота GPT-3 интерфейса апишки от OpenAI с примерами. Видно, что иногда 175B (Davinci) — оверхед по стоимости.

Хочу сказать, что ребята как и из OpenAI, так и из EleutherAI умеют обучать свои модели.

1.3B версии GPT, что Babbage от OpenAI, что GPT-Neo 1.3B от EleutherAI, для своих размеров, нормально справляются с пониманием текста и генерацией (все ок с перплексией) и модель не начинает выдавать абракадабру после генерации 500-600 первых токенов (типа все ок с обучением позишн эмбеддингов, как и должно быть у gpt), что позволяет генерировать длинные и относительно связные тексты.

🔘 Спустя год хайпа подхода вышел пейпер VQGAN-CLIP от EleutherAI

Когда в голове у всех DALL-E 2 и Latent Diffusion, Katherine Crowson и Stella Biderman и другие крутые ребята из EleutherAI выкатывают папир по VQGAN-CLIP.

Спрашивается зачем? А я сейчас покажу, откуда на Беларусь готовилось нападение, и если бы за шесть часов не был нанесен ноги у этого растут и зачем это все.

То что сейчас происходит, я бы назвал, демократизацией искусственного интеллекта! Ведь давайте будем честны, DALL-E 2 — огонь, но светит он через закрытые шторы. А вот ресерчеры из EleutherAI, делают современный AI, который сейчас считается привилегией ограниченного круга избранных, доступным для всех.

К чему это я? VQGAN-CLIP — хит прошлого лета, был доступен сразу всем и каждому, и развивался благодоря коммьюнити! Я тоже делал очень крутые штуки своей версией CLIP-VQGAN.

И в этом году мы видим, сначала код GPT-NeoX с открытыми весами, а потом формализацию — пейпер, который полезен, в котором есть детали!

💻 Code
📄 VQGAN-CLIP paper