Сэмплы генерились хитро, генерилось несколько кандидатов (например 32, но иногда и вплоть до 512!), которые далее отправлялись в специальную ранжирующую контрастивную модель, дающую характеризующий качество матчинга скор каждой паре текст+сгенерённое изображение. Эта модель была специально обучена под данную задачу и является важным компонентом для получения хороших результатов. Такой автоматизированный cherry-picking. Эта хитрая модель, собственно, CLIP (https://arxiv.org/abs/2103.00020), про который расскажем отдельно.
Результаты красивы. Модель неплохо генерализует и выдаёт довольно экзотические картинки, которые вряд ли могли быть в исходных датасетах. Типа “маленького ёжика в рождественском свитере, выгуливающего собаку”. Косячит она тоже забавно. Тут лучше смотреть, чем описывать, так что велкам внутрь статьи и ещё более велкам в пост, где картинок много и можно попробовать свои варианты изменений (из заранее заданных). Впрочем, эту часть многие скорее всего в январе как раз и посмотрели.
Код для репликации совершенно недостаточен потому что 1) не выложен полностью даже код моделей, есть только dVAE; 2) напрочь отсутствует часть про обучение, в которой миллион тонкостей (и не факт, кстати, что прям все они отражены в статье). Попытка репликации в репозитории lucidrains выглядит более полной.
Есть ещё попытка собрать что-то похожее от энтузиастов FLAX/JAX (https://moocaholic.medium.com/jax-a13e83f49897), но модель там маленькая (а именно в скейлинге и был смысл) и немного иной архитектуры (seq2seq часть там другая, вместо декодера sparse transformer вставили полный encoder-decoder BART, но он не sparse): https://wandb.ai/dalle-mini/dalle-mini/reports/DALL-E-mini--Vmlldzo4NjIxODA
UPD: Сбер обучил русскоязычные модели DALLE на 1.3B (XL) и 12B (XXL) параметров. Модель XL выложена на гитхабе: https://github.com/sberbank-ai/ru-dalle и доступна в Huggingface Transformers: https://huggingface.co/sberbank-ai/rudalle-Malevich, демо доступно на сайте https://rudalle.ru/
Результаты красивы. Модель неплохо генерализует и выдаёт довольно экзотические картинки, которые вряд ли могли быть в исходных датасетах. Типа “маленького ёжика в рождественском свитере, выгуливающего собаку”. Косячит она тоже забавно. Тут лучше смотреть, чем описывать, так что велкам внутрь статьи и ещё более велкам в пост, где картинок много и можно попробовать свои варианты изменений (из заранее заданных). Впрочем, эту часть многие скорее всего в январе как раз и посмотрели.
Код для репликации совершенно недостаточен потому что 1) не выложен полностью даже код моделей, есть только dVAE; 2) напрочь отсутствует часть про обучение, в которой миллион тонкостей (и не факт, кстати, что прям все они отражены в статье). Попытка репликации в репозитории lucidrains выглядит более полной.
Есть ещё попытка собрать что-то похожее от энтузиастов FLAX/JAX (https://moocaholic.medium.com/jax-a13e83f49897), но модель там маленькая (а именно в скейлинге и был смысл) и немного иной архитектуры (seq2seq часть там другая, вместо декодера sparse transformer вставили полный encoder-decoder BART, но он не sparse): https://wandb.ai/dalle-mini/dalle-mini/reports/DALL-E-mini--Vmlldzo4NjIxODA
UPD: Сбер обучил русскоязычные модели DALLE на 1.3B (XL) и 12B (XXL) параметров. Модель XL выложена на гитхабе: https://github.com/sberbank-ai/ru-dalle и доступна в Huggingface Transformers: https://huggingface.co/sberbank-ai/rudalle-Malevich, демо доступно на сайте https://rudalle.ru/
Medium
JAX
JAX by Google Research is getting more and more popular. Deepmind recently announced they are using JAX to accelerate their research and…
Всем привет! Миша Бурцев проводит опрос, как кому видятся пути к Human Level AI. Если у кого есть мысли по теме, заполните, пожалуйста, анкету по ссылке: https://form.jotform.com/211134165349350
Миша обещает сделать краткий отчёт по результатам.
Миша обещает сделать краткий отчёт по результатам.
Jotform
Unsolved problems and possible paths on the road to human level intelligence v. 1
Please click the link to complete this form.
Давно от нас не было новостей, но по секрету скажу, что мы готовим обзор очень прикольной темы, подробности скоро!
А пока пара новостей про другие события от Grigory Sapunov:
1. Недавно сходил на подкаст к Марку Девельману, поговорили про AI, а больше даже про смысл жизни :)
https://www.uhnwidata.com/den-of-rich/grigory-sapunov
2. 10 сентября выступаю на DataFest Yerevan 2021 в 10:00 (Yerevan time, UTC+4). Расскажу про трансформеры в 2021 году, что интересного произошло и какие тренды.
https://datafest.am/#/agenda
Буду рад поболтать живьём со всеми, кто вдруг в это время будет в Ереване!
А пока пара новостей про другие события от Grigory Sapunov:
1. Недавно сходил на подкаст к Марку Девельману, поговорили про AI, а больше даже про смысл жизни :)
https://www.uhnwidata.com/den-of-rich/grigory-sapunov
2. 10 сентября выступаю на DataFest Yerevan 2021 в 10:00 (Yerevan time, UTC+4). Расскажу про трансформеры в 2021 году, что интересного произошло и какие тренды.
https://datafest.am/#/agenda
Буду рад поболтать живьём со всеми, кто вдруг в это время будет в Ереване!
[OpenAI CLIP] Learning Transferable Visual Models From Natural Language Supervision
Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever
Статья: https://arxiv.org/abs/2103.00020
Пост в блоге: https://openai.com/blog/clip/
Код (официальный, но неполный): https://github.com/openai/CLIP
Код (неофициальный, но с обучением): https://github.com/mlfoundations/open_clip
Мультиязычный CLIP: https://github.com/FreddeFrallan/Multilingual-CLIP
Русский CLIP от Сбера: https://github.com/sberbank-ai/ru-clip
В предыдущем посте про DALL·E мы упомянули, что частью системы является CLIP, использующийся для ранжирования пар <картинка, текст>. Собственно, надо и про CLIP рассказать.
Глобальная идея CLIP в том, что традиционный подход к обучению в компьютерном зрении заключался в обучении по заранее заданным категориям (предопределённые классы), в то время как в природе есть гораздо более богатый (и потенциально более “дешёвый”, потому что классическая разметка по классам довольно дорога) тип данных — обычные тексты, которые и можно использовать в качестве supervised сигнала. Это идейно похоже на подход из области NLP принятый в трансформере T5, когда все задачи оформляются как seq2seq и для всех задач, включая классификацию, выходы являются текстовыми (а не категориальными в случае той же классификации). Дополнительным бонусом такого подхода является то, что мы не только выучиваем хорошее представление для задачи, но и ещё связываем представление текстов с представлением картинок, то есть получаем какое-то общее мультимодальное пространство.
CLIP расшифровывается как Contrastive Language-Image Pre-Training и технически его идея достаточно проста — возьмём огромный датасет пар <картинка, текстовое описание>, намайненный из интернета (таковых набралось 400М пар) и на этом датасете обучим контрастивную модель, которая для соответствующих друг другу элементов пары даст высокий скор, а для всех остальных — низкий. В этом смысле — классика contrastive learning (про который мы много писали ранее), только теперь он мультимодальный, тексты + картинки.
Про датасет на самом деле довольно мутная и почти неописанная часть. И он, конечно, не выложен. Вроде как искали пары <картинки, текст> по различным запросам (500К слов, которые встретились по крайней мере 100 раз в англоязычной википедии + информативные биграммы) и получая примерно 20К пар на каждый запрос. Датасет вышел аналогичный по числу слов датасету WebText, на котором обучалась GPT-2. Этот датасет назвали WIT (WebImageText). Я пока не уловил, что именно всё-таки в этих текстах, не сами запросы же? Какие-то прикартиночные тексты, или что-то ещё?
На таком датасете можно было бы обучить полноценный seq2seq в режиме похожем на image captioning, то есть генерить по картинке текст. Но авторы показали, что, например, если генерить по картинке описывающий её bag of words, то с точки зрения compute effieiency это получается в три раза эффективнее. А если потом предсказание заменить на контрастивное обучение, то эффективность ещё в четыре раза выше. Так пришли к контрастивному CLIP.
Собственно модель состоит из картиночного и текстового энкодеров, а дальше поверх нормализованных эмбеддингов считается косинусное расстояние, которое модель максимизирует для соответствующих элементов пары и минимизирует для несоответствующих.
В качестве картиночного энкодера попробовали 8 моделей: 5 свёрточных и 3 трансформера. В качестве свёрточных энкодеров взят базовый ResNet-50 с несколькими модификациями, более тяжёлый вариант ResNet-101, и EfficientNet-подобные RN50x4, RN50x16, RN50x64; а в качестве трансформеров используются ViT (https://news.1rj.ru/str/gonzo_ML/434): ViT-B/32, ViT-B/16 и ViT-L/14. Для ViT-L/14 в дальнейшем сделали версию дообученную одну эпоху на разрешении 336 пикселей (все предыдущие были 224), её называют ViT-L/14@336px и дальше собственно её и подразумевают под версией в CLIP, так как её перформанс лучший.
Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever
Статья: https://arxiv.org/abs/2103.00020
Пост в блоге: https://openai.com/blog/clip/
Код (официальный, но неполный): https://github.com/openai/CLIP
Код (неофициальный, но с обучением): https://github.com/mlfoundations/open_clip
Мультиязычный CLIP: https://github.com/FreddeFrallan/Multilingual-CLIP
Русский CLIP от Сбера: https://github.com/sberbank-ai/ru-clip
В предыдущем посте про DALL·E мы упомянули, что частью системы является CLIP, использующийся для ранжирования пар <картинка, текст>. Собственно, надо и про CLIP рассказать.
Глобальная идея CLIP в том, что традиционный подход к обучению в компьютерном зрении заключался в обучении по заранее заданным категориям (предопределённые классы), в то время как в природе есть гораздо более богатый (и потенциально более “дешёвый”, потому что классическая разметка по классам довольно дорога) тип данных — обычные тексты, которые и можно использовать в качестве supervised сигнала. Это идейно похоже на подход из области NLP принятый в трансформере T5, когда все задачи оформляются как seq2seq и для всех задач, включая классификацию, выходы являются текстовыми (а не категориальными в случае той же классификации). Дополнительным бонусом такого подхода является то, что мы не только выучиваем хорошее представление для задачи, но и ещё связываем представление текстов с представлением картинок, то есть получаем какое-то общее мультимодальное пространство.
CLIP расшифровывается как Contrastive Language-Image Pre-Training и технически его идея достаточно проста — возьмём огромный датасет пар <картинка, текстовое описание>, намайненный из интернета (таковых набралось 400М пар) и на этом датасете обучим контрастивную модель, которая для соответствующих друг другу элементов пары даст высокий скор, а для всех остальных — низкий. В этом смысле — классика contrastive learning (про который мы много писали ранее), только теперь он мультимодальный, тексты + картинки.
Про датасет на самом деле довольно мутная и почти неописанная часть. И он, конечно, не выложен. Вроде как искали пары <картинки, текст> по различным запросам (500К слов, которые встретились по крайней мере 100 раз в англоязычной википедии + информативные биграммы) и получая примерно 20К пар на каждый запрос. Датасет вышел аналогичный по числу слов датасету WebText, на котором обучалась GPT-2. Этот датасет назвали WIT (WebImageText). Я пока не уловил, что именно всё-таки в этих текстах, не сами запросы же? Какие-то прикартиночные тексты, или что-то ещё?
На таком датасете можно было бы обучить полноценный seq2seq в режиме похожем на image captioning, то есть генерить по картинке текст. Но авторы показали, что, например, если генерить по картинке описывающий её bag of words, то с точки зрения compute effieiency это получается в три раза эффективнее. А если потом предсказание заменить на контрастивное обучение, то эффективность ещё в четыре раза выше. Так пришли к контрастивному CLIP.
Собственно модель состоит из картиночного и текстового энкодеров, а дальше поверх нормализованных эмбеддингов считается косинусное расстояние, которое модель максимизирует для соответствующих элементов пары и минимизирует для несоответствующих.
В качестве картиночного энкодера попробовали 8 моделей: 5 свёрточных и 3 трансформера. В качестве свёрточных энкодеров взят базовый ResNet-50 с несколькими модификациями, более тяжёлый вариант ResNet-101, и EfficientNet-подобные RN50x4, RN50x16, RN50x64; а в качестве трансформеров используются ViT (https://news.1rj.ru/str/gonzo_ML/434): ViT-B/32, ViT-B/16 и ViT-L/14. Для ViT-L/14 в дальнейшем сделали версию дообученную одну эпоху на разрешении 336 пикселей (все предыдущие были 224), её называют ViT-L/14@336px и дальше собственно её и подразумевают под версией в CLIP, так как её перформанс лучший.
Openai
CLIP: Connecting text and images
We’re introducing a neural network called CLIP which efficiently learns visual concepts from natural language supervision. CLIP can be applied to any visual classification benchmark by simply providing the names of the visual categories to be recognized,…
❤5👍1
В качестве базового текстового энкодера взят обычный трансформер на 63М параметров с 12 слоями, 8 головами и эмбеддингами в 512 (для пар с более тяжёлыми картиночными энкодерами параметры побольше). Что важно, attention span этого трансформера всего 76 токенов, то есть он работает с сильно более короткими по сравнению с бертом текстами. При этом, что нехарактерно для энкодеров, “на будущее” используется masked attention, чтобы можно было инициализировать предобученной моделью или добавить дополнительный objective, если вдруг захочется.
Оба энкодера обучали с нуля, не загружая в них какие-либо претренированные веса. Нелинейных преобразований текстовых или картиночных эмбеддингов не было, трансформаций данных тоже, кроме случайных кропов для отмасштабированных картинок.
Самый толстый ViT обучался 12 дней на 256 V100, а RN50x64 — 18 дней на 592 V100.
Изначально были выложены версии CLIP с ViT-B/32 + RN50 (ResNet-50), затем в режиме постепенных выкладываний выложили RN101 и RN50x4, а в июле 2021 также выложили RN50x16 и ViT-B/16. Ну то есть более тяжёлой RN50x64 и самой нормальной ViT-L/14 и тем более ViT-L/14@336px нету (https://github.com/openai/CLIP/blob/main/clip/clip.py#L29).
OpenAI style.
Такое предобучение даёт неожиданно хорошие в плане zero-shot learning результаты и иногда сопоставимо с полностью supervised результатами. И собственно анализ этого и занимает большую часть работы.
При всей своей идейной и технической простоте модель получилась реально очень универсальная и с потенциально огромным количеством применений. Welcome to the age of Foundation Models (https://arxiv.org/abs/2108.07258).
Во-первых, модель можно использовать для классификации по заранее неопределённому числу классов. Заготоваливаете текстовые описания классов, а потом считаете близость эмбеддингов картинок к эмбеддингам этих классов и выбираете ближайший из всех. Или ещё лучше делаете промпт вида “A photo of a {label}” по нужным вам классам, и это даёт более высокое качество классификации. Или даже на “A photo of a {label}, a type of pet.” если релевантно, тогда ещё лучше. В общем здесь тоже как и в GPT-3 можно заниматься prompt engineering. Привет, Software 3.0. Или делаете разные промпты и ансамблируете, так тоже лучше.
Если сравнить с supervised бейзлайном на ResNet-50, то CLIP бьёт его на большом числе датасетов, а на STL10 вроде как даже получили новый SoTA без обучающих примеров. CLIP значительно превосходит бейзлайн на двух датасетах с разпознаванием действий. Авторы спекулируют, что supervision из тектовых описаний лучше работает для концепций с глаголами по сравнению с сигналом из объект-центричных датасетов типа ImageNet.
Можно также делать few-shot learning (обучаем логрегрессию на фичах CLIP), но тут неожиданно оказывается, что zero-shot performance CLIP соответствует 4-shot при таком подходе, то есть 1- и 2-shot learning дают худший результат, чем вообще без такого дообучения.
Качество zero-shot learning скейлится с увеличением сложности модели (речь про картиночную часть), и видимо есть куда продолжать.
Отдельно от zero-shot изучали качество фич с помощью linear probing (обучаем линейный классификатор на фичах). В целом по 27 датасетам, на которых сравнивались, фичи ViT бьют фичи резнетов, а также фичи EfficientNet (+NoisyStudent), SimCLRv2, BYOL, MoCo, BiT-M и не только. Хорошие фичи, короче :)
Среди датасетов в основном различные классификации, от общих (типа ImageNet или CIFAR) до специальных (марки машин, виды растений, объекты на спутниковых снимках) или даже не очень классификаций (номера домов в SVNH, подсчёт объектов в CLEVR).
Подробно изучают устойчивость к distribution shift, показывают, что хотя до идеала далеко, модель всё равно ощутимо лучше многих перечисленных выше. Причём если начинать файнтюнить, то преимущество теряется. Возможно, это связано с тем, что при обучении на конкретном датасете модель всё-таки ловит какие-то spurious штуки, связанные с этим датасетом. CLIP эту проблему обходит.
Оба энкодера обучали с нуля, не загружая в них какие-либо претренированные веса. Нелинейных преобразований текстовых или картиночных эмбеддингов не было, трансформаций данных тоже, кроме случайных кропов для отмасштабированных картинок.
Самый толстый ViT обучался 12 дней на 256 V100, а RN50x64 — 18 дней на 592 V100.
Изначально были выложены версии CLIP с ViT-B/32 + RN50 (ResNet-50), затем в режиме постепенных выкладываний выложили RN101 и RN50x4, а в июле 2021 также выложили RN50x16 и ViT-B/16. Ну то есть более тяжёлой RN50x64 и самой нормальной ViT-L/14 и тем более ViT-L/14@336px нету (https://github.com/openai/CLIP/blob/main/clip/clip.py#L29).
OpenAI style.
Такое предобучение даёт неожиданно хорошие в плане zero-shot learning результаты и иногда сопоставимо с полностью supervised результатами. И собственно анализ этого и занимает большую часть работы.
При всей своей идейной и технической простоте модель получилась реально очень универсальная и с потенциально огромным количеством применений. Welcome to the age of Foundation Models (https://arxiv.org/abs/2108.07258).
Во-первых, модель можно использовать для классификации по заранее неопределённому числу классов. Заготоваливаете текстовые описания классов, а потом считаете близость эмбеддингов картинок к эмбеддингам этих классов и выбираете ближайший из всех. Или ещё лучше делаете промпт вида “A photo of a {label}” по нужным вам классам, и это даёт более высокое качество классификации. Или даже на “A photo of a {label}, a type of pet.” если релевантно, тогда ещё лучше. В общем здесь тоже как и в GPT-3 можно заниматься prompt engineering. Привет, Software 3.0. Или делаете разные промпты и ансамблируете, так тоже лучше.
Если сравнить с supervised бейзлайном на ResNet-50, то CLIP бьёт его на большом числе датасетов, а на STL10 вроде как даже получили новый SoTA без обучающих примеров. CLIP значительно превосходит бейзлайн на двух датасетах с разпознаванием действий. Авторы спекулируют, что supervision из тектовых описаний лучше работает для концепций с глаголами по сравнению с сигналом из объект-центричных датасетов типа ImageNet.
Можно также делать few-shot learning (обучаем логрегрессию на фичах CLIP), но тут неожиданно оказывается, что zero-shot performance CLIP соответствует 4-shot при таком подходе, то есть 1- и 2-shot learning дают худший результат, чем вообще без такого дообучения.
Качество zero-shot learning скейлится с увеличением сложности модели (речь про картиночную часть), и видимо есть куда продолжать.
Отдельно от zero-shot изучали качество фич с помощью linear probing (обучаем линейный классификатор на фичах). В целом по 27 датасетам, на которых сравнивались, фичи ViT бьют фичи резнетов, а также фичи EfficientNet (+NoisyStudent), SimCLRv2, BYOL, MoCo, BiT-M и не только. Хорошие фичи, короче :)
Среди датасетов в основном различные классификации, от общих (типа ImageNet или CIFAR) до специальных (марки машин, виды растений, объекты на спутниковых снимках) или даже не очень классификаций (номера домов в SVNH, подсчёт объектов в CLEVR).
Подробно изучают устойчивость к distribution shift, показывают, что хотя до идеала далеко, модель всё равно ощутимо лучше многих перечисленных выше. Причём если начинать файнтюнить, то преимущество теряется. Возможно, это связано с тем, что при обучении на конкретном датасете модель всё-таки ловит какие-то spurious штуки, связанные с этим датасетом. CLIP эту проблему обходит.
GitHub
CLIP/clip/clip.py at main · openai/CLIP
CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image - openai/CLIP
🔥2
Сравнивают поведение модели в режиме zero-shot и few-shot learning с поведением человека и показывают, что они существенно разные.
Смотрели, нет ли просачивания в предобучающий датасет каких-либо кусков оценочных датасетов и утверждают, что даже если и есть, то эффект от этого крайне слабый.
У модели есть куча ограничений, например, она не очень хороша на fine-grained классификации (типа марок машин) или на специальных задачах типа определения расстояния до машины. Или там MNIST она распознаёт хуже, чем даже какая-нибудь SVM заточенная на этот датасет. Да и промпты подбирать надо уметь.
В общем с одной стороны у модели очень интересное поведение (многие аспекты которого ещё только предстоит раскрыть), с другой стороны есть ещё к чему стремиться и куда развивать.
Из примеров видно, что появляется zero-shot альтернатива построению кастомных картиночных классификаторов. Для каких-то задач теперь получается можно создавать классификаторы с помощью prompt engineering, возможно, вообще минуя этап сбора датасета. В конечном счёте, наверное, всё равно придётся, но для быстрого старта и проверки гипотез хорошая опция. Да и более сложные модели со временем тоже появятся.
Очевидно также модель можно использовать для мультимодального информационного поиска.
Менее очевидно, но многообещающе модель можно использовать для различных артистических целей (CLIPDraw и вот это вот всё, про что у Лёши есть много интересного материала), например, в режие похожем на DeepDream. И наверняка есть ещё уйма применений, про которые ещё никто не догадался. Будет как с бертом, ждём расцвета сотен новых цветов и продуктов!
Смотрели, нет ли просачивания в предобучающий датасет каких-либо кусков оценочных датасетов и утверждают, что даже если и есть, то эффект от этого крайне слабый.
У модели есть куча ограничений, например, она не очень хороша на fine-grained классификации (типа марок машин) или на специальных задачах типа определения расстояния до машины. Или там MNIST она распознаёт хуже, чем даже какая-нибудь SVM заточенная на этот датасет. Да и промпты подбирать надо уметь.
В общем с одной стороны у модели очень интересное поведение (многие аспекты которого ещё только предстоит раскрыть), с другой стороны есть ещё к чему стремиться и куда развивать.
Из примеров видно, что появляется zero-shot альтернатива построению кастомных картиночных классификаторов. Для каких-то задач теперь получается можно создавать классификаторы с помощью prompt engineering, возможно, вообще минуя этап сбора датасета. В конечном счёте, наверное, всё равно придётся, но для быстрого старта и проверки гипотез хорошая опция. Да и более сложные модели со временем тоже появятся.
Очевидно также модель можно использовать для мультимодального информационного поиска.
Менее очевидно, но многообещающе модель можно использовать для различных артистических целей (CLIPDraw и вот это вот всё, про что у Лёши есть много интересного материала), например, в режие похожем на DeepDream. И наверняка есть ещё уйма применений, про которые ещё никто не догадался. Будет как с бертом, ждём расцвета сотен новых цветов и продуктов!
🔥1