Forwarded from Мишин Лернинг
🥑 DALL-E ждали? Всем ruDALL-E!
Высшая точка генерации text2image: DALL-E. В отличие от CLIP + (VQGAN / Diffusion / StyleGAN3), модели DALL-E изначально созданы (а не приспособлены) для генерации изображений из текста, архитектурно являясь GPT.
При обучении таких моделей большие изображения (256x256 или 512х512) сжимаются при помощи энкодеров dVAE или VQGAN до последовательности визуальных токенов (e.g.: 32x32). GPT теперь может работать как и текстовыми, так и с визуальными токенам. Это можно интерпретировать как последовательность, длинную строку.
Потом GPT-like архитектура принимает текстовое описание и учится генерировать эти визуальные токены, которые потом “проявляются” в высоком разрешении при помощи декодеров dVAE или VQGAN.
Запустить колаб и получить свою генерацию очень просто! Достаточно прейти по ссылке и, вписав что-то свое в поле текст (вместо text = 'изображение радуги на фоне ночного города’), выбрать Runtime -> Run all (среда выполнения -> выполнить все).
🔮colab 💻Git
Высшая точка генерации text2image: DALL-E. В отличие от CLIP + (VQGAN / Diffusion / StyleGAN3), модели DALL-E изначально созданы (а не приспособлены) для генерации изображений из текста, архитектурно являясь GPT.
При обучении таких моделей большие изображения (256x256 или 512х512) сжимаются при помощи энкодеров dVAE или VQGAN до последовательности визуальных токенов (e.g.: 32x32). GPT теперь может работать как и текстовыми, так и с визуальными токенам. Это можно интерпретировать как последовательность, длинную строку.
Потом GPT-like архитектура принимает текстовое описание и учится генерировать эти визуальные токены, которые потом “проявляются” в высоком разрешении при помощи декодеров dVAE или VQGAN.
Запустить колаб и получить свою генерацию очень просто! Достаточно прейти по ссылке и, вписав что-то свое в поле текст (вместо text = 'изображение радуги на фоне ночного города’), выбрать Runtime -> Run all (среда выполнения -> выполнить все).
🔮colab 💻Git
Очень крутой результат!
Тыкать тут, но нужно запастись терпением.
з.ы. вы не могли бы пока банкинг в сбере выключить, штоб быстрее картинки генерилиьс?
Тыкать тут, но нужно запастись терпением.
з.ы. вы не могли бы пока банкинг в сбере выключить, штоб быстрее картинки генерилиьс?
Для поддержания баланса фото и рисунков в мире я конвертирую обратно фотки из этого поста. AI-Thanos.
Сегодня я узнал, что все это время в colab/jupyter/python shell можно было вызывать функции через слеш, передавая аргументы без скобочек, разделяя пробелами.
/print 'FML' 'Facepalm' ':D'
/print 'FML' 'Facepalm' ':D'
Forwarded from Мишин Лернинг
👾 EfficientZero: Быстрый, Умный и Доступный RL
RL добился успеха во многих задачах. Однако известные методы требуют для обучения миллионов (или даже миллиардов) шагов.
В последнее время мы наблюдаем прогресс в разработке эффективных алгоритмов RL, но работа таких эффективных (по количеству семплов) алгоритмов не дотягивала до человеческого уровня даже в Atari
В пейпере предлагается RL модель основанная на MuZero, которую назвали EfficientZero.
Метод достигает 116% от медианной производительности человека в тесте Atari 100k всего за два часа игры в реальном времен!
Это первый раз, когда алгоритм достигает сверхчеловеческой производительности в играх Atari, используя относительно небольшой объём данных для обучения.
Производительность EfficientZero также близка к производительности DQN (200 миллионов кадров), при этом требует в 500 раз меньше семплов самой игры.
💻 code soon 📰 paper
RL добился успеха во многих задачах. Однако известные методы требуют для обучения миллионов (или даже миллиардов) шагов.
В последнее время мы наблюдаем прогресс в разработке эффективных алгоритмов RL, но работа таких эффективных (по количеству семплов) алгоритмов не дотягивала до человеческого уровня даже в Atari
В пейпере предлагается RL модель основанная на MuZero, которую назвали EfficientZero.
Метод достигает 116% от медианной производительности человека в тесте Atari 100k всего за два часа игры в реальном времен!
Это первый раз, когда алгоритм достигает сверхчеловеческой производительности в играх Atari, используя относительно небольшой объём данных для обучения.
Производительность EfficientZero также близка к производительности DQN (200 миллионов кадров), при этом требует в 500 раз меньше семплов самой игры.
💻 code soon 📰 paper