Пересобрал блокнот e4e + StyleCLIPglobal отсюда https://youtu.be/H4Kqbm1WirU с вольным переводом.
Позволяет конвертить лицо из диснеевского 3д-мультика в фото, и потом манипулировать чертами лица с помощью StyleCLIP.
На обычных мультфильмах получается довольно проклято :D

Как водится, добавил обработку пачки файлов (только для конвертиции toon->photo, а StyleCLIPglobal берет одну из обработанных фоток)
Потыкать тут: https://colab.research.google.com/drive/1DRQC1Ip--tl8cYkA8Vad816zSNsHJOIY?usp=sharing

исходный репо e4e: https://github.com/omertov/encoder4editing

Чот аж хрюкнул

🤖🏆 SimVLM - Новый CLIP

Представьте себе одну модель, которая может:
- Классифицировать фото
- Отвечать на вопросы по фото
- Дополнять текстовые описания
- Решать задачу «визуального обоснования»
- Выполнять мультимодальный перевод

А самое главное, делать все это в режиме zero-shot (обучение без обучения)!

Встречайте: SimVLM, который по факту является мультимодальной сетью Text + Image (как CLIP), с классической трансформер архитектурой. ViT+Bert энкодер + декодер GPT (см картинку поста).

Такой текстовый-визуальный претрейн сравнили с современными (SOTA) методами, включая, LXMERT, VL-T5, UNITER, OSCAR, Villa, SOHO, UNIMO и VinVL.

SimVLM превосходит все существующие модели и бьет SOTA по всем рассматриваемым задачам, часто со значительным отрывом.

Скоро сделаю подробный обзор архитектуры.

📄 paper

#sota #paper #multimodal #zeroshot #сохраненки

Рубрика #простити
Все уже видели эти неудачные дубли, но я думал, что чего-то все-таки не хватает.
И вот секретный ингредиент, наконец, найден!
Встречайте, derevnya dynamics.

Я уже как-то писал про софт под названием Vermillion.
Он создан художником из Ротердама Thomas van den Berge.

Для художников, которые не хотят заморачиваться с ритуалом натягивания холста, набором палитры и измазыванием в краске, потому что софт предназначен для VR. Т.е. вы получаете максимально близкие ощущения от процесса и максимально близкую имитацию материалов.

В идеале, конечно, закупиться цифровым стилусом и поставить перед собой мольберт, чтобы упираться во что-то.👺

Видео

⚠️ Нейросеть Codex от OpenAI: не нанимайте новых программистов!

Будущее наступило! Нейросеть Codex умеет переводить код с одного языка программирования на другой!

📽 Пример перевода кода с Python на Ruby

А помните орла, нарисованного в VR, из этого поста? Смотрите, как он круто смотрится через AR Хололенза на стене! Похоже, мои ожидания на счёт виртуального личного пространства сбудутся лет на 5 раньше 👾

Заходишь такой в модных AR очках к другу на хату, а у тебя бэкграундом подгружается виртуальный слой его квартирки с аниме гифками и данжен мастером на стенах.

Эх, Эпл, только дайте нормальный формфактор!