Королева саспенса Catherine Crowson выкатила новую версию своего колаба CLIP guided diffusion.

Основное отличие в том, что на промежуточных стадиях генерации картинки семплы перед передачей в CLIP денойзятся второй небольшой diffuse моделью (в 100 раз меньше параметров, чем у основной).

Колба 512х512
Колаб 256х256

И на улице яблочников скоро будет праздник: пётрыч pytorch офицальне планирует добавить поддержку M1.
Скоро - это не ранее весны 2022 :D
Сорс

Тут товарищ Nikita Kiselov потестил Apple М1 в tensorflow.
tl;dr:
M1 Pro в два раза быстрее Tesla K80 (colab free), и в два раза медленнее Tesla P100 (colab pro)
M1 Max где-то быстрее P100, где-то на ее уровне.

Для сравнения: rtx 2080 super в 6 раз быстрее M1 Pro и в 3 раза - M1 Max. Ноут с ней стоит 1600 баксов.

Лонгрид тут

Лучший коммент в треде про бенчмарк Apple M1

⚡️OpenAI’s API Now Available with No Waitlist

Наконец-то OpenAI открыли публичный доступ к GPT-3. За время закрытого теста к нему добавили небольшие улучшения, такие как Instruct series models, которые лучше реагируют на промты. Кроме этого добавили в документацию safety best practices, которые рассказывают как сделать такую систему, которую нельзя будет атаковать очевидными способами.

Цена пока что кажется неплохой, по крайней мере ниже чем я ожидал. Самая большая модель стоит 6 центов за тысячу токенов. После регистрации вам дают $18, чего хватит для генерации 300 тысяч токенов.

Заходите на openai.com/api, регистрируйтесь и играйтесь с GPT-3 или Codex. Пишите что получается в чат, будет интересно узнать какие у людей в среднем впечатления.

Вышла публикация про новую архитектуру для Image-2-Image трансформеров: Restormer.

Все как обычно: прочат SOTA в denoising/deraining/deblurring и прочих низкоуровневых задачах. Любопытно будет посмотреть в более высокоуровневых задачах, типа апскейла и сегментации и прочих image2image.

Кода пока нет.

arXiv
Гит

О, а вот и superres демо другого трансформера подъехало.

Git
Демо

Ziva Dyamics запустила ZRT Face Trainer - свой облачный сервис обработки лиц, на машинном обучении, предназначенный для игр и работы в режиме реального времени.

Построен на базе библиотеки, содержащей более 15 ТБ данных 4D-сканирования + авториг + доступ к 72000 лицевых шейпов.

Бесплатный доступ на попробовать дают только некоторым счастливчикам, попробовать можно тут.

Nvidia выкатили онлайн демку GauGAN2. Это та, где можно было из скетча генерить пейзажи. Теперь в качестве вводных добавили и текст.
На картинке результат по запросу "ocean storm at sunrise", лол.

В целом забавно, но все-таки основная его фишка - генерация фото из скетча\маски сегментации и комбинирование разных условий.

Пост
Видео туториал

2009: There's an app for that.
2021: There's a colab for that.

Потыкал тут denigma.app
Эдакий copilot-наоборот - пишет развернутое объяснение на основе кода.

Если в мелочах, бывает, ошибается (особенно часто его сбивают с толку названия переменных), то в целом довольно неплохо описывает то, что делает код.

YOLaT: image recognition для векторных картинок (by Microsoft)

Похоже, это первая нейронка, которая может классифицировать и детектировать объекты в векторной графике без растеризации.

В отличие от пиксельных картинок, векторные состоят из аналитически выраженных геометрических фигур и, поэтому, их эквивалентное разрешение может быть бесконечным. Это делает невозможным использование стандартных методов image recognition.

Что предлагают авторы:
1. Преобразовать векторный файл в набор кривых Безье.
2. Кривые Безье превратить в ненаправленный мультиграф.
3. Запихнуть этот граф в графовую нейросеть.

Их метод демонстрирует state-of-the-art результат, работает в 100 раз быстрее, чем растеризация+CNN и требует в 25 раз меньше параметров.

Статья

Там это, Microsoft решили подвинуть DALL-E на пьедестале text2image и еще в 7 задачах.

Встречайте: NUWAще
Говорят, что их детище превзошло DALL-E в задаче текст->изображение, а еще может в скетч->изображение, удаление объектов, дополнение картинки.
Причем не только восстанавливать нижнюю часть, как DALL-E, но и правую, и картинку из нескольких патчей (на эту тему совсем недавно была публикация)
Также может делать все это, но для видео, в том числе предсказывать следующие кадры.

Все благодаря новому attention-механизму - 3D Nearby Attention (3DNA)

Кода нет, поэтому пока верим на слово.
Гит
Публикация

В какое отделение Сбера обращаться, чтобы они обучили ruNUWA?

Нашел идеального диктора для нейромедузы. Кто запилит радио?
Модель от silero.ai, тыкать тут - @deepttsbot
Гит
Колаб Бая

⚡️Редактирование 2D текстур 3D моделей в Procreate

Возможно вы уже слышали про апдейт Procreate'a, который дает возможность работать с 3D моделями, а также изменять 2D текстуры и просматривать модели в дополненной реальности.

freya.arts сделала наглядный пример работы этой фичи, и это действительно супер юзабельно.

Подробнее о фиче в хэндбуке Procreate.

AR/VR Designer