Google AI заопенсорсили 2D\3D трекинг рук (одновременный трекинг нескольких рук, предсказание поз и прочее). Пдфка исследования здесь. Код здесь. Протестировать демо здесь.

Залипательное видео того, как CLIP в этих ваших <insert any architecture name here> + CLIP скорит картинки.

сорс

В реддите играются с нейронными фильтрами фотошопа и скайримом. На видео показано сравнение оригинала, и двух референсных картинок, та что менее зеленая выглядит намного круче с художественной точки зрения. Водичка вообще зачет.

Правда рендерилась вся эта красота 3 часа, но можно надеяться что когда-нибудь такую красоту мы сможем наблюдать в риалтайме, например с квантовыми чипами.

В идеале иметь набор из размеченных ассетов, вместо рисования текстур по геометрии, а дальше сетка сама будет понимать, что на картинке что и дорисовывать финальный вижн основываясь на паре атмосферных концептов.

Todd Howard: Should I release Skyrim for Photoshop? 🤔

Фраза "я заморозил модель и поменял ей голову" звучит нормально только в среде млщиков и в Питере.

TorchGeo - PyTorch‘овая библиотека от Microsoft, аналогичная torchvision. В ней есть наборы данных, преобразования, семплеры и предварительно обученные модели, специфичные для geospatial (ГИС) данных.

🖥 Код
📎 Статья

#earthscience #geo #ScientificML #library

CLIP guided diffusion practitioners hate this simple trick! You just need to...

За наводку спасибо @nn_for_science

Королева саспенса Catherine Crowson выкатила новую версию своего колаба CLIP guided diffusion.

Основное отличие в том, что на промежуточных стадиях генерации картинки семплы перед передачей в CLIP денойзятся второй небольшой diffuse моделью (в 100 раз меньше параметров, чем у основной).

Колба 512х512
Колаб 256х256

И на улице яблочников скоро будет праздник: пётрыч pytorch офицальне планирует добавить поддержку M1.
Скоро - это не ранее весны 2022 :D
Сорс

Тут товарищ Nikita Kiselov потестил Apple М1 в tensorflow.
tl;dr:
M1 Pro в два раза быстрее Tesla K80 (colab free), и в два раза медленнее Tesla P100 (colab pro)
M1 Max где-то быстрее P100, где-то на ее уровне.

Для сравнения: rtx 2080 super в 6 раз быстрее M1 Pro и в 3 раза - M1 Max. Ноут с ней стоит 1600 баксов.

Лонгрид тут

Лучший коммент в треде про бенчмарк Apple M1

⚡️OpenAI’s API Now Available with No Waitlist

Наконец-то OpenAI открыли публичный доступ к GPT-3. За время закрытого теста к нему добавили небольшие улучшения, такие как Instruct series models, которые лучше реагируют на промты. Кроме этого добавили в документацию safety best practices, которые рассказывают как сделать такую систему, которую нельзя будет атаковать очевидными способами.

Цена пока что кажется неплохой, по крайней мере ниже чем я ожидал. Самая большая модель стоит 6 центов за тысячу токенов. После регистрации вам дают $18, чего хватит для генерации 300 тысяч токенов.

Заходите на openai.com/api, регистрируйтесь и играйтесь с GPT-3 или Codex. Пишите что получается в чат, будет интересно узнать какие у людей в среднем впечатления.

Вышла публикация про новую архитектуру для Image-2-Image трансформеров: Restormer.

Все как обычно: прочат SOTA в denoising/deraining/deblurring и прочих низкоуровневых задачах. Любопытно будет посмотреть в более высокоуровневых задачах, типа апскейла и сегментации и прочих image2image.

Кода пока нет.

arXiv
Гит

О, а вот и superres демо другого трансформера подъехало.

Git
Демо

Ziva Dyamics запустила ZRT Face Trainer - свой облачный сервис обработки лиц, на машинном обучении, предназначенный для игр и работы в режиме реального времени.

Построен на базе библиотеки, содержащей более 15 ТБ данных 4D-сканирования + авториг + доступ к 72000 лицевых шейпов.

Бесплатный доступ на попробовать дают только некоторым счастливчикам, попробовать можно тут.

Nvidia выкатили онлайн демку GauGAN2. Это та, где можно было из скетча генерить пейзажи. Теперь в качестве вводных добавили и текст.
На картинке результат по запросу "ocean storm at sunrise", лол.

В целом забавно, но все-таки основная его фишка - генерация фото из скетча\маски сегментации и комбинирование разных условий.

Пост
Видео туториал

2009: There's an app for that.
2021: There's a colab for that.

Потыкал тут denigma.app
Эдакий copilot-наоборот - пишет развернутое объяснение на основе кода.

Если в мелочах, бывает, ошибается (особенно часто его сбивают с толку названия переменных), то в целом довольно неплохо описывает то, что делает код.

YOLaT: image recognition для векторных картинок (by Microsoft)

Похоже, это первая нейронка, которая может классифицировать и детектировать объекты в векторной графике без растеризации.

В отличие от пиксельных картинок, векторные состоят из аналитически выраженных геометрических фигур и, поэтому, их эквивалентное разрешение может быть бесконечным. Это делает невозможным использование стандартных методов image recognition.

Что предлагают авторы:
1. Преобразовать векторный файл в набор кривых Безье.
2. Кривые Безье превратить в ненаправленный мультиграф.
3. Запихнуть этот граф в графовую нейросеть.

Их метод демонстрирует state-of-the-art результат, работает в 100 раз быстрее, чем растеризация+CNN и требует в 25 раз меньше параметров.

Статья