Кстати, можете оценить результаты наших экспериментов с этой архитектурой =)

Привет, 3D машин лёрнеры! В сегодняшнем воскресном посте осветим облачную платформу NVIDIA Omniverse!

В двух словах, эта платформа служит для разработки собственных 3D инструментов и приложений, в том числе на базе технологий NVIDIA AI, PhysX и RTX Rendering. Помимо этого, Omniverse предоставляет возможности совместного рил-тайм редактирования 3D сцен и бесшовной интеграции широкого спектра уже существующих продуктов, например, экосистем Adobe и Autodesk.

Среди уже реализованных приложений с привкусом 3D ML сейчас отметим лишь Omniverse Machinima, которое позволяет анимировать в рил-тайме не только тела персонажей путем оценки позы человека по видео, но и лица персонажей исключительно по голосу человека.

Особенности платформы:
— Совместное создание и хранение в облаке виртуальных миров благодаря Omniverse Nucleus
— Синхронизация инструментов создания цифрового контента, а также конвертация 3D ассетов в формат USD благодаря Omniverse Connectors
— Планирование запуска в облаке таких задач как генерация синтетических данных, физическая симуляция и рендеринг сцен благодаря Omniverse Farm
— Разработка Python расширений с возможностью кастомизации дефолтного редактора сцен OmniUI, а также создание микросервисов для автоматизации задач благодаря Omniverse Kit
— Cоздание физических симуляций для тестирования как виртуальных реплик роботов, так и цифровых двойников целых фабрик благодаря Omniverse Simulation

А какое Omniverse приложение хотели бы увидеть вы? Делитесь идеями в комментариях, а мы пока продолжим обозревать экосистему NVIDIA!

Привет будущим метаверсерам!)

Помните мы писали как исследователь из Google Ajay Jain экспериментирует с совмещением CLIP и NeRF? Так вот, у него с коллегами вышла статья “Zero-Shot Text-Guided Object Generation with Dream Fields” в которой они оформили свои эксперименты в виде окончательной архитектуры.

Что делает архитектура? >>> Генерирует 3D модель (в виде radience field, не зависящей от позиции камеры) по тексту.

Если совсем кратко что тут происходит? >>> CLIP + NeRF + DALLE

Есть код? >>> пока нет

С точки зрения качества, можете оценить видео на странице проекта и обалдеть от разнообразия генерируемых моделей. Для будущего METAVERSE и развития XR эта модель важный шаг, так как она позволяет генерировать качественный 3D контент из текстового описания.

Авторы оценили создания одной модели на Google Cloud в 3$ и 1 час. А как вы думаете, когда мы достигнем Real-time генерации 3D контента?)

Привет, коллеги!

Про 2D style transfer на картинках слышали все, а вот в области 3D style transfer на сегодняшний день не очень много заметных работ. Самой свежей в этом направлении является StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions.

Как работает? >> на вход принимает RGB-D скан помещения + картинку с желаемым стилем, на выходе текстура для первоначального скана. Выигрывает у конкурентов за счет хитрых функций потерь и приемов из проективной геометрии.

Есть код? >> пока нет 😢

По сравнению с предыдущими работами, в данной нет временных и пространственных шумов, а также текстуры лучше ложатся на сложные поверхности, хотя Stylizing 3D Scene via Implicit Representation and HyperNetwork может составить конкуренцию (тоже нет кода 😢). Определенно, если код появится в открытом доступе, можно будет забабахать классное арт приложение для iOS устройств с глубинными камерами.

А знаете ли вы удачные примеры 3D Style transfer? Делитесь в комментариях =)

Привет, коллеги!

Наткнулись тут на этот пост про style transfer на скриншотах из майнкрафт. Больше примеров можно найти в Twitter аккаунте автора. Денис предположил, что это NVIDIA GauGAN-2 и мы с ним в полной мере согласны =)


На это указывает пример генерации изображений по скриншотам, на которых были элементы игрового интерфейса (на стилизованных изображениях он виден), а это значит, что нейронка для стилизации на вход принимает изображение и каждому цвету пикселя ставит в соответствие цвет маски класса объекта (Если бы это был gancraft, то мы бы скорее всего любовались на гифки, а не на картинки и не наблюдали бы влияние интерфейса).

По поводу того как это сделано: скорее всего сначала цвету каждого пикселя ставится в соответствие цвет маски класса (несложное хеширование), а уже из получившейся маски, генерируется стилизованное изображение.

Кстати, упомянутый выше Twitter - хороший пример цифрового искусства, в котором нейронные сети сегодня играют не последнюю роль. У нас на эту тему сегодня вышел кейс на Behance: “Abstract art & artificial intelligence”, в котором наши CG художники с помощью нашего же продукта Phygital+ экспериментировали с творчеством на основе глубоких моделей, обученных на картинах художницы Татьяны Плаховой (Complexity Graphics).

Вот такая сегодня смесь reverse engineering и neural art 😁 Делитесь в комментариях вашими историями про reverse engineering в машинном обучении или про то, что вы думаете про будущее криэйторов, которые будут творить совместно с нейронными сетями и другими проявлениями ИИ.

Привет, коллеги!

Надеемся ваши праздники прошли хорошо. Начало года - не только время запуска новых проектов, но и повод подвести итоги ушедшего года. Собрали для вас несколько сборных заметок и видео с итогами в разных областях науки.

1. Итоги года науки от журнала Quanta Magazine.
1.1 Математика и компьютерные науки - здесь вас точно покорит нейронная сеть бесконечной ширины 😱
1.2 Физика - суперкомпьютеры помогли понять что стандартная модель не совсем верна 😳
1.3 Нейробиология и биология - развитие новой парадигмы устройства мозга, отходящей от традиционной “карты регионов”

2. Научные итоги года от Медузы - итоги журналов Nature и Science + выбор научного редактора Медузы.

3. Итоги года от TJournal - здесь вам и про майнеров и про метавселенную и про VR, как мы любим)

4. Ну и совсем для ̶л̶е̶н̶и̶в̶ы̶х̶ торопящихся - топ 10 инноваций года в одном Тик Ток клипе.

Хотели бы отдельно увидеть топ достижений в 3D ML в 2021 году? 😉

P.S. пишите в комментариях какой научный прорыв впечатлил вас.

Привет, друзья исследователи метаверс эпохи!

Каждый день выходят сотни статей, постов, репозиториев с новыми моделями, фреймворками и пр. Иногда хочется остановить этот бешеный темп и прочитать/послушать/потыкать во что-то фундаментальное/вечное/доброе (желательно не китайские статьи).

В таком случае, самое время послушать отца основателя машинного обучения, лауреата премии Тьюринга, изобретателя сверточных нейронных сетей и со-изобретателя 3D ML - Яна Лекуна.

На канале Лекса Фридмана недавно вышел второй большой подкаст с Лекуном (первый подкаст), в котором были затронуты очень много интересных и актуальных топиков: Self-supervised learning, почему изображения и 3D сложнее текста для глубоких сетей, три вызова в ИИ, советы начинающим исследователям и многое другое.

Если вы не любитель длинных видео, то хотим посоветовать вам тик-ток аккаунт @artembondar03 - крутые и глубокие инсайды из мира глубокого обучения (и кеки про повседневность дата саентистов).

Делитесь вашими любимыми интервью в комментах

Привет, коллеги!

Тема творчества с помощью методов машинного обучения в последние годы стала очень актуальной. Любой уважающий себя creative coder имеет набор из минимум 10 нейронок, обернутых в коллаб (кстати про наш продукт, который ускорит процесс creative coding) с которыми непрерывно экспериментируют (здесь примеры наших экспериментов, а здесь целый канал про это направление).

Одной из самых красивых генеративных глубоких моделей последнего времени является Disco Diffusion (если вам интересна теоретическая подоплека диффузионных моделей, есть вот такая статья). Сообщество активно добавляет новый функционал к данной модели. Текущая версия - 4.1. способна выдавать анимации с псевдо-пролетом камеры сквозь сцену (пролет имитируется за счет кропов и сдвигов каждого кадра, который является основой для генерации дальнейшего кадра).

По сути, такой подход с псевдо-пролетом, является альтернативой к моделям, которые делают честный пролет по 3D сцене и используют семантические маски видимых в кадре объектов (например GANCRAFT или GAUGAN + Unity).

Вопрос к вам коллеги исследователи, как вы думаете, какой подход для генерации роликов с пролетом камеры может появится еще в ближайшее время?

Вакансия - Middle Machine Learning Engineer (project)

Всем привет!
Мы работаем в проекте, где используем технологии машинного обучения для работы с LiDAR-облаками точек. Сейчас мы ищем на проект разработчика, готового работать с передовыми технологиями.

О проекте и 3DML подходах

Описание вакансии

Кому интересно, пишите мне в личку

Вакансия - Backend Python Developer (part-time)

Всем привет!
Мы создаем AI инструмент, позволяющий креаторам создавать 2D & 3D контент с помощью Искусственного Интеллекта без кода. Сейчас мы ищем Python разработчика на парт тайм, который поможет нам быстрее дать супервозможности всем создателям цифрового контента и приблизить будущее метаверс)

Описание вакансии

Пишите мне в личку

Продолжение постов про генерацию из текста 3D мешей, Clipmatrix (тут коллаб) наконец-то стал доступен.

Всем быстро тестить, а кто хочет с потрясающим интерфейсом, то регистрируйтесь на Phygital+

А ещё напоминаю мы ищем разработчиков в команду (python backend, 3D ML engineer)

STATE OF THE ART NEURAL RENDERING

Ребята второй год собирают лучшие прорывы в области нейронного рендеринга в один пэпер)

Читаем, вдохновляемся, реализовываем.

Если будет интересно ставьте лайки, комментарии - сделаем наш Phygital Science для обсуждения статьи

Использование генератора синтетических данных для задачи дефектоскопии на основе DL подходов

Проект
Статья

Ну и где вы видели такой красивый Behance под промышленный проект?