Посмотрела немного рекламный саммит Unity по AI. Главные векторы были обозначены такие:
1. Генерация синтетических данных с помощью фотореалистичного рендера. Здесь у меня возникает много вопросов, один из них — откуда брать 3д модели чтобы эти рендеры получать? Но на этой благодатной почве уже взошли стартапы. Кажется, что это имеет много смысла для генерации 3д данных, с 2д я думаю лучше ганы справятся в большинстве кейсов, 🤷🏻‍♀️ но я могу ошибаться. Cегментация облаков точек, симуляция данных с лидаров, а также depth estimation были среди показанных примеров.
2. Reinforcement learning.
Unity это изначально игровой движок, поэтому грех не лезть в RL и в создание окружений для ml-агентов. Проект ml-agents уже не первый год в разработке и ориентирован как на rl-рисечеров, так и на разработчиков игр, готовых добавить умных npc.
В тему развития npc также можно упомянуть о желании разработчиков юнити прикрутить последние наработки из nlp к генерации диалогов. Кроме прочего,
3. Robotic simulations.

FaceMagic: Real-Time Facial Detail Effects on Mobile

[Disney Research, ACM SIGGRAPH Asia 2020]
* project page
* youtube

We present a novel real-time face detail reconstruction method capable of recovering high quality geometry on consumer mobile devices.
Our system firstly uses a morphable model and semantic segmentation of facial parts to achieve robust self-calibration. We then capture fine-scale surface details using a patch-based Shape from Shading (SfS) approach. We pre-compute the patch-wise constant Moore–Penrose inverse matrix of the resulting linear system to achieve real-time performance.

У Disney research есть другая довольна давняя работа про sfs, не реал тайм с впечатляющими картинками.
#face_reconstruction #real_time