3D Scene Graph

На основе фото/видео материалов строится семантический граф сцены, на котором представлены объекты, их атрибуты и отношения между ними.

В контексте данного проекта мы исследовали возможности подхода по построению 3D Scene Graph для облака точек. Позже представим как мы это используем в нашем продукте

Видео

Использование нейронных сетей внутри виртуальной реальности

Выше мы показывали как мы используем 3D и ML в связке для решения задач часто не требующих реал-тайм обработки.

Тут показываем пример как в VR мы симулируем работу моделей для классификации 3d-объектов

Видео
Сайт

Apple выложил в открытый доступ датасет ARkitScenes. Теперь подобные приложения будет делать ещё легче

Объекты, которые распознаёт RoomPlan от Apple

Визуальное исследование на тему развития технологий компьютерного зрения

В нем вы сможете изучить нашу интерпретацию как дальше нейронные сети и новые типы сенсоров будут менять то, как мы смотрим на мир. И причем тут 3DML)

Исследование 2019-2020 года и мы будем его продолжать, но и на данный момент все наши предположения из документа остаются актуальными)

Сайт

Стив Джобс разводящий руками, идущий вперед Алан Тьюринг, Танцующий Фреди Меркури - скоро все это просто на основе текста будет у вас в XR приложении, благодаря CLIP-Actor

Астрологи объявили неделю крутых papers, проектов, лекций по ИИ

CVPR начнётся на днях. И вот первый интересный семинар по использованию ИИ в графике

Нейронные сети для работы с текстом показывают нам впечатляющие результаты, вплоть до того что кто-то даже видит в них сознание 🙂

Текст это наиболее распространенный тип данных.
А данных все больше и навигировать по ним все сложнее, даже среди своих заметок. Для работы с неструктурированными данными в 2018 году реализовали систему семантического поиска. Иссследования с того времени заложены в разработку продукта

Как раз в контексте предыдущего поста: Модель позволяющая использовать в AR, робототехнике и диалогах мульти форматное взаимодействие: текст, визуальный образ и звук

Meta Labs Reality выпустили датасет с очков ARIA для ускорения разработок XR с помощью ML (тред)

Добавляем новый интересный лист Trending in 3D VISION

Unified-IO https://unified-io.allenai.org/
Мульти-модальная нейронная сеть: Работа с текстом, изображением в одном приложении

Больше 280 (!) нейронных сетей для работы с графикой на одном сайте

Мы сделали самую большую библиотеку нейронных сетей для работы с графикой. Она бесплатна и обновляется ежедневно - AI library by Phygital+

Внутри удобный поиск, описание, примеры и гуглколабы для ускорения работы креатора и повышения его воображения. Пишите обратную связь автору канала: что хотите добавить, какой функционал нужен.

А чтобы дать возможность всем освоить ИИ, скоро мы анонсируем серию открытых лекций и OpenCall для художников о том, как ИИ можно использовать в своих работах. Подписывайтесь)

А если хотите первыми получить доступ к нашему продукту, который соединил лучшие нейронные сети в одном удобном интерфейсе - добавляйтесь тут в waitlist

Мы недавно выложили в открытый доступ библиотеку AI LIBRARY by Phygital+ всех нейронок для работы с графикой, будем рады предложениям, идеям, добавлением новых

Помимо агрегации существующих нейронных сетей мы постоянно смотрим в будущее развитие технологий машинного обучения в графике.

И самое интересное применение будет в Реал-тайме (где-то уже оно идёт). Тут примеры совмещения (1, 2,3,4,5,6,7,8,9)

А это мы два года назад тестировали связку GauGAN + Unity3D и более того засунули это в VR. После будет работать с большим количеством fps и лучшим качеством - подписывайтесь на waitlist

Метаверс персонажи через ИИ

Пока нейросети не генерируют в хорошем качестве с текста в 3D, способ сделать из картинки 3D персонажа с текстурами через объединение сеток возможен.

Например, 3D Human from Photo - позволяет сделать генерацию через фотографию. При этом сам персонаж генерируется через DD, Midjourney, Dalle 2.

Затем создаем среду в Блендере, анимируем персонажей, дальше можно выводить для продакшена или переносить в Unity/Unreal engine.

Челлендж по реконструкции 3D объекта по видео от META

Лекции Phygital+ AI Lab запускаются!

Сегодня в 16:00 по Москве (уже через 40 мин)
Искусственный интеллект в графике и искусстве: возможности и тренды

Ссылка на трансляцию

Лекция на английском языке Phygital+ AI Lab!

Сегодня в 19:00 по Москве
Artificial intelligence in graphics and art: overview, opportunities and trends

Ссылка на трансляцию