ИИ и создание 3D модели

Мы все мечтаем о Text-to-3D моделях: Neural3D реализовал демо, конечно пока далеко от продакшена, но двигаемся постепенно.

Кстати у нас в Phygital+ тоже есть модель ICON и 3D stylization, которые позволяют работать с 3D моделями

ИИ и мировые награды

Приятно, наш кейс с deepfake возрождением Родченко получил RedDot

ИИ в массы) демократизация с точки зрения использования продукта и показа возможностей

AI креаторы, нам нужна ваша помощь

Мы ищем AI энтузиаcтов / художников / гейм девелоперов, которые пользуются нашей AI Library и с нетерпением ждут Phygital+. Если что-то из этого про вас, мы хотим пригласить вас на небольшой разговор с нашей командой на 15 минут, чтобы помочь сделать наш продукт лучше и полезнее. Напишите нам, мы вам будем очень благодарны)

#кастдев #интервью

ИИ и 3D

NERF Factory проект, на котором представлены все NERF-модели

#gamedev #3dml

Метаверс ИИ

Интересная работа, где внутри Unity3D в VR с помощью голоса создаётся (именно создаётся) 3D модель

#metaverse

Всем привет!

Приглашаем на вебинар и AMA-сессию по использованию новых функций продукта Phygital+: Selfie (DreamBooth) и кастомных чекпоинтов.

В онлайн режиме вы сможете спросить у нас всё, что хотите знать про функционал, продукт и как с ним работать. Научим делать такие же крутые фиджитал селфи как на картинке всего за полчаса

Когда: 24 ноября в 16:00
Где: здесь в группе в формате видео стрима
Запись: будет доступна на YouTube
Язык: русский

Всех ждём 💜

P.S.: функция DreamBooth доступна Premium пользователям, в нее входит обучение на 10 объектах (людях, стилях, предметах) и генерация неограниченного количества изображений с каждым из них. У нас есть оплата с международных карт и с российских (стоимость 600 руб, в переводе указывать email) :)

🟣 ВАКАНСИЯ PHYGITAL+

Ищем суперкрутого Frontend Developer.

Мы развиваем самую большую библиотеку нейронных сетей для работы с графикой, разрабатываем AI инструмент, позволяющий креаторам создавать 2D & 3D контент с помощью Искусственного Интеллекта без кода.

Для нас важно, чтобы ты кайфовал от своей работы и понимал, что стартап это не про 5/2, у нас тут весело, непредсказуемо, много тестов, а перед выкатом релиза разработчиками становится вся команда.

Ладно, мы пошутили, но это не точно)

Если тебе нравится то, что мы делаем или у тебя есть знакомый, кто нам может подойти - вот описание вакансии.

Лайк и репост приветствуем.

Кстати, картинку к посту сгенерили в P+ и так наша нейронка видит фронтендера.
Ждем CV :)

3D Generative AI

Компания Physna описывает как они сделали прототип за 2 недели, который генерирует 3D модели. Внутри описывают чем это отличается от 2.5D подходов DreamFusion3D и NERFs

#metaverse

SD и 3D

Ничего не понятно, но очень интересно

Сервис обещает создавать текстуры для 3D, стилизовать и создавать модели под метаверс на основе текста (DreamFusion). Тестирую, пока результаты не понятны

Вам хочется такое? Для чего видите использование?

И то что я выше описал, если структурировать мы делим на два больших пункта
⁃ Расширенный взгляд на 3D (конкретно что 3D не просто форма, но имеет и функциональное представление отсюда новые подходы, такие как VizSim, что наше мышление меняется и становится 3D, а значит меняется дизайн и интерфейс взаимодействия, а также что постепенно это все переходит в реалтайм и для всего этого нужна новая наука, новые алгоритмы, новые подходы, новая эстетика, новый движок 3DML Engine)
⁃ Усиленный интеллект - чтобы с этим всем работать по-новому меняется наше взаимодействие - появляется необходимость в новом человеко-машинном интерфейсе NUE, который позволит работать с AI (и сейчас мы делаем акцент на Generative AI)

Далее для большего погружения выделю вещи, которые следует понимать, чтобы понимать куда двигается наш продукт и вообще область Generative AI: типы данных и формы представления, типы связей и типы преобразований.

4.1. Типы данных и формы представления
В первую очередь необходимо определить с какими типами данных мы работаем. Классический AI работает с текстом, кодом, табличными данными и векторами. В Generative AI добавляются к этим данным: audio, 2d images, 2D videos, 360 сферы, 3D данные. Которые в свою очередь делятся еще на геометрические (позволяющие работать с моделью как с некоторой геометрической моделью: облака точек, меши, воксельные, полигональные) и параметрические (позволяющие работать с моделью как с некоторой функциональной математической моделью: SDF, симуляции и т.п.)
Для того чтобы одни типы данных приводить к другим внутри у нас мы разрабатываем модуль трансфигурации данных

4.2. Типы связей
До того как появился хайп мы сами пытались определить эту область. И сделали акцент на разделение на работу с типами данных
⁃ Работа с 2d данными с помощью нейронных сетей для преобразования в 2D данные (текущие text-to-image модели, латентные пространства)
⁃ Работа с 2d данными с помощью нейронных сетей и 3D представления для преобразования в 2D данные (текущие text-to-image модели с картами глубины, нейронный рендеринг, генераторы синтетических данных)
⁃ Работа с 2d данными с помощью нейронных сетей для преобразования в 3D данные (текущие text-to-3D модели и 2d-to-3d модели)
⁃ Работа с 3d данными с помощью нейронных сетей для преобразования в 2D данные (модели upscale в 3D движках)
⁃ Работа с 3d данными с помощью нейронных сетей для преобразования в 3D данные (преобразования моделей)
⁃ Работа с 3d данными с помощью нейронных сетей и 3D для преобразования в 3D данные (VizSim, генераторы синтетических данных)

4.3. Типы преобразований
Вы можете за ними всеми следить у нас в библиотеке
⁃ Text-to-code / 2d/ video / 3d
⁃ 2d-to-text / video / 3d
⁃ 3d-to-text / 2d / video / 3d

Вот с этим базисом можно уже подходить к самим технологиям. Для начала можете прочитать наш цикл статей про 3DML

5. Технологии Generative AI. Базис

Конечно, за этим всем стоит большое количество разных подходов, архитектур, сетей, но я буду акцентировать внимание на основные моменты в контексте
- текущей работы с 2D
- переход к 3D
- и работы непосредственно с 3D.

А также что нас в компании больше всего интересует через фильтр CG, XR. Ну и писать буду в разрезе Data Business подхода, про энкодеры/ декодеры и тп мы делаем отдельные вебинары от наших технических специалистов.