ИИ и 3D

NERF Factory проект, на котором представлены все NERF-модели

#gamedev #3dml

Метаверс ИИ

Интересная работа, где внутри Unity3D в VR с помощью голоса создаётся (именно создаётся) 3D модель

#metaverse

Всем привет!

Приглашаем на вебинар и AMA-сессию по использованию новых функций продукта Phygital+: Selfie (DreamBooth) и кастомных чекпоинтов.

В онлайн режиме вы сможете спросить у нас всё, что хотите знать про функционал, продукт и как с ним работать. Научим делать такие же крутые фиджитал селфи как на картинке всего за полчаса

Когда: 24 ноября в 16:00
Где: здесь в группе в формате видео стрима
Запись: будет доступна на YouTube
Язык: русский

Всех ждём 💜

P.S.: функция DreamBooth доступна Premium пользователям, в нее входит обучение на 10 объектах (людях, стилях, предметах) и генерация неограниченного количества изображений с каждым из них. У нас есть оплата с международных карт и с российских (стоимость 600 руб, в переводе указывать email) :)

🟣 ВАКАНСИЯ PHYGITAL+

Ищем суперкрутого Frontend Developer.

Мы развиваем самую большую библиотеку нейронных сетей для работы с графикой, разрабатываем AI инструмент, позволяющий креаторам создавать 2D & 3D контент с помощью Искусственного Интеллекта без кода.

Для нас важно, чтобы ты кайфовал от своей работы и понимал, что стартап это не про 5/2, у нас тут весело, непредсказуемо, много тестов, а перед выкатом релиза разработчиками становится вся команда.

Ладно, мы пошутили, но это не точно)

Если тебе нравится то, что мы делаем или у тебя есть знакомый, кто нам может подойти - вот описание вакансии.

Лайк и репост приветствуем.

Кстати, картинку к посту сгенерили в P+ и так наша нейронка видит фронтендера.
Ждем CV :)

3D Generative AI

Компания Physna описывает как они сделали прототип за 2 недели, который генерирует 3D модели. Внутри описывают чем это отличается от 2.5D подходов DreamFusion3D и NERFs

#metaverse

SD и 3D

Ничего не понятно, но очень интересно

Сервис обещает создавать текстуры для 3D, стилизовать и создавать модели под метаверс на основе текста (DreamFusion). Тестирую, пока результаты не понятны

Вам хочется такое? Для чего видите использование?

И то что я выше описал, если структурировать мы делим на два больших пункта
⁃ Расширенный взгляд на 3D (конкретно что 3D не просто форма, но имеет и функциональное представление отсюда новые подходы, такие как VizSim, что наше мышление меняется и становится 3D, а значит меняется дизайн и интерфейс взаимодействия, а также что постепенно это все переходит в реалтайм и для всего этого нужна новая наука, новые алгоритмы, новые подходы, новая эстетика, новый движок 3DML Engine)
⁃ Усиленный интеллект - чтобы с этим всем работать по-новому меняется наше взаимодействие - появляется необходимость в новом человеко-машинном интерфейсе NUE, который позволит работать с AI (и сейчас мы делаем акцент на Generative AI)

Далее для большего погружения выделю вещи, которые следует понимать, чтобы понимать куда двигается наш продукт и вообще область Generative AI: типы данных и формы представления, типы связей и типы преобразований.

4.1. Типы данных и формы представления
В первую очередь необходимо определить с какими типами данных мы работаем. Классический AI работает с текстом, кодом, табличными данными и векторами. В Generative AI добавляются к этим данным: audio, 2d images, 2D videos, 360 сферы, 3D данные. Которые в свою очередь делятся еще на геометрические (позволяющие работать с моделью как с некоторой геометрической моделью: облака точек, меши, воксельные, полигональные) и параметрические (позволяющие работать с моделью как с некоторой функциональной математической моделью: SDF, симуляции и т.п.)
Для того чтобы одни типы данных приводить к другим внутри у нас мы разрабатываем модуль трансфигурации данных

4.2. Типы связей
До того как появился хайп мы сами пытались определить эту область. И сделали акцент на разделение на работу с типами данных
⁃ Работа с 2d данными с помощью нейронных сетей для преобразования в 2D данные (текущие text-to-image модели, латентные пространства)
⁃ Работа с 2d данными с помощью нейронных сетей и 3D представления для преобразования в 2D данные (текущие text-to-image модели с картами глубины, нейронный рендеринг, генераторы синтетических данных)
⁃ Работа с 2d данными с помощью нейронных сетей для преобразования в 3D данные (текущие text-to-3D модели и 2d-to-3d модели)
⁃ Работа с 3d данными с помощью нейронных сетей для преобразования в 2D данные (модели upscale в 3D движках)
⁃ Работа с 3d данными с помощью нейронных сетей для преобразования в 3D данные (преобразования моделей)
⁃ Работа с 3d данными с помощью нейронных сетей и 3D для преобразования в 3D данные (VizSim, генераторы синтетических данных)

4.3. Типы преобразований
Вы можете за ними всеми следить у нас в библиотеке
⁃ Text-to-code / 2d/ video / 3d
⁃ 2d-to-text / video / 3d
⁃ 3d-to-text / 2d / video / 3d

Вот с этим базисом можно уже подходить к самим технологиям. Для начала можете прочитать наш цикл статей про 3DML

5. Технологии Generative AI. Базис

Конечно, за этим всем стоит большое количество разных подходов, архитектур, сетей, но я буду акцентировать внимание на основные моменты в контексте
- текущей работы с 2D
- переход к 3D
- и работы непосредственно с 3D.

А также что нас в компании больше всего интересует через фильтр CG, XR. Ну и писать буду в разрезе Data Business подхода, про энкодеры/ декодеры и тп мы делаем отдельные вебинары от наших технических специалистов.

Но сначала снова базис. Для дальнейшего понимания сетей нужно понимать основные архитектуры и подходы, используемые сейчас в ML/DL
⁃ трансформеры
⁃ GAN
⁃ Диффузионные модели
⁃ NERFs
⁃ GNN
⁃ RL
⁃ GDL
⁃ Мультимодальные модели

Не буду на них останавливаться сильно, для этого есть гугл. Просто скажу наше видение, что каждая из этих архитектур хороша в определенной задаче. За несколько лет ведения бизнеса с ИИ мы поняли, что их между собой нужно комбинировать для получения международных наград и именно поэтому мы создаем среду, где вы без кода уже сейчас можете использовать их в одном месте при этом сохраняя интероперабельность данных. Это скорее всего нас приведёт в будущем к созданию мультимодальных архитектур, где будут совмещены различные архитектуры.

Но также это необходимо понимать, так как каждый из этих подходов комбинируется друг с другом уже сейчас и вытекает как матрешка друг из друга в дальнейшем. И чтобы к примеру понять что такое Stable Diffusion нужно понимать что такое трансформеры (на них базируется GPT как основной генеративный подход к созданию текстов), CLIP (который в свою очередь базируется на GPT подходе и обучении и переводит в одно пространство картинки и текст), разницу между GAN и диффузионной моделью (которая в свою очередь использует CLIP для создания картинок из шума и текста).

Поэтому следите за обновлениями в нашей библиотеке, где мы за вас собираем и классифицируем все в одном месте.

Coming soon

Привет, на связи команда Phygitalism

Мы уже более 7 лет работаем в области фиджитал. Компания Фиджитализм никогда не была просто студией разработки, мы манифестируем новое направление в искусстве и поэтому всегда проводили много мероприятий, писали статьи, вели этот телеграм канал.

С 2021 года мы фокусируемся на желании создать лучший инструмент для диджитал и фиджитал креаторов. Наша первоначальная миссия – предоставить доступ к возможностям Искусственного Интеллекта всем желающим.

Название нашего продукта Phygital+ показывает, что мы с вами уже живем в сплетении физического и цифрового мира. В канале произойдут незначительные изменения – название Phygital+Art и небольшой ребрендинг. В нем будет все больше и больше доступной информации по теме технологий: AI, XR, CG. Остальные наши каналы не будут закрыты, в них останутся только репосты из других интересных каналов для всех заинтересованных.

Спасибо и присоединяйтесь к сообществу P+ ✨

ИИ для точной генерации концепта в 3D-сцене

Проект, позволяющий работать с 3D-сценой для создания картинки. Скрин сцены берётся как входящее изображение для SD и вы можете работать как с инпейтингом, так и просто менять 3D-модель.

Выглядит интересно? Хотите работать с 3D и AI в вебе?

А также сегодня будет доклад от нашего креатора Дениса Киреева, как уже сейчас можно использовать ИИ для работы с 3D. До встречи)

#3d