И то что я выше описал, если структурировать мы делим на два больших пункта
⁃ Расширенный взгляд на 3D (конкретно что 3D не просто форма, но имеет и функциональное представление отсюда новые подходы, такие как VizSim, что наше мышление меняется и становится 3D, а значит меняется дизайн и интерфейс взаимодействия, а также что постепенно это все переходит в реалтайм и для всего этого нужна новая наука, новые алгоритмы, новые подходы, новая эстетика, новый движок 3DML Engine)
⁃ Усиленный интеллект - чтобы с этим всем работать по-новому меняется наше взаимодействие - появляется необходимость в новом человеко-машинном интерфейсе NUE, который позволит работать с AI (и сейчас мы делаем акцент на Generative AI)

Далее для большего погружения выделю вещи, которые следует понимать, чтобы понимать куда двигается наш продукт и вообще область Generative AI: типы данных и формы представления, типы связей и типы преобразований.

4.1. Типы данных и формы представления
В первую очередь необходимо определить с какими типами данных мы работаем. Классический AI работает с текстом, кодом, табличными данными и векторами. В Generative AI добавляются к этим данным: audio, 2d images, 2D videos, 360 сферы, 3D данные. Которые в свою очередь делятся еще на геометрические (позволяющие работать с моделью как с некоторой геометрической моделью: облака точек, меши, воксельные, полигональные) и параметрические (позволяющие работать с моделью как с некоторой функциональной математической моделью: SDF, симуляции и т.п.)
Для того чтобы одни типы данных приводить к другим внутри у нас мы разрабатываем модуль трансфигурации данных

4.2. Типы связей
До того как появился хайп мы сами пытались определить эту область. И сделали акцент на разделение на работу с типами данных
⁃ Работа с 2d данными с помощью нейронных сетей для преобразования в 2D данные (текущие text-to-image модели, латентные пространства)
⁃ Работа с 2d данными с помощью нейронных сетей и 3D представления для преобразования в 2D данные (текущие text-to-image модели с картами глубины, нейронный рендеринг, генераторы синтетических данных)
⁃ Работа с 2d данными с помощью нейронных сетей для преобразования в 3D данные (текущие text-to-3D модели и 2d-to-3d модели)
⁃ Работа с 3d данными с помощью нейронных сетей для преобразования в 2D данные (модели upscale в 3D движках)
⁃ Работа с 3d данными с помощью нейронных сетей для преобразования в 3D данные (преобразования моделей)
⁃ Работа с 3d данными с помощью нейронных сетей и 3D для преобразования в 3D данные (VizSim, генераторы синтетических данных)

4.3. Типы преобразований
Вы можете за ними всеми следить у нас в библиотеке
⁃ Text-to-code / 2d/ video / 3d
⁃ 2d-to-text / video / 3d
⁃ 3d-to-text / 2d / video / 3d

Вот с этим базисом можно уже подходить к самим технологиям. Для начала можете прочитать наш цикл статей про 3DML

5. Технологии Generative AI. Базис

Конечно, за этим всем стоит большое количество разных подходов, архитектур, сетей, но я буду акцентировать внимание на основные моменты в контексте
- текущей работы с 2D
- переход к 3D
- и работы непосредственно с 3D.

А также что нас в компании больше всего интересует через фильтр CG, XR. Ну и писать буду в разрезе Data Business подхода, про энкодеры/ декодеры и тп мы делаем отдельные вебинары от наших технических специалистов.

Но сначала снова базис. Для дальнейшего понимания сетей нужно понимать основные архитектуры и подходы, используемые сейчас в ML/DL
⁃ трансформеры
⁃ GAN
⁃ Диффузионные модели
⁃ NERFs
⁃ GNN
⁃ RL
⁃ GDL
⁃ Мультимодальные модели

Не буду на них останавливаться сильно, для этого есть гугл. Просто скажу наше видение, что каждая из этих архитектур хороша в определенной задаче. За несколько лет ведения бизнеса с ИИ мы поняли, что их между собой нужно комбинировать для получения международных наград и именно поэтому мы создаем среду, где вы без кода уже сейчас можете использовать их в одном месте при этом сохраняя интероперабельность данных. Это скорее всего нас приведёт в будущем к созданию мультимодальных архитектур, где будут совмещены различные архитектуры.

Но также это необходимо понимать, так как каждый из этих подходов комбинируется друг с другом уже сейчас и вытекает как матрешка друг из друга в дальнейшем. И чтобы к примеру понять что такое Stable Diffusion нужно понимать что такое трансформеры (на них базируется GPT как основной генеративный подход к созданию текстов), CLIP (который в свою очередь базируется на GPT подходе и обучении и переводит в одно пространство картинки и текст), разницу между GAN и диффузионной моделью (которая в свою очередь использует CLIP для создания картинок из шума и текста).

Поэтому следите за обновлениями в нашей библиотеке, где мы за вас собираем и классифицируем все в одном месте.

Coming soon

Привет, на связи команда Phygitalism

Мы уже более 7 лет работаем в области фиджитал. Компания Фиджитализм никогда не была просто студией разработки, мы манифестируем новое направление в искусстве и поэтому всегда проводили много мероприятий, писали статьи, вели этот телеграм канал.

С 2021 года мы фокусируемся на желании создать лучший инструмент для диджитал и фиджитал креаторов. Наша первоначальная миссия – предоставить доступ к возможностям Искусственного Интеллекта всем желающим.

Название нашего продукта Phygital+ показывает, что мы с вами уже живем в сплетении физического и цифрового мира. В канале произойдут незначительные изменения – название Phygital+Art и небольшой ребрендинг. В нем будет все больше и больше доступной информации по теме технологий: AI, XR, CG. Остальные наши каналы не будут закрыты, в них останутся только репосты из других интересных каналов для всех заинтересованных.

Спасибо и присоединяйтесь к сообществу P+ ✨

ИИ для точной генерации концепта в 3D-сцене

Проект, позволяющий работать с 3D-сценой для создания картинки. Скрин сцены берётся как входящее изображение для SD и вы можете работать как с инпейтингом, так и просто менять 3D-модель.

Выглядит интересно? Хотите работать с 3D и AI в вебе?

А также сегодня будет доклад от нашего креатора Дениса Киреева, как уже сейчас можно использовать ИИ для работы с 3D. До встречи)

#3d

60x компрессия

Данная работа приближает бум NERF-сетей, для того чтобы мы с вами использовали 2d-to-3d нейронные сети и творили еще больше.

Просто невероятная компрессия практически без ухудшения качества. Код доступен

🔥OpenAI выпустили прототип 3D DALL-E (называется Point-E) для генерации 3D объектов

Point-E еще не так хорош, как DreamFusion от Гугла, но очень шустрый! Генерация занимает примерно 600 раз меньше времени чем в DreamFusion. А еще OpenAI опубликовали код и веса (неужели).

Генерация 2D картинок уже далеко зашла. Теперь и 3D потихоньку подтягивается. Скоро увидим протесты 3D артистов 🌚.

@ai_newz

Вторая работа посвящена методу GeoCode - геокодированию на основе облака точек или скеча с последующей интерполяцией параметров. Обе работы затрагивают смежные области и дают представление, что мы получим +- в качестве рабочего инструмента.

Подробнее тут

AI LIBRARY: больше 700 нейронных сетей

И чтобы теперь не потеряться во всем этом потоке новостей про Generative AI мы выкатили супер функцию: сохранение нейронок в свои подборки 🚀

Теперь вы можете зарегистрироваться в Library. После логина в карточке любой нейронки или образовательного материала можно добавить его в личную коллекцию с комментарием, личным рейтингом чтобы всегда отслеживать и не терять 🙂 И не искать по фильтрам лишний раз)

P.S.: самым активным пользователям Library мы предоставим доступ к продукту Phygital+ AI Tool, а еще доступ к новым фичам и (ттсссс) возможно премиум, если вы супер-активный 🔥

Пишите если что-то хотите еще добавить)

#library #update

3D Asset Generation: AI for Game Development

Серия статей и разборов как уже сейчас можно использовать ИИ для геймдевелопмента
- Art Style
- Game Design
- 3D Assets
- 2D Assets
- Story


#gamedev

Время новостей от Phygital+ с релизом 0.8.7 🤙

– Добавили новый сервис по раскрашиванию черно-белых фотографий Colorizer

– Улучшили UI и UX: подправили отображение ноды Import files, теперь можно соединять сразу несколько файлов за одно движение и удалять связи между нодами по клику

– Интегрировали хоткеи и возможность копировать ноду с ее промптом

– Добавили больше 50 новых сервисов в AI Library, в которой уже больше 750 нейронок для работы с графикой. Также в нашей библиотоеке зарегистрировалось больше 150 человек и они уже создают свои личные подборки. Регистрируйтесь :)

– Запустили вторую AI Lab по созданию комиксов и провели еще три открытые лекции, посвященные Generative AI

– Делаем скидку на покупку Premium до 50% при оплате в январе, а также все, кто в нашем waitlist, получат на этой неделе доступ к продукту 🙏

Полный текст #релиз и ссылки ищите тут

Всем хорошего понедельника 💜

Objaverse — самый крупный датасет 3D-объектов

Чуваки из Allen AI Institute выложили в открытый доступ аннотированный датасет из 800k+ 3D-моделей с маркетплейса Sketchfab. Это на порядок больше, чем все предыдущие наборы.

Авторы пишут о нескольких потенциальных применениях:

- Новые модели для text-to-3D генерации.
- Более точное распознавание объектов в AR-приложениях.
- Поиск исходников для игр (уже прикрутили в Mirage).

Вебинар про возможности Generative AI для бизнеса

2022 год впечатлил взрывным ростом технологий Generative AI. Многие, наконец, поняли, что искусственный интеллект может дать ценность компаниям – ускорить процесс проверки гипотез, сократить косты на разработку, увеличить engagement, увеличить воронку лидов, увеличить стоимость акций компании. Самые передовые компании уже внедряют эти технологии.

Мы проведем практический вебинар для бизнес-коммьюнити про возможности ИИ. Будет интересная и нужная информация от нашего CEO Олега Юсупова про текущие возможности:
- chatGPT
- Stable Diffusion
- Dreambooth
- Synthetic Media
- и еще более 750 инструментов
а также что нас ждет в этом году в этой области

Информация будет актуальна для
- Креативных агентств и студии разработки контента
- Маркетинговых агентств, PR и SMM
- Game Developer companies
- Mobile Developer companies
- Companies with in-house design team

Вебинар хотим сделать платным, но бесплатным для премиум пользователей Phygital+ , интересно?

SceneDreamer – генеративная модель, позволяющая получать бесконечные 3D сцены. Не уверен, что именно бесконечность является киллер фичей, но то, как получается сцена, довольно интересно.

У модели есть 3 основных блока:
1. Представление 3D сцены;
2. Генеративная параметризация;
3. И непосредственно рендерер, который может получать данные из датасета 2D изображений.

По сути сцена состоит из 3х кусков: это семантическое поле, карта высот и камера с волюметрическим рендерером.

Есть разные варианты генерации трёхмерных представлений, не нужно думать о том, что какой-то из вариантов станет доминирующим.

Наиболее живучие из них станут прикладными инструментами в пайплайнах. Если хотите поближе познакомиться с будущим, ныряйте в описание.

AI & UI / UX

Сегодня мы хотим не просто вдохновить вас, но и предложить реальную возможность использовать искусственный интеллект для работы.

Мы хотим предложить поучаствовать в развитии нами созданной системы BI в 3D с использованием нашего продукта P+.

Необходимо адаптировать под новый брендбук, создавать элементы дизайна, сторибоарды, панорамы, локации, эффекты используя искусственный интеллект.

Кому интересно с портфолио пишите на team@phygitalism.com

Ликбез по 3d для дата саентистов:

https://habr.com/ru/company/ods/blog/522836/