SceneDreamer – генеративная модель, позволяющая получать бесконечные 3D сцены. Не уверен, что именно бесконечность является киллер фичей, но то, как получается сцена, довольно интересно.

У модели есть 3 основных блока:
1. Представление 3D сцены;
2. Генеративная параметризация;
3. И непосредственно рендерер, который может получать данные из датасета 2D изображений.

По сути сцена состоит из 3х кусков: это семантическое поле, карта высот и камера с волюметрическим рендерером.

Есть разные варианты генерации трёхмерных представлений, не нужно думать о том, что какой-то из вариантов станет доминирующим.

Наиболее живучие из них станут прикладными инструментами в пайплайнах. Если хотите поближе познакомиться с будущим, ныряйте в описание.

AI & UI / UX

Сегодня мы хотим не просто вдохновить вас, но и предложить реальную возможность использовать искусственный интеллект для работы.

Мы хотим предложить поучаствовать в развитии нами созданной системы BI в 3D с использованием нашего продукта P+.

Необходимо адаптировать под новый брендбук, создавать элементы дизайна, сторибоарды, панорамы, локации, эффекты используя искусственный интеллект.

Кому интересно с портфолио пишите на team@phygitalism.com

Ликбез по 3d для дата саентистов:

https://habr.com/ru/company/ods/blog/522836/

Вакансия - Backend Python Developer

Всем привет!
Мы создаем AI инструмент, позволяющий креаторам создавать 2D & 3D контент с помощью Искусственного Интеллекта без кода. Сейчас мы ищем Python разработчика, который поможет нам быстрее дать супервозможности всем создателям цифрового контента и приблизить будущее

Описание вакансии

Пишите на team@phygitalism.com

А сейчас мы видим развитие диффузионных моделей: диффузионные идут дальше и работают с новыми типами данных (видео), но я думаю на этом ограничится их развитие. Будут попытки все это упаковать в 3D - как Dreamfusion, но врядли это будет давать крутые результата.

После SD все забыли про GAN-сети, но и тут идет развитие GAN-моделей. Однако также пока не понятно как будет решаться вопрос оптимизации с 3D и реалтайм взаимодействием

Также учитывая битву за права на интеллектуальную собственность идущую прямо сейчас, провайдеры 3D-моделей не дадут просто так в отличии от провайдеров 2D обучать сетки на своих данных и поэтому простым тараном тут не обойтись, а получать хорошие результаты на 800тыс моделей (самый крупный открытый датаcет) вряд ли получится.

Поэтому я с оптимизмом смотрю на альтернативные варианты. Отдельно хочу выделить развитие GNN-моделей, которые уже непосредственно являются базисом многих БД, а также основой для GDL. И тут я как раз ожидаю прорыв для 3D.

Ожидаю появления новых классов генеративных моделей, но особенно интересно, как дальше изменятся трансформеры переклассифицируясь в полностью мультимодальные модели, когда все в одном (1, 2, 3)

Вместе с мультимодальностью идет Интероперабильность с точки зрения данных, весов, моделей,датасетов. Вместе же с этим идет новое развитие MLOps & DataOps инфраструктуры 2.0. И именно на это у нас больший уклон в продукте.

Параллельно с развитием новых архитектур и подходов идут работы по оптимизации моделей. К примеру, будет больше альтернативных вариантов градиентного спуска, как пример что мы делали с эвристическими алгоритмами еще в 2019 году..

Там где будут сложности решить софтом, будут решать железом - Новое оптимизированное железо, сейчас уже видна борьба нескольких подходов TPU (Google), GPU (Nvidia), IPU (Graphcore). Мало известно от Intel, но я думаю они также что-то готовят - возможно нейроморфные процессоры. Ну и не будет забывать про квантовые компьютеры. Ну лично мне интересны еще децентрализованные подходы (dGPU) и децентрализованная инфраструктура.

В общем, следите за развитием Phygital+ мы много чего интересного готовим)

Большой релиз новой версии Phygital+ 🤙

- Control Net в Phygital+ Управляйте позой персонажа, рисуйте по скетчу, используйте карту глубины и все это в одном инструменте, который дает удивительный результат🔥

- Magic Brush - теперь нарисовать маску для инпейтинга можно прямо внутри воркспейса

- Темплейты для Premium пользователей, которые закрывают весь пайплан по созданию персонажа от концептинга до генерации консистентного персонажа в разных позах

- Большой апдейт темплейтов: стикеры, подсказки, онбординг.

-Обновление Library : больше 1000+ нейронок с удобными фильтрами и семантическим поиском

- Вышел интересный вебинар про возможности ControlNet🚀

Полный релиз тут #release

Можно ли было предсказать появление Generative AI?

Да! У нашей компании есть концепция связи искусства, науки и бизнеса. Именно поэтому головная компания называется Phygitalism - то есть направление в искусстве. И учитывая все большее усложнение и ускорение мира и междисциплинарность - именно искусство помогает ориентироваться в этом мире.

С 2018 года по 2020 год мы сделали визуальное исследование Machine Vision - целью которого было описать тему Вычислительной фотографии, понять что такое Алгоритмическая эстетика и предсказать дальнейшее развитие человека-машинного взаимодействия, технологий компьютерного зрения и 3DML.

Здесь можете ознакомиться с исследованием, но главное интересно, что все что там представлено до сих пор актуально и именно это помогает правильно определять стратегию. В том числе появление Generative AI там также представлено.

В целях некоммерческой коллаборации если у вас есть желание присоединиться к обновлению исследования, пишите. Предупреждаю, это особенно сложно по-настоящему первыми разбираться в том, что потом становиться всем очевидным

Рассказали на DTF как используя силу 30 нейронных сетей создать игру

И напоминаем сегодня будет вебинар на тему использования в гейм-девелопменте и конкретно концепт-арте

GPT-4 вышел и он мультимодальный, как и ожидалось. Теперь осталось понять по размеру