ИИ для точной генерации концепта в 3D-сцене

Проект, позволяющий работать с 3D-сценой для создания картинки. Скрин сцены берётся как входящее изображение для SD и вы можете работать как с инпейтингом, так и просто менять 3D-модель.

Выглядит интересно? Хотите работать с 3D и AI в вебе?

А также сегодня будет доклад от нашего креатора Дениса Киреева, как уже сейчас можно использовать ИИ для работы с 3D. До встречи)

#3d

60x компрессия

Данная работа приближает бум NERF-сетей, для того чтобы мы с вами использовали 2d-to-3d нейронные сети и творили еще больше.

Просто невероятная компрессия практически без ухудшения качества. Код доступен

🔥OpenAI выпустили прототип 3D DALL-E (называется Point-E) для генерации 3D объектов

Point-E еще не так хорош, как DreamFusion от Гугла, но очень шустрый! Генерация занимает примерно 600 раз меньше времени чем в DreamFusion. А еще OpenAI опубликовали код и веса (неужели).

Генерация 2D картинок уже далеко зашла. Теперь и 3D потихоньку подтягивается. Скоро увидим протесты 3D артистов 🌚.

@ai_newz

Вторая работа посвящена методу GeoCode - геокодированию на основе облака точек или скеча с последующей интерполяцией параметров. Обе работы затрагивают смежные области и дают представление, что мы получим +- в качестве рабочего инструмента.

Подробнее тут

AI LIBRARY: больше 700 нейронных сетей

И чтобы теперь не потеряться во всем этом потоке новостей про Generative AI мы выкатили супер функцию: сохранение нейронок в свои подборки 🚀

Теперь вы можете зарегистрироваться в Library. После логина в карточке любой нейронки или образовательного материала можно добавить его в личную коллекцию с комментарием, личным рейтингом чтобы всегда отслеживать и не терять 🙂 И не искать по фильтрам лишний раз)

P.S.: самым активным пользователям Library мы предоставим доступ к продукту Phygital+ AI Tool, а еще доступ к новым фичам и (ттсссс) возможно премиум, если вы супер-активный 🔥

Пишите если что-то хотите еще добавить)

#library #update

3D Asset Generation: AI for Game Development

Серия статей и разборов как уже сейчас можно использовать ИИ для геймдевелопмента
- Art Style
- Game Design
- 3D Assets
- 2D Assets
- Story


#gamedev

Время новостей от Phygital+ с релизом 0.8.7 🤙

– Добавили новый сервис по раскрашиванию черно-белых фотографий Colorizer

– Улучшили UI и UX: подправили отображение ноды Import files, теперь можно соединять сразу несколько файлов за одно движение и удалять связи между нодами по клику

– Интегрировали хоткеи и возможность копировать ноду с ее промптом

– Добавили больше 50 новых сервисов в AI Library, в которой уже больше 750 нейронок для работы с графикой. Также в нашей библиотоеке зарегистрировалось больше 150 человек и они уже создают свои личные подборки. Регистрируйтесь :)

– Запустили вторую AI Lab по созданию комиксов и провели еще три открытые лекции, посвященные Generative AI

– Делаем скидку на покупку Premium до 50% при оплате в январе, а также все, кто в нашем waitlist, получат на этой неделе доступ к продукту 🙏

Полный текст #релиз и ссылки ищите тут

Всем хорошего понедельника 💜

Objaverse — самый крупный датасет 3D-объектов

Чуваки из Allen AI Institute выложили в открытый доступ аннотированный датасет из 800k+ 3D-моделей с маркетплейса Sketchfab. Это на порядок больше, чем все предыдущие наборы.

Авторы пишут о нескольких потенциальных применениях:

- Новые модели для text-to-3D генерации.
- Более точное распознавание объектов в AR-приложениях.
- Поиск исходников для игр (уже прикрутили в Mirage).

Вебинар про возможности Generative AI для бизнеса

2022 год впечатлил взрывным ростом технологий Generative AI. Многие, наконец, поняли, что искусственный интеллект может дать ценность компаниям – ускорить процесс проверки гипотез, сократить косты на разработку, увеличить engagement, увеличить воронку лидов, увеличить стоимость акций компании. Самые передовые компании уже внедряют эти технологии.

Мы проведем практический вебинар для бизнес-коммьюнити про возможности ИИ. Будет интересная и нужная информация от нашего CEO Олега Юсупова про текущие возможности:
- chatGPT
- Stable Diffusion
- Dreambooth
- Synthetic Media
- и еще более 750 инструментов
а также что нас ждет в этом году в этой области

Информация будет актуальна для
- Креативных агентств и студии разработки контента
- Маркетинговых агентств, PR и SMM
- Game Developer companies
- Mobile Developer companies
- Companies with in-house design team

Вебинар хотим сделать платным, но бесплатным для премиум пользователей Phygital+ , интересно?

SceneDreamer – генеративная модель, позволяющая получать бесконечные 3D сцены. Не уверен, что именно бесконечность является киллер фичей, но то, как получается сцена, довольно интересно.

У модели есть 3 основных блока:
1. Представление 3D сцены;
2. Генеративная параметризация;
3. И непосредственно рендерер, который может получать данные из датасета 2D изображений.

По сути сцена состоит из 3х кусков: это семантическое поле, карта высот и камера с волюметрическим рендерером.

Есть разные варианты генерации трёхмерных представлений, не нужно думать о том, что какой-то из вариантов станет доминирующим.

Наиболее живучие из них станут прикладными инструментами в пайплайнах. Если хотите поближе познакомиться с будущим, ныряйте в описание.

AI & UI / UX

Сегодня мы хотим не просто вдохновить вас, но и предложить реальную возможность использовать искусственный интеллект для работы.

Мы хотим предложить поучаствовать в развитии нами созданной системы BI в 3D с использованием нашего продукта P+.

Необходимо адаптировать под новый брендбук, создавать элементы дизайна, сторибоарды, панорамы, локации, эффекты используя искусственный интеллект.

Кому интересно с портфолио пишите на team@phygitalism.com

Ликбез по 3d для дата саентистов:

https://habr.com/ru/company/ods/blog/522836/

Вакансия - Backend Python Developer

Всем привет!
Мы создаем AI инструмент, позволяющий креаторам создавать 2D & 3D контент с помощью Искусственного Интеллекта без кода. Сейчас мы ищем Python разработчика, который поможет нам быстрее дать супервозможности всем создателям цифрового контента и приблизить будущее

Описание вакансии

Пишите на team@phygitalism.com

А сейчас мы видим развитие диффузионных моделей: диффузионные идут дальше и работают с новыми типами данных (видео), но я думаю на этом ограничится их развитие. Будут попытки все это упаковать в 3D - как Dreamfusion, но врядли это будет давать крутые результата.

После SD все забыли про GAN-сети, но и тут идет развитие GAN-моделей. Однако также пока не понятно как будет решаться вопрос оптимизации с 3D и реалтайм взаимодействием

Также учитывая битву за права на интеллектуальную собственность идущую прямо сейчас, провайдеры 3D-моделей не дадут просто так в отличии от провайдеров 2D обучать сетки на своих данных и поэтому простым тараном тут не обойтись, а получать хорошие результаты на 800тыс моделей (самый крупный открытый датаcет) вряд ли получится.

Поэтому я с оптимизмом смотрю на альтернативные варианты. Отдельно хочу выделить развитие GNN-моделей, которые уже непосредственно являются базисом многих БД, а также основой для GDL. И тут я как раз ожидаю прорыв для 3D.

Ожидаю появления новых классов генеративных моделей, но особенно интересно, как дальше изменятся трансформеры переклассифицируясь в полностью мультимодальные модели, когда все в одном (1, 2, 3)

Вместе с мультимодальностью идет Интероперабильность с точки зрения данных, весов, моделей,датасетов. Вместе же с этим идет новое развитие MLOps & DataOps инфраструктуры 2.0. И именно на это у нас больший уклон в продукте.

Параллельно с развитием новых архитектур и подходов идут работы по оптимизации моделей. К примеру, будет больше альтернативных вариантов градиентного спуска, как пример что мы делали с эвристическими алгоритмами еще в 2019 году..

Там где будут сложности решить софтом, будут решать железом - Новое оптимизированное железо, сейчас уже видна борьба нескольких подходов TPU (Google), GPU (Nvidia), IPU (Graphcore). Мало известно от Intel, но я думаю они также что-то готовят - возможно нейроморфные процессоры. Ну и не будет забывать про квантовые компьютеры. Ну лично мне интересны еще децентрализованные подходы (dGPU) и децентрализованная инфраструктура.

В общем, следите за развитием Phygital+ мы много чего интересного готовим)