1. Chat / Prompt -based
Самый говорящий пример Midjourney или Wombo, где у вас ничего особо нет кроме диалогового окна для написания промпта и создания картинки, вижу как промежуточный этап

2. Page-based
Тут тоже особо нечего говорить Google Colab, Hugginface, Replicate, Automatic1111 и любой сервис на основе SD для создания картинок. Понятный и логичный интерфейс для решения конкретной задачи.

3. LLM-based
Интересное наблюдение - наш основной вектор развития в области 3DML строился на типах данных и их представлении в пространстве, когда как скорее нужно было идти от представления через текст и латентного пространства, а не геометрического. И сейчас мы видим весь этот бум вокруг GPT-based подходов, который описывает целые миры просто текстом

Однако еще в 2018 году мы экспериментировали с текстом, но на тот момент не хватало трансформеров, мультимодальности, объемов данных да и мощностей для подобного рода прорыва. Поэтому переакцентировали внимание на CV / MV (да и вообще это ближе к графике, чем мы и занимались). И вот пример тестов на тот момент наиболее близкого совмещения пространственных и текстовых данных SSG (видео).

Однако, в будущем LLM-based подход будет интегрирован во все интерфейсы (как пример Notion AI и Mymind). Будущее самих LLM-based подходов я вижу в таких системах как HuggingGPT, которые смогут совместить все лучшие практики из предыдущих концепций и следующих

4. Chain-based
Параллельно идет развитие chain-based подходов к созданию удобных UI интерфейсов для работы с нейронными сетями.
Наиболее интересные на данный момент подходы предложили Langchain и Lamini, по сути это такие Zapier для AI. Тут основными концепциями выступают компоненты, цепи и агенты. Но это скорее удобные интерфейсы для технически подкованных специалистов и соответственно ограниченного количества целевой аудитории.

5. Node-based
Из примера выше для Langchain есть расширение Langflow, которое позволяет работать в нодовом интерфейсе, что позволит эти подходы вывести на больший круг аудитории.

Также недавно Google представил свое видение нодового интерфейса для работы с большим количеством нейронных сетей. И в рамках исследования показали, что решение задачи с помощью нодового интерфейса превосходит все предыдущие по времени решения.

Именно поэтому мы когда-то и сделали выбор в сторону данного подхода, однако это не значит что мы не будем меняться для предоставления лучшего опыта работы с ИИ, ведь наша задача сделать доступным AI для каждого, а нодовый интерфейс все таки еще обладает ограниченностью во входе не специалистов.

Однако для решения профессиональных задач, где требуется внедрение в бизнес-процесс и решение комплексной задачи по созданию контента на данный момент это наиболее удобный интерфейс.

Тут основными концепциями мы выделяем: нода, инпут/аутпут, пайплайн, шаблон, тип данных, связка преобразования (трансфигурация)

5. Canvas-based
Но рано или поздно мы продвинемся в сторону Canvas-based подходов. Наиболее интересным я выделю сейчас Fermat.ws и Miro AI

6. 3d / XR -based
Об этом пока совсем рано говорить, но JARVIS из Железного человека вот что будет по-настоящему нашим Усиленным Интеллектом. Наши концепты на этот счет 1 и 2

Чистый, без примесей, text-to-3D!

Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана!

Мне написал Макс П. из Synthesis AI и пригнал вот такую новость.

Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок.

Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы".

Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши.

Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!)

Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов.

В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть).

Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д!

Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого.

В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы.

Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты".

Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние.


https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/

3D Crowd Generation

Для создания толпы в 3D можно использовать уже сегодня AI, и конкретно все из этого кейса для подготовки ассетов в Blender можно сделать в Phygital+

В ролях
- SD
- ControlNet
- ICON (или более старый PiFu HD)
- Blender

#pipeline

Generative AI. Видение Phygital+

Решил собрать навигацию по постам относительно Generative AI, хочу перенести в линкедин / перевести / твиттер треды создать. А также если интересно что-то особенное в этой тематике, что хотелось бы раскрыть - пишите

- Часть 0. Компания будущего (1, 2, 3, 4)
- Часть 1 Новаторы
- Часть 2 Вижн
- Часть 3 Примеры движения в сторону вижна
- Часть 4 Технологии Generative AI. Теоретический Базис
- Часть 5 Технологии Generative AI. Базис
- Часть 6.1 Технологии Generative AI. Примеры преобразований. Часть 1 до 3D
- Часть 6.2 Технологии Generative AI. Примеры преобразований. Часть 2 c 3D
- Часть 7.1 Технологии Generative AI 3D. приземление 3DML. Часть 1
- Часть 7.2 Технологии Generative AI 3D. Использование ИИ для создания игр. Часть 2. Предпродакшн
- Часть 7.3 Технологии Generative AI 3D. Где учиться созданию контента с помощью ИИ?
- Часть 8 AI = Predictive AI + Generative AI
- Часть 9.1 ROI Generative AI. Зачем все это
- Часть 9.2. Generative AI. Вызовы бизнес-модели
- Часть 10.1 Generative AI. Что дальше? Предикшены, Технологии, Бизнес
- Часть 10.2 Generative AI. Битва за права (1, 2)
- Часть 10.3 Статистика по отрасли Generative AI
- Часть 11 Generative AI. Интерфейс взаимодействия с ИИ

Вакансия для создания будущего Generative AI - Backend Python Developer

Всем привет!
Мы создаем AI инструмент, позволяющий игровым студиям ускорить процесс производства контента в x25 раз с помощью Искусственного Интеллекта без кода.

Сейчас мы ищем Python разработчика, который поможет нам быстрее дать супервозможности всем создателям цифрового контента и приблизить будущее

Описание вакансии

Пишите на team@phygitalism.com

рассматриваем full/part time

Распределение фундаментальных моделей от крупнейших игроков в мире AI
- Microsoft изящно закрыли свои дыры в тексте и картинках
- Meta не зря потратили свои миллиарды (сопоставимые с программой Аполлон НАСА) на RealityLabs
- Apple уверен нас еще удивит

Мои мысли про Apple Vision Pro

На мой взгляд, Apple поспешили, то что они готовят что-то интересное в XR было понятно еще 10 лет назад, однако то что презентовали не является тем, что нужно рынку и они привыкли выходить на готовый рынок, а XR еще очень далек от этого.

Пара моментов
- Форм-фактор. На данный момент помимо технологических особенностей не вижу прорыва в этом у Apple. А также никто не задумывается о психологических и когнитивных факторах использования очков, и что может быть только в Калифорнии люди готовы надевать на себя это - они уже перебробовали микродозинг, все виды наркотиков и совершенно не понимают как работать с чувствами - поэтому подавай новую игрушку)
- Контент. В презентации не было показано ни одной причины зачем одевать очки, у меня Magic Leap к примеру с собой всегда - но я очень редко их надеваю, хотя опыт в них потрясающий. Учитывая текущий Generative AI хайп могли бы и показать некоторые примеры, которые сейчас все вокруг пытаются сформулировать и которыми мы давно занимаемся - когда AI помогает создавать контент в XR. И на самом деле даже Magic Leap интереснее показывает возможности, Apple правда может 2.8 триллиона долларов помогут добиться своего результата и экосистема разработчиков. Однако, мы видим как Meta из-за метаверса потеряла в цене минимум x2, а Microsoft почти или не почти закрыла Microsoft Hololens.
- Интерфейс. Понятно глаза, понятно трекинг рук. Самое интересное это Spatial Audio на мой взгляд
- Цена. 3500$ здрасьте)

Но в любом случае круто и мы постепенно двигаемся к фиджитал миру)

Вебинар по DreamBooth: обучи свою модель на стилях!

Завтра в 18:00 по МСК мы проведем вебинар на английском языке на нашем YouTube канале, где покажем, как добиться отличных результатов при создании ИИ-аватаров, используя кастомные модели. Поделимся нашими инсайтами и покажем больше сравнений обучения на самых популярных моделях SD

Мы ищем Unity разработчика на проект BI 3D – это как игра в жанре стратегии, только для реального бизнеса:)

С точки зрения арта в проекте прорабатываем визуализацию данных, иммерсивный сторителлинг, проводим XR эксперименты, а также даже внедряем GPT-модель для аналитиков.

Описание вакансии

⚡️ Ждем талантливых программистов

Мы ищем Unity разработчика на проект BI 3D – это как игра в жанре стратегии, только для реального бизнеса:)

С точки зрения арта в проекте прорабатываем визуализацию данных, иммерсивный сторителлинг, проводим XR эксперименты, а также даже внедряем GPT-модель для аналитиков.

Описание вакансии

⚡️ Ждем талантливых программистов

Бан ИИ-Искусства в Телеграме?

Телеграм ошибочно принял ИИ-сгенерированные изображения за настоящих девушек и ограничил доступ к основному каналу Phygital+. Все благодаря нашим ультра-реалистичным стилям PurePerfection.

Именно поэтому многие не могут видеть наши публикации c iOS устройств. Но мы не сдаемся и надеемся на вашу помощь:

📩 Отправьте короткий имейл (текст в комментариях) на адреса support@telegram.org, abuse@telegram.org с просьбой снять ограничения. Чем больше заявок, тем больше вероятность рассмотрения!

🙋 Возможно, Вы или Ваши знакомые работают в Telegram и могли бы помочь советом? Будем рады любой помощи!

Делитесь постом с друзьями – нам очень важна активность ИИ коммьюнити! Команда Phygital+ с вами уже 8 лет, и мы очень надеемся на поддержку!

P.S. Пока что Вы можете читать нас, изменив настройки внутри вашего приложения (инструкция в комментариях).