Невероятно, что вытворяет Pikalabs. Они сейчас единственные, кто выдаёт настолько качественный контент.

Уже чувствуется острая потребность в плагинах в стиле Controlnet с поддержкой мокапа лица и возможностью управлять камерой.

Университет Компьютерной графики Юты изобрел свой Nanite для ускорения и сокращения требуемых ресурсов для вычислений при рендеринге.

Адаптивное лодирование в зависимости от расстояния до камеры. В общем, та же история, только при виде сбоку.

Иногда хочется, чтобы прогресс в некоторых областях шел быстрее. Сколько можно заниматься "monkey job" и тратить человеческий ресурс на бессмысленные действия? Мы, к сожалению, упираемся в приоритеты при разработке инхаус движков, чтобы сделать это стандартом и забыть об этой технической стороне. Но подвижки есть, поверьте)

Сорс

Несмотря на то, что экономика хайпа делает скорее зло, чем добро в неумелых руках, AR индустрия продолжает работать над ошибками даже на низких оборотах.

Одной из главных проблем является слабая аппаратная часть, не способная делать "сложные" PBR просчеты и другие множественные вычисления в реальном времени, такие как трекинг с использованием различных технологий, костылей и хитростей.

И в таких случаях мы вынуждены будем прибегать к облачным вычислениям. Только в этом случае результат становится хоть сколько-то сносным.

Вопрос лишь в том, придут ли облака на время, или нам уже не позволят выполнять все это локально? Не очень хочется и тут отдавать ЦОДам скрытые проценты.

Google запрыгнул в AI Train. Вслед за Bing, они предоставили возможность генерировать картинки по запросу прямо из поисковой строки. Также можно создавать подобные картинки на основе любой выбранной из поиска.

Конечно, как любая корпорация, они позаботились о безопасности всех, поэтому никаких легушат Пепе, управляющим самолётом, летящим в башни близнецы, там не сделать.

Также там есть ограничение по возрасту 👀 и метки, которые будут говорить, что это AI.

Пока доступ только для избранных, но скоро раскатают для всех.

Кстати, Bing справляется на отлично с генерацией первого порядка, когда вы только ищете идею. Я в своём пайплайне уже использую.

Есть, в общем, такая продакшен-студия - Bad Decisions. Они чем-то напоминают или даже копируют Corridor Digital, но суть не в этом. Они сильно захайпились последнее время за счет переноса известных сцен из кино в 3D через использование Gaussian Splatting. Тут они перенесли фильм Shining, так же в полном видео есть Матрица, Бесславные ублюдки, Асасин и Гарри Поттер.

Я честно не могу сказать, что это прям очень частая потребность в 3D или кино-продакшене (я именно про перевод из кино-материала в 3D), но эффект производит интересный. Ладно, может быть есть польза данных траектории камеры и может быть для Deep композа удобно имплементировать материал.

Можно еще попробовать повытаскивать из игр данные, но тоже не понятно для чего, т.к. есть инструменты более удобные для того, чтобы вытащить оригинальную геометрию и текстуры сразу. (Поправьте, если еще видите какую-то киллер-фичу, которую я не углядел)

Generative Gaussian Splatting for Efficient 3D Content Creation

Просто держу в курсе, что паниковать по поводу "image to 3D" нет причины. Если надумаете тестить, то лучше закидывайте картинки с хорошей чистой цветовой сегментацией, все вот эти ваши градиенты и блики оно понимает плохо.

UPD: к слову о переводе сплатов в геометрию, тут это присутствует.

А вот это занятная реализация релайта, посредством сегментирования и замены фона, а также перевода актора в PBR пригодный формат для рендеринга.

К сожалению, пока далеко не в реальном времени, крутится при 2-3 fps, пока просчитываются текстуры, на Nvidia 6000 Ada. После крутится чуть бодрее, но все еще не в реальном времени.

Когда-нибудь наступит момент осознания, что люди с экранов на государственном уровне были полностью синтезированы и управлялись AGI. Пелевину привет!

Основано на этой работе.

Божечки, кажется, день удался!

Riffusion - это просто невероятная сетка, которая позволяет написать свою лирику. Вы указываете промпт в каком стиле вы хотите, и на выходе получаете музыку, и это все на весьма приличном уровне скомбайнится!!!

Вокал слышится вполне человеческим, без железного привкуса, музыка тоже звучит чисто.

Короче, сегодня все будут бомбить от этого!

Кидайте в комменты свои вариации!

@CGIT_Vines

Рабочий пайплайн для презентации своих работ. Не обязательно персонажки. Цена вопроса $5 и только на аппсторе. Снимаем на камеру телефона, перекидывает дату в софт и рендерим. В этом конкретном случае персонажа рендерили в Marmoset, комнату в Blender.

Приложение VirtuCamera.
Есть бриджи для Maya и Blender. Знаю, что вы знаете альтернативные софты и в бесплатном формате и не только для iPhone. Если под рукой, кидайте в комменты.

В 24 году нам обещают стартапы с AI ассистентами. Кроме тех, которые будут помогать вам с учебой, бизнесом, путешествиями и т.д., будут и те, которые заменят вам вторую половину.

Виртуальные инфлюенсеры уже сейчас генерируют около $70k в месяц. Посещения страниц инфлюенсеров насчитывают до 151 миллиона в месяц.

Но подводные камни совсем не в том, что Тян больше не будут нужны, а в том, что это будет персонификацией ИИ настолько универсального, что вы отдадите ему все, даже свою способность формировать свое мировоззрение.

Супер-апп, который будет новым интерфейсом взаимодействия со всем цифровым. Он будет настолько удобным, что вы не захотите пользоваться ничем другим.

Это упростит буквально все, оплату, распознавание изображения, помощь в формировании вашего путешествия, посещение театров, ресторанов, заказ еды и товаров. Если вы согласитесь отдать ему свои данные, он будет работать еще лучше. За это нужно будет заплатить, вы согласны?

Вспоминаю времена из детства, когда хотелось рисовать круто, но я не умел, и тогда брал лист бумаги с готовой картинкой, прикладывал к окну и перерисовывал через просвечивающиеся листы бумаги.

Времена меняются, и подходы тоже. Моторику теперь можно натренировать через MixAR и Quest3. На выходе результат для мозга будет одинаковым.

Также вспомнился стол для классических аниматоров с подсветкой снизу, чтобы можно было прорисовывать кадры, стоящие между двумя ключевыми. Этот артефакт эпохи неолита назывался - стеклофон.

Буквально сегодня выкатили работу по процедурной генерации трехмерного окружения 3D-GPT.

Генерации строятся на LLM и супер подробном описании всего, что можно описать. От размера и степени эрозии почвы горных хребтов, до параметров кривой образующей лепестки Герберы. Буквально до диапазона сантиметров с описанием градиента цвета и отношения пропорций лепестков к пестику.

Все прекрасно уже понимают объемы контента, которые потребуются закрывать в будущем, поэтому основная задача - сократить количество ручной работы художников, да-да, мы никуда от этого не денемся.

Создание локаций выглядит привычным образом, через текстовый запрос, который интерпретируется многоступенчатой структурой описания, далее геометрия подается в Blender для трассировки лучей и вывода рендера.

На данный момент проблема заключается в том, что сделать очень сложные модели в textTo3D пока представляется маловероятным, по крайней мере, в контексте этой работы. Но я уверен, что это на себя заберут отдельные модели, может даже Adobe или его конкуренты.

Информации пока крайне мало, и потрогать пока ничего не дают.