Тут Эпик нереально наехал на производителя умных очков Nreal.
Судит его за использование созвучного имени.

На вопрос "но вы ж на рынке AR вроде не ничего не делаете" отвечает следующее:
«Epic ожидает, что Unreal Engine займет видное место в создании виртуальной метавселенной(meta verse), трехмерной социальной платформы в реальном времени, где друзья встречаются, чтобы общаться и получать удовольствие»

В общем, интрига.

Epic Games sues AR company Nreal for sounding too much like ‘Unreal’ - The Verge
https://www.theverge.com/2021/5/17/22440131/epic-nreal-ar-glasses-unreal-engine-trademark-lawsuit

Ух ты, тут практически 2Д-метахьюманы!
Новая ИИ-рисовалка, а точнее ИИ-ретушилка, которая позволяет взять любое лицо, а потом через очень забавный интерфейс редактировать его в любую сторону. Причем редактирование идет как на уровне геометрии лица в целом, так и на уровне отдельных деталей. А интерфейс - это скетчинг.
Можно, например, заменить одно лицо на другое с сохранением геометрии первого или, наоборот, сохраняя внешний вид, редактировать отдельные части.
И вообще, как я понял, они берут входное изображение и конвертируют его в "ИИ-пространство" (extract sketch) и там уже шаманят.
Выглядит очень круто. Во времен рисовалки пейзажей от Нвидия и Артбридера - это прям свежий ход.
https://80.lv/articles/deep-face-generation-and-editing-with-disentangled-geometry/
http://www.geometrylearning.com/DeepFaceEditing/

Киберпанк в головах

Тут интернет приподвзорвало новостью, что человек с имплантом вызвал на состязание обезьяну с чипом Neuralink - такое соревнование уже окрестили "межвидовым турниром".
Много рассказывают о разнице в имплантах и игре в понг силой мысли.
Ну и сам инфоповод в духе Ready Player One - киберпанк с трансляцией на весь мир "Вероятно, матч будут транслировать онлайн, через стриминговую платформу Twitch, на которой у Копленда есть аккаунт." И везде реклама-тыдыщ: "Битва мозгов человека и обезьяны".

Но есть маленькая загвоздка:
Пока в Neuralink никак не отреагировали на предложение Коупленда.
https://knife.media/man-vs-monkey

Кино про будущее уже здесь. Цифровые двойники на связи.

Google показала видеочат нового поколения. Даже нет, не так, это 3Д-чат с эффектом присутствия. Все, что могли сказать очевидцы - это "взрыв мозга".

Благодаря «Project Starline» человек, с которым вы разговариваете, появляется перед вами в 3D. «Вы можете увидеть их под разными углами, перемещаясь и даже глядя в глаза», - заявил Гугль во время предварительного показа проекта на своей конференции Google IO.

https://blog.google/technology/research/project-starline

Система называется «Project Starline» и представляет собой довольно непростую установку для видеочата, больше похожую на фото-будку. Платформа использует несколько камер и датчиков, чтобы запечатлеть внешность и фигуру человека с разных точек зрения. Затем она восстанавливает 3D-модель, которая транслируется в реальном времени(!) всем, с кем они общаются.

Тут сразу три реалтаймовых прорыва: фотограмметрия полного тела, ацкое сжатие потока данных и передача его на другой конец чата, распаковка и рендер всего этого хозяйства на другом конце.

На видео зрители описывают, как видят удаленных собеседников, как будто они находятся вместе в одной комнате. «Как будто она была прямо передо мной...»

Сейчас довольно сложное решение. Большая будка со специальным светом, камерами и скамейкой, на которой нужно сидеть. Google говорит, что это «оборудование, изготовленное по индивидуальному заказу, и узкоспециализированное железо». Wired пишет, что кабина содержит более десятка различных датчиков глубины и 65-дюймовый «дисплей светового поля», позволяющий отображать людей в 3D. И это еще один пример впечатляющего использования LightFields и результатов работы лаборатории Поля Дебевека, который перешел работать в Гугль несколько лет назад.

Кабина для видеочата в настоящее время доступна только в «некоторых» офисах Google, и в этом году компания планирует протестировать технологию с бизнес-партнерами.

В общем, год сидения в онлайне продвинул технологии виртуального общения примерно лет на 10. Если не на 15. Со времен создания Skype (2003) все сервисы видео-общения работали на улучшением качества картинки и обрастали лохмотьями (текстовых) социальных функций. А вот самой картинкой и информацией, которую из нее можно вытащить, все наконец-то занялись активно лишь в прошлом году.

Ибо выяснилось, что не всегда передача оригинала с наилучшим качеством так уж хороша, и что хочется его искусственно улучшить. А для этого надо расшифровать видеопоток и определить кожаный объект для улучшения: https://cgevent.ru/archives/33601

Выяснилось также, что народ не прочь одеть маски и поиграть в ролевые игры. Возник рынок аватаров и аватаростроения: https://cgevent.ru/archives/33420

Также стало понятно, что ужасный свет монитора, способен превратить вечернюю трансляцию в шоу живых бледнолицых мертвецов. Пришлось научить нейросетки "вычитать" или "учитывать и корректировать на лету" это свет и делать релайт лица: https://grail.cs.washington.edu/projects/Light_Stage_on_Every_Desk/

Нвидия сумела "расшифровать" лицо и передавать его не как картинку, а как набор изменений этих "расшифровок". По дороге корректируя направление взгляда и используя ГАНы для рендера: https://blogs.nvidia.com/blog/2020/10/05/gan-video-conferencing-maxine/

А появление MetaHumans от Эпика в 2021 году окончательно показало, что цифровые двойники - это больше не сценарии Черного Зеркала, а инструмент доступный каждому: https://cgevent.ru/archives/33712

Ну и «Project Starline» от Гугла - это квинтэссенция оцифровки "на лету". В пространстве возникает ваша цифровая копия, которая начинает носиться в сети. Пока по прямому маршруту видеотрансляции. Но что мешает ей свернуть в сторону и немного передохнуть в OmniVerse?

Поговорим про новый Мир Химер?: https://cgevent.ru/archives/33684

Никакого поста.
Только 3Д, только UE.
https://youtu.be/qb_vrjPqlq4
Как пишет мне Леша Борзых - никакого AE и постобработки. Просто рендер.

Я, конечно, психанул и зазвал Лешу выступать: https://cgevent.ru/archives/33196
У него там рассадник цифровых сущностей.

Вот интересно, приходит к вам ТЗ на уток инопланетян, вселяющихся в алкоголиков в новом фильме Алкоутки.
И вы такие фейс трекер, 3д еквалайзер, моделинга, композ..

А это сегодня просто фильтр в тиктоке..

Странно, что ПорнХаб только сейчас прорезался на поляне ИИ и восстановления старых винтажных видео.
Обычно порно бежит впереди всей технологической планеты.
В общем они запилили проект с дивным названием "Remastured".

На нем, как водится, использовался ИИ для восстановления и раскрашивания фильмов, сделанных еще 125 лет назад. ПорнХаб использовал машинное обучение и 100 000 изображений и видео для взрослых, чтобы научить ИИ раскрашивать фильмы (ИИ также кое-что узнал о том, как люди проводили время до появления смартфонов).

Согласно PornHub, для восстановления фильмов использовалось несколько алгоритмов с «ограниченным вмешательством человека». Процесс начался с уменьшения шума и повышения резкости и контрастности изображений. Видео было увеличено до 4K со скоростью 60 кадров в секунду, а звук был либо переработан, либо был добавлен новый саундтрек.
Как я понял, им пришлось поколдовать - предобученные модели не очень хорошо распознают контент, который не встречается в традиционных датасетах. Но ничего, у Порнхаба этого добра навалом. В Pornhub говорят, что программное обеспечение впервые «натренировали» так, что оно смогло «определять неуловимые тени на пенисах, сосках и интимных прическах, какими они были на рубеже ХIХ-ХХ веков». Помогала ему испанская студия Espada Santacruz, которая занимается реставрацией старых фильмов.
Вот тут тизер проекта на Ютюбе:
https://www.youtube.com/watch?v=huvmMMNWPb4

В то время, когда майнеры скупили и пожгли все видеокарты, на CG EVENT DIGITAL HUMANS их раздают бесплатно.
Все, что нужно это совместить полезное с приятным: прийти онлайн, послушать полезные вещи, пообщаться с умными людьми.
Не выходя из дома. 29-30 мая.
Репост всем жертвам майнеров.
https://cgevent.ru/archives/33856

40-ядерные процессоры для новых МакПро с 128-ядерной графикой, которая заменит АМД.
И новые мощные миники.

Утечки из Блумберга:

Codenamed Jade 2C-Die and Jade 4C-Die, a redesigned Mac Pro is planned to come in 20 or 40 computing core variations, made up of 16 high-performance or 32 high-performance cores and four or eight high-efficiency cores. The chips would also include either 64 core or 128 core options for graphics. 

https://www.bloomberg.com/news/articles/2021-05-18/apple-readies-macbook-pro-macbook-air-revamps-with-faster-chips

Цифровой Энштейн. Без ИИ.

Смешанные чувства. В статье, в середине, есть ролик о том как это все делали. От впечатляет (тех кто в теме), гораздо больше самого финального результата.
Кстати никакого ИИ. Только ручками, только хардкор.
Но 12 месяцев работы!
И в итоге все равно глаза безнадежно выдают фулл сиджи.
Интересно провести параллель между гностиками и агностиками.
Воссоздаваем ли в принципе фотореалистичный персонаж, неотличимый от человека?
Не на определенных ракурсах, не на 2-секундных планах.
А в принципе, на, грубо говоря, бесконечных таймингах и произвольных ракурсах.
Проходима ли Uncanny Valley "до конца"? Или мы будем продвигаться по ней короткими бросками и локальными победами в узких диапазонах ракусов и условий и никогда не пройдем ее всю?
Лежит ли здесь какой-то защитный или метафизический механизм, не позволяющий создать неотличимого двойника для всех случаев (анимаций)?

"Неотличимого" по-честному. В долгую.

Да, наш мозг пластичен и мы через пять минут привыкаем, что глазки "не те" или "немного странно, но ок" и делаем скидку, переставая отвлекаться на мелочи и начинаем получать удовольствие. Яркий пример "нуэтожкомикс" - для объяснения отсутствия логики или правдоподобия, без ущерба для получения удовольствия.

Следующий вопрос: а надо ли проходить Uncanny Valley, если зритель и так "схавает"? Да, он будет в первую секунду говорить "круто, почти как настоящий, похож на 98.5%" и смотреть дальше. Надо ли биться за очередные 0.1% и достижимы ли 100%? И если надо, то зачем?

А если не надо, может быть 12 месяцев - это перебор? ( И тут должен начаться дикий флейм про качество, Тик-Ток, скрепы, культуру и вообще)
https://www.themill.com/work/case-study/creating-a-photoreal-cg-human-for-smart-energys-einstein-knows-best/

Ну, за клипмейкеров?
https://youtu.be/rR5_emVeyBk

Отличный эксперимент. Автор использовал модель OpenAI CLIP и BigGAN, чтобы создать музыкальное видео, которое сопровождает и иллюстрирует текст песни. Текст песни сделан с лейблов класса ImageNet - поэтому иллюстрации отлично "попадают" в слова.
На английском, конечно, не так считывается, но когда он поет про змей, то все эти твари на экране тебя начинают немного завораживать.
В общем тут сбывается мечта о нашей любимой кнопке. На входе слова и музика - на выходе клип. Довольно залипательный.
Кстати, Вадим Эпштейн представит на Ивенте еще более убойную тему под названием Афантазия. Тоже на основе CLIP? только с более глубокими смыслами и заныриванием в глубины психики и культуры: https://cgevent.ru/archives/33210

Ну и, как обычно, вопрос, возникающий по ходу написания поста. Спрос на видео-контент не насыщен. Его требуется еще больше (просто поверье опросам). Но кто сказал, что он должен быть такой же как сейчас, только умноженный по количеству на 10 или 100? Залипательность формирует новые тренды, а ИИ всегда готов помочь...

Когда компьютеры были большими. И медленными.
Когда не было худини и нюка.


https://youtu.be/tyixMpuGEL8

Про цифровую одежду уже писал, народ охотно покупает цифровые шмотки с одной лишь целью - выложить в инсту свою фотку, виртуально примерив ея.

Плюс "радость обладания". Неважно чем. Важно обладание.

Цифровые примерочные - отдельный бизнес, тут все растет как на дрожжах, ибо бренды чувствуют, где горячо и идут туда с деньгами.
И вот очередной пример: Gucci вломился в Roblox. С цифровыми сумками.
Вы можете купить виртуальную барсетку за.. 1500 долларов. Чтобы обладать ею.
Иногда цены доходят до 4000 долларов. Это реальные продажи, зафиксированные на Ютюбе.

Но прежде чем писать, "мир сошел с ума", может стоит задуматься о том, что мы что-то просто не понимаем про этот мир, а точнее про самих себя.
Вся история с NFT, цифровыми активами и, если брать шире, с мета вселенными типа Roblox, Fortnite, Omniverse и даже Snapchat, просто кричит о том, что человек устроен несколько иначе, чем мы привыкли думать.

Но если невмоготу, то не сдерживайтесь и пишите "мир сошел с ума" и покупает цифровые сумочки на 1500 долларов.
https://www.polygon.com/22446454/gucci-garden-experience-roblox-purses-ugc-price-marketplace

Юнити долго запрягала и вот, наконец, выкатился симметричный (или асимметричный) ответ Эпику, касательно производства кино-, видео- или анимационного контента на движках.
По частям это так или иначе уже давно пилилось, но теперь пришло время "упаковки" и декларации о намерениях, которые оформлены вот так:
Creators of film, TV, and animation – you need specialized tools to tell your stories.
https://blog.unity.com/entertainment/its-showtime-new-tools-for-cinematic-creators

Помните мы тут шутили, что снимать в кино можно студентов театральных курсов или вузов, а потом уже делать кастинг - каких звезд "натянуть" на отснятые личики и фигуры.
А киберпанк уже здесь, правда с политкорректным уклоном. И новый нормальный кастинг тут, так сказать, вынужденный.
https://www.vanityfair.com/hollywood/2021/05/tig-notaro-zack-snyder-chris-delia-army-of-the-dead
Зак Снайдер снял Army of the Dead. И как ПОТОМ выяснилось, не с тем актером - стендап комик Крис Д'Элия попал в центр скандала о сексуальных домогательствах.
Переснимать поздно, на дворе ковид, съемки так быстро не перезапустишь.
Но ничего, потратили несколько миллионов и полностью заменили актера на актрису Тиг Нотаро (тоже комика). Ручками. В цифре.
Ну и, мне кажется, надо уже быть готовым снимать так, что после очередного твита прилетит команда от продюсеров "меняем вот этого, этого и вот этого - неблагонадежны".
И расчехлять дипфейки в полный рост.
И хорошая новость в том, что посту явно работы привалит.