Пришёл куда-то — сфоткай бейдж)

Тесное партнёрство Unity и Google
https://blog.unity.com/news/google-partnership-expanded-to-help-creators-accelerate-game-development-and-growth

Реклама гугла, юнити сервисы в маркетплейсе гугла. В целом ничего особенно интересного не произошло.

#новости

AR на стройках

У меня за окном уже довольно долго грустная и унылая стройка метро. Задумался, что было бы прикольно или по гео, или расклеив на крышах строительных домиков метки посмотреть "а как оно будет?" в AR. Эти домики не так часто перемещаются, как техника. Так что рекалибровать такую штуку было бы не так сложно. Но зато из окон всех близ лежажих домов был бы прикольный AR.

Хотя даже без AR прикольно, просто в виде сайта было бы глянуть или без точного совмещения. Чисто "а что строят то?". И для этого просто наклеить QR на технику или крышу. А то на заборе ты проходишь мимо и тебе не до того, ты бежишь по делам. А дома залип в окно, смотреть всё равно не на что, хоть на AR-ку можно было бы посмотреть. При том, что цена вопроса один большой лист бумаги заказать в типографии и клей, если делать даже без AR. Сайтом с рендерами, которые по-любому есть. Или 3д тур.

#мысли

Переоценённая технологичность

Благодаря обсуждению в комментах к этому посту вспомнилась ещё одна мысль. И тут стоит начать с предисловия. Я обожаю нинтендо и считаю её одной из самых креативных компаний в мире. С самыми злыми юристами, но это другой вопрос :)

Речь идёт чисто про энтертеймент. Производственные задачи, бизнес решения, инструменты для работы (как например мы делали для Газпромнефти) — это другое.

Так как проекты придумывают чаще всего люди без опыта в разработке, понимания технологий, что возможно, а что нет. Они часто придумывают какую-то невозможную сказку. Страшнее эта сказка звучит, когда показывают ещё видео с этой сказкой заказчику, которая сделала компания с бюджетами в несколько миллионов долларов, но сдк до сих пор публично даже для своей платформы не выпустила (привет Local Lenses Snapchat).

А разработчики в свою очередь либо оценивают это в несколько чемоданов денег. Либо говорят "вы долбанулись это невозможно". Вместо того, чтобы поступить как нинтендо. Придумать и защитить крутую альтернативу. То есть о чём я?

На мобилках у нас есть неточный 6dof трекинг (ARKit/ARCore), в LBE (это всякие развлечения на локациях типа VR парков) — вообще миллиард игрушек и возможностей, в вебе из недорогого есть гироскоп и маркерный трекинг. Это целая куча инструментов. Но так как задачи воспринимаются как "Партия сказала надо, комсомол ответил есть", очень часто все рассуждают только в рамках "прямого решения". И причём тут всё ещё нинтендо?

У нинтендо в свиче в контроллерах есть только IMU датчик. Но при этом там есть игры: танцы, дуэль на оружии и многое другое с контроллерами. Хотя там по сути только датчик дающий 3dof. Просто они подошли креативно к вопросу и сделали весёлые, простенькие компанейские мини игры. И по этому я говорю именно про энтертеймент. То что придумывает заказчик — это часто бредятина. И да, на стройке точного совмещения не будет. Но если сделать 3д тур, если полностью перекрыть обзор и сделать 360 видео, да даже сделать воздушный шар который летает над стройкой, подлетает к вашему окну и вам машет кто-то из него кидая буклет, который становится сайтом с рендерами. Это смотрится эффектно. Не требует точных систем. И при этом развлечёт пользователя. Для этого просто нужно подходить к задаче не из того "что мы не можем". А из контекста, а что мы воообще можем? И по сравнению с условиями нинтендо у нас миллиард замечательных инструментов, которые можно применить использовав своё воображение.

Поэтому я за то, чтобы не думать "почему это плохо", "почему это невозможно", "это не сделать". А как с имеющимися инструментами сделать классный и весёлый экспириенс для пользователя. А инструментов в AR сейчас просто нереальное количество с которыми можно фантазировать.

#мысли

Фундаментальные проблемы оптического трекинга

Есть такая группа технологий, называется она SLAM. Почему-то все SLAM неизменно связывают с оптикой, но по сути сам концепт — это построение карты и определение на ней устройства в реальном времени. Поэтому пост про оптический трекинг в целом, а не про SLAM. Так как у нас главная тема сегодня косвенно — технология рекламируемая снапчатом Local Lenses.

По сути в чём её принцип. У нас есть пространство. Мы берём огромный лидар и вешаем его на машину. Сканируем пространство и получаем облако точек. Точки у нас могут быть с цветом, могут быть без (думаю что без, и даже без контрастов, но знает это только снапчат в их технологии). Карта готова. Дальше мы приходим с айфоном и строим такую же карту с датчиков телефона. И дальше у нас идёт паттерн матчинг. Мы ищем в нашей базе карт похожую карту. Те кто процесс представил должны уже начать чувствовать подвох. Но отвлечёмся и поговорим про мозг. Чего нет у вашего телефона.

А как мы определяем где мы? У нас есть чит под названием — непрерывность контекста. Мы проснулись и перемещаемся по миру с нашими "оптическими датчиками" и органами чувств. Если нас подставить перед белой стеной мы помним, как мы тут оказались и весь контекст. А ваш телефон так не умеет. Представьте, что вам завязали глаза, вытащили из кровати и привезли куда-то (и вы не шерлок, чтобы определять по запаху булочек куда вы едете). Вы в белой комнате. Определите где вы? Хорошо. Задача проще. Вы увидели эфелеву башню. Где вы? В Вегасе или в Париже? Без контекста если вы никогда не видели её в живую и обзор закрыт так, что вы не видите что вокруг, достоверно ответить вы не можете.

А теперь вернёмся к телефонам. Телефону вы так же развязали глаза. И он видит форму. Не особо точную, так как точность много весит и определять паттерны по ней сложнее. Как вы думаете сколько в мире существует похожих форм? Очень много. А в чём проблема ложных срабатываний? Да в том, что у вас несколько контентов привязаны к одной и той же форме. И какой контент нужно выбрать?

Едем дальше. А форма пространства статична? В реальном мире ответ нет. Идёт дождь, выпадает снег, ездят машины, движется солнце (и это влияет в некоторой степени на оптику). И так далее. Есть очень много шумов. Которые не так просто отфильтровать. Так как "вы не знаете где вы". У вас нет главного — контекста. В паре с гео задача становится проще, нужно классифицировать какие-то множества и т.п. Но точность определения ещё зависит от точности датчиков и мощности процессора устройства.Плюс существуют удачные ракурсы — где определить просто, а существуют неудачные — где сложно. Вот и всё. Проблема на уровне физики процесса. И тут у нас следующая задача.

Для оптики по форме любое отклонение от исходной формы будут копиться в ошибке трекинга. И это будет давать смещение от реального. И так далее. А ещё есть такая штука, как пресловутая угловая ошибка. Но пост и так большой, так что это лучше послушать в моём докладе.

Если такие посты интересны, ставьте 🔥. Я могу на пальцах ещё рассказать, как работает большая часть оптических, ультразвуковых, магнитных технологий. Принцип работы GPS. Принцип трекинга зрачков. И так далее.

#мысли

Комиксный VFX взрыва
https://youtu.be/6WsNOQSpkw8

Интересный разбор от Unity, как сделать взрыв в комиксном стиле.

#новости

ИИ не серебряная пуля

Я с огромной опаской смотрю на аргумент про любой трекинг: "А тут мы сделаем ИИ". Современный ИИ это просто набор математических выражений, который уточняет по выборкам и другим вещам ваши результаты условно посредством поиска "похожих параметров". То есть, когда вы говорите "сделаем ИИ", а что решает ИИ. Я люблю примеры, так что возьмём пример из недавней новости.

Ребята сделали крутой алгоритм. Прикольный концепт. Но важно, что это не production-ready решение, а гипотеза. Которую не факт что получится довести до результата. При этом логический принцип описывается довольно просто. Есть гипотеза, что карта сигналов в пространстве и радио шума зависит от положения тела человека в пространстве. Аналитическую связь мы построить не можем, так как задача слишком сложная. Поэтому мы берём данные оптики (неиронку всегда можно расценивать, как эмпирическое решение задачи). То есть у нас есть обученная модель, которая благодаря оптике знает, что "человек вот тут".

И представьте что мы составляем таблицу. Мы поставили рядом камеру и датчик собирающий карту сигналов. По датчику мы определили карту сигнала. По камере мы определили кадр. Дальше по кадру мы алгоритмами определили где люди. И мы теперь считаем, что при такой карте сигналов люди будут там. Дальше мы с помощью обучения нейросети получаем ответ не для одного кадра, как на примере, а для одного миллиона кадров. Вот и вся магия нейросетей по-человечески.

Вернёмся к нашей дневной задачи с оптикой. Там и так используются нейросети. Так как лидар на автомобиле и датчики айфона, можно расценивать как камеру и датчик радио-сигнала из задачи выше. Они прям очень разные по качеству и результату. И там строится такое же сопоставление. Собственно благодаря нему она работает в каких-то условиях. И даже по видосам я верю, что это не композ. Но тут проблема изменения формы все дела. И казалось бы, простой ответ.

"Давайте учтём изменение формы". И вот тут кроется главный подвох :) Чем больше форм вы считаете Эйфелевой башней, Тайм сквером или красной площадью. Тем больше у вас коллизий в множествах, и тем хуже работает ваша технология. Изменение формы влияет на точность. Так как вы не машина вы не увидите части симметрий из-за чего AR появится в вообще другой стороне и так далее. Там очень много проблем. И я не верю, что их можно решить из-за банального принципа работы оптики. На день за кучу денег? Да и сейчас можно. То что проживёт неделю и будет стабильно работать у пользователя в руках (моё понимание production ready)? Это даже в теории вряд ли возможно.

Плюс вопрос всегда в коммерческой эффективности какого-либо решения. А решение такое, оно есть и называется Azure Spatial Anchors, если он ещё жив. И каждый может попробовать его, протестировать и столкнуться с суровой реальностью. Что работает оно "с нюансами". С которыми редкий коммерческий заказчик готов мириться.

А говоря про ИИ лучше понимать принцип работы ИИ в общем. Так как иногда у меня складывается впечатление что многие считают, что ИИ — это серебряная пуля и волшебная палочка. А это довольно простая штука концептуально при общей сложности её разработки и нюансов. Нельзя никакой неиронкой по выражению лица лид разработчика в офисе определять расстояние до ближайшей кофейни. По крайней мере с хорошей точностью. Потому что есть вещи, где можно лишь сказать: "Физика. Бессердечная ты сука".

#мысли

Обновили сайт
https://dev-game.pro/

Теперь у сайта стильный дизайн. Пока конечно не работает форма сбора заявок, как небольшой недостаток. Но думаю сегодня-завтра починим. Но всё остальное зато теперь прям красота. В десктопной версии получилось очень залипательно :)

Ну и я придумал слоган "IT как в кино", чтобы наиболее ёмко описать свою деятельность. Тут как с актёрами. Им же никто не платит зарплату. Они собираются чтобы снять фильм. Вот и у меня так же устроена работа, только мои звёзды — это айтишники XD

#новости

Где взять музыку для проекта?
https://80.lv/articles/80-level-digest-free-music-for-game-developers-3d-artists/

LVL80 продолжают радовать нас новыми дайджестами. Теперь они собрали дайджест, где можно взять бесплатную музыку для вашего проекта.

#новости

Кейсы в XR
https://news.1rj.ru/str/xr_cases

Я люблю искать разные интересные кейсы. Я долго думал стоит ли тут про это писать, и решил что это будет лишним и не форматом. Так что завёл для этого отдельный канал. Там я буду публиковать интересующие меня кейсы, ну и те которые мне скинут. Если там не будет никакой запретки, то я обязательно опубликую со ссылкой на компанию. Кому такое интересно залетайте. Я накидал уже немного прикольных кейсов. Можно присылать и не свои, а просто клёвые кейсы в форму. Ну и я буду потихонечку собирать и выпускать что попадётся на глаза.

#новости

Fire ray
https://youtu.be/US6e4ockhQo

Классный старый туториал по VFX огненного удара.

#интересное

"Деревянный" дисплей на Unity
https://80.lv/articles/a-virtual-wooden-pixel-display-created-in-unity/

Прикольный концепт. Не особо сложный, но выглядит симпатично. Я бы сделал переведя картинку в грейскейл шейдером через Graphic.Blit приведя к небольшому разрешению, а дальше регулировать поворот дощечек просто по Lerp от 0 до 1, где 0 чёрный, а 1 белый. По диапазону углов, чтобы получить тени :) А то чёт реализацию автор не приложил. Но она и не особо сложная, а для какого-то проекта визуально может смотреться симпатично.

#новости

2д фон как 3д
https://80.lv/articles/a-custom-unity-powered-shader-for-relighting-a-2d-image/

Jussi-Petteri Kemppainen делает 2.5D игру с AI сгенерированным визуалом, задниками и персонажами. И чтобы сделать визуал объёмнее он написал шейдер который меняет освещение на 2д фоне и позволяет делать динамический свет. Например с помощью фонарика. Выглядит круто и задник воспринимается объёмным, хотя это сгенерированная AI 2д картинка.

#новости

Ретро лампочки

Этот пост даже напомнил как для одного проекта мы делали нечто похожее. Только у нас была такая "ретро LED панель" и просто шейдер, который рисовал эти лампочки. Смотрелось тоже атмосферно и симпатично.

#интересное

Большой мануал по профайлеру памяти от Unity
https://blog.unity.com/technology/everything-you-need-to-know-about-memory-profiler

Профайлинг одна из самых важных частей работы разработчика. Чаще всего полезнее знать, что надо править, а ответ на вопрос «как» уже можно найти. Unity написали большой мануал по Memory Profiler 1.0.0 с которым я рекомендую ознакомиться разработчикам. Ничё особо необычного, просто полезный мануал.

#новости

Добрый вечер, такой вопрос, есть в проекте Zenject, пользоваться им удобно и позволяет вынести бизнес логику из монобехов в чистые классы. А как используют чистые классы, если нет условного Zenject'а? Например в рамках MVP подхода к проектированию

Zenject — это просто удобный, с удобным сахаром Composition Root + ещё несколько вещей. Если нужен "чистый DI" и code-first пишутся свои IoC контейнеры и т.п.

Если же говорить в общем, то в целом монобехи нужны для взаимодействия с системами Unity. Если у вас тайкун, скажем, то нет смысла экономическую модель хранить в монобехах и так далее. Иногда доступ делается через синглтоны, иногда через сериализацию, иногда через SO.

#вопросы