Пока ресерчил на тему применения синтетических данных в ML решил сначала поглядеть в сторону применения в Reinforcement Learning, т.е. для обучения всяких роботов

Наткнулся на много упоминаний Isaac Gym о котором слышал раньше, но в практическом плане никогда не изучал — это распространенная система как раз для Physical Simulations.

Робот с нейронкой, контролирующей его действия можно запустить в такой системе так, чтобы условия максимально напоминали реальные. Обучается он таким образом на несколько порядков быстрее, и можно его же деплоить уже в реальности с минимальными проблемами (хотя на практике наверняка требуется тюнинг под реальность).

Имплементаций physical simulations онлайн можно найти огромное количество, но конкретно Isaac Gym хорош тем, что абсолютно все в процессе RL: сама физическая симуляция, и прогон + обучение нейронки, может проходить очень эффективно на GPU

Общая философия в любой GPU разработке в том, что коммуникация между CPU и GPU очень низкопропускная, соответственно если уж используется GPU, нужно максимизировать его утилизацию (FLOPSы), и минимизировать data transfer CPU<->GPU.
Так что похоже, что в Isaac Gym все из GPU выжали на полную.


Потом выяснил что Isaac Gym уже устарел и Nvidia заменила его на Isaac Labs, который поновее и полноценно вписывается в их огромную систему Nvidia Omniverse. Очень интересный этот Omniverse, хочется как-нибудь потыкать в него и понять где и как его можно применить.

P.S.: Кажется, как следствие изучения книжки про компьютерную графику, про которую рассказывал в Real-time rendering посте, нашел там ссылку на какой-то интересный Real-time Physics Simulation Forum

Наконец-то догрузил лекцию про Synthetic Data!!

https://www.youtube.com/watch?v=n9rnwrC05EM

Первая лекция в Тель Авиве, с обрубленной записью 🙃
В любом случае получилось тоже хорошо, и тема сама по себе оказалась супер интересной

Презентация: https://docs.google.com/presentation/d/1UauURbh51VmHG9hecc6DFzDP79RF2PgX5v_zerXITGk/edit

Рандомный безумно интересный факт — оказывается, магнитометры ставят в смартфоны / VR/AR устройства потому что они позволяют измерять магнитное поле Земли в точке, что помогает отслеживать позицию/поворот устройства в пространстве

mind blown

(и вообще я не знал про существование такого устройства как магнитометр, но логично)

Source: https://xinreality.com/wiki/Magnetometer

P.S.: Читал статью Project Aria и там наткнулся на упоминание магнитометров но не понимал зачем оно, поэтому загуглил

TIL что для съемки The Lion King ремейка, Джон Фавро (да, оказывается он был директором ремейка) организовал использование VR шлемов на съемочной площадке

https://www.youtube.com/watch?v=CupdZeOJus4&t=407s

TLDR (насколько я понял):
Базовые анимации с Motion Capture на персонажей уже насадили, и cameraman'ы, видя некоторую предварительную анимацию в VR, понимают как лучше "снять" сцену, и это движение потом и используется в финальном кадре

Опубликовал постик про то как я разбирался в том что такое Homography Matrix и почему она линейная

https://xallt.github.io/posts/deriving-homography-matrix/

Оно меня совсем в какой-то момент запутало, но сесть и расписать полный вывод формулы очень помогло

Я тут опять HackerNews листал, и наткнулся на достаточно безобидный, но интересный пост про то как интересно работает калькулятор в Android

Мне очень понравилось как чел пишет, поэтому решил порыскать по его сайту, поглядеть другие посты — и на одном из них была ссылка на что-то про Stack is a Monoid что я еле-еле понял, но меня захватили эти слова в самом первом параграфе:
> it’s also well known that GPUs are good at algorithms like prefix sum
wtf? Пошел гуглить, нашел GPU Gem про Prefix Sum, и моя башка просто взорвалась от гениальности алгоритма

Для полного понимания мне пришлось еще глянуть на изначальную статью — там есть чуууть больше логики, и доказательство вообще работы алгоритма

Короче, очень классно гениально круто мозговзрывающе бомба

Реалити чек по поводу всей темы с AI кодингом

https://deplet.ing/the-copilot-delusion/

У меня руки тянутся сделать пост из разряда "топ 10 лайфхаков как правильно использовать Cursor" но я могу написать лучше — эта хрень очень хаотичная, нужно много пробовать и нарабатывать собственную интуицию.

Любые посты, которые я читаю на эту тему, только малось дают идей
И все, что я напишу — абсолютно не заменит огромного времени проведенного за тюнингом Cursor Rules / пробой MCP серверов / и тд и тп.

Оно не панацея, и нужно много возиться чтобы стабильно получать выгоду без ущерба качеству продукта. Но вклад того стоит, так что рекомендую не отставать.

Расписал несколько заметок про CMake

https://xallt.github.io/posts/cmake-is-a-pain-in-the-ass/

C++ разработку люблю, но почему-то CMake для меня был всегда супер-больным местом — я пытался досконально понять каждую команду, достичь "Thinking from first principles".

Со временем я воистину стал разбираться, но произошло это только после того как я отпустил идею "я должен досконально понимать каждый инструмент".

Тем более стоит это принять когда дело касается Build System'ы, в которой много-много настроек, и черной магии, которая скрывает на самом деле за собой много-много неприятных деталей.

Расписал пост про то как настраивать разработку на C++ для чайников

https://xallt.github.io/posts/c-programming-setup-for-noobs/

Несколько месяцев назад переквалифицировался на работе на какое-то время в C++ разработчика — мне тыкаться в плюсы не в новинку, но для сурьезного проекта все-таки впервые.

TIL есть подходы для привлечения внимания человека к участку картинки засчет колебания цвета, при том что сами эти изменения незаметны

https://augvislab.github.io/projects/chroma-gazer-2025

Естественно много потенциальных применений в UX AR/VR приложений — и тот же подход может использоваться для невидимых QR-кодов!!!

И вообще мне недавно знакомый скинул ссылку на лабу в которой делают много интересностей в теме AR, вот зачитываюсь теперь:
https://augvislab.github.io/projects

Прикольное недавно найденное — супер-realtime трекинг объектов в изображении засчет Random Forests вместо этих ваших смузи нейронок

Вроде как в этом плане лица самые простые для трекинга — у них наиболее выделяющаяся структура, с какими-нибудь руками / другими частями тела сложнее.

Очень актуально для любого XR управления телом, вот я уже делал доклад на тему трекинга рук для VR. А еще есть такие приколы с real-time makeup'ом

А еще присылал уже пример очень классной игры с применением Hand Tracking которая, как мне кажется, может существовать только в VR (ссылка на игру)

Meta выпустила yet another 3D Foundation Model — MapAnything — по произвольному набору картинок + optional параметры камер + optional частичные depthmaps, дает все что можно

Имхо побился рекорд по количеству железа и VRAM используемого для обучения computer vision модели, смеюсь с того насколько абсурдно звучит 64 H200-140GB

И мы в рабочем чате такие "хммм а можем ли такие обучить с одной H100"

TIL про Assisted-GPS: https://en.wikipedia.org/wiki/Assisted_GNSS

У любой GPS-системы по сути есть два куска данных нужных для определения позиции устройства:
а) Данные о движении спутников — их точные позиции и скорости/направления движения по орбите (Ephemeris) — чтобы подсчитать их позицию относительно Земли в любой момент времени
б) Расстояние до каждого спутника — заполучается тривиально в real-time, и уже непосредственно используется для подсчета координат самого устройства

В куске (а) прям много данных — но их можно скачать один раз в начале, и дальше автоматом высчитывать состояние спутника в каждый момент времени.
А дальше трюк — чтобы не качать эти данные со спутников с скоростью 50 bit/s (ждать ~10 мин), телефон качает эти закешированные данные по сотовой связи / с спец-серверов.

(Пришлось разбираться потому что чинил GPS на старом телефоне)

Готовлюсь к небольшому выступлению на нашей компанийской мини-конфе, буду рассказывать что-то разное про Фотограмметрию / NeRF'ы / Gaussian Splat'ы, впервые за долгое время что-то читал про них

Сборка интересностей:
- Один из авторов NeRFа, Ben Mildenhall, соосновал The World Labs и месяц назад они выпустили вроде дажу неплохую модельку Marble для Environment Generation. Хвастались как это можно использовать для генерации 3D миров для симуляций для роботов.

- Adobe раскрыли свой проект Project New Depths для редактора Gaussian Splatting сцен

- Apple раскрыли что их "Personas" из Apple Vision Pro таки реализованы с Gaussian Splatting

- На какой-то конференции показывали что Google Maps делают Gausssian-Splatting-based реконструкции интерьеров заведений которые можно даже смотреть в VR

TIL что p в 1080p / 720p / etc значит progressive scan, т.е. буквально количество линий сверху вниз которые надо отрисовать
А еще когда говорят 2K, могут иметь ввиду 1080p, потому что по факту это 1920x1080, и 2K ~= 1920

- - -

В комментах добавили!!
Что суффикс p добавляли потому что был 1080i / 720i , которые interlaced scan.

Телики были старые, пиксели отрисовывались буквально по линиям — и можно было сделать видео приятнее, отрисовывая сначала линии 0,2,4,6, ... , а потом линии 1,3,5,...