Очередная гениальность из разряда "научились по WiFi сигналу определять количество человек в комнате" — Google Research сделали heart rate tracking через шумоподавляющие наушники (т.к. в них есть датчики вибраций/звука)
https://blog.research.google/2023/10/audioplethysmography-for-cardiac.html

А про WiFi тут почитать
https://web.ece.ucsb.edu/~ymostofi/HeadCountingWithWiFi

С меня было достаточно активной frontend-разработки (даже через ChatGPT), поэтому мигрировал за несколько часов весь сайт на Jekyll Chirpy — бомба-шаблон для блогов
Так что https://xallt.github.io/ теперь выглядит более отполированным

Возможно у меня будет желание ещё его как-то персонализировать, чтобы не был просто ровно как шаблон... посмотрим. Ну и новый контент уже пора бы туда добавлять

кайф

А если виртуальная клавиатура из предыдущего поста вам не нравится, можно подсоединить и настоящую.

Кстати, довольно классное применение AR — чел работает в своем электрокаре, пока он стоит на зарядке. Не будешь же три монитора с собой таскать.

Искушённые пользователи скажут, что тут основной затык в разрешении виртуального экрана. Там все ещё не ретина, конечно, но 2064 x 2208 на каждый глаз в Quest 3 — это уже внушительно. Да, и прогресс не стоит на месте.

Хочу наконец сам попробовать так поработать, протестировать сетап.

@ai_newz

Я на стороне увлёкся идеей сделать какую-то небольшую приложеньку-игрушку с Hand-tracking'ом — около месяца назад сделал версию на Python'е, но она была жутко медленной и неприятной в пользовании.

Поэтому решил развлечь себя разработкой этого на C++! Причём сложнейшая задача — справиться с вставлением Mediapipe (который весь опирается на Bazel как build tool) в мой проект который билдится CMake'ом.

Я по-маленькому делился прогрессом в твиттере, но хотел написать что-то более основательное, в виде большого поста с крутейшими техническими деталями и инсайтами которые я получил в процессе.

Так что вот:
Connecting Mediapipe with CMake for my own Hand Tracking app
https://xallt.github.io/posts/connecting-mediapipe-cmake/

Мой первый такого рода технический longread. Если вдруг даже вчитаетесь, любой feedback был бы офигенен!

PS: Я пока параллельно тыкаю в Google Console чтобы мои посты выдавались в поисковике

Самая залипательная штука ever
https://honzaap.github.io/Pathfinding/

Поменяйте ещё в левой менюшке Area Radius на максимум

Image-to-3D почти что решён!

Ладно, не решён, но я недавно увидел огромный шаг в сторону сильного упрощения проблемы.

Метод LRM от Adobe Research мне немного напоминает мем про "stack more layers!" — теперь вместо долгого итеративного refinement'а для получения хорошего 3D-объекта, нейронку обучают просто "нейронка(картинка) -> 3D объект".

Конечно там не настолько тривиально, но примерно так можно охарактеризовать отличие от того же MVDream, которому нужно много-много шагов перед тем как он сойдётся на хорошем объекте.

И вообще область 3D моделей сейчас на взлёте во многом благодаря Objaverse — качественному датасету 3D-объектов, и их там больше 10M штук.

Ну и мой любимый аспект последних статей в Computer Vision — сколько же железа нужно?
Многа

О май гад, меня ретвитнул akhaliq, который, на секундочку, один из самых популярных в твиттере аккаунтов c регулярным постингом SOTA работ в ML

Вот сам твит, я там просто комментирую что применение Gaussian Splatting для реконструкции полноразмерных тел

PS: ое, посыпались лайки и подпищеки

Продолжаю испытывать себя в разных форматах постов — написал постик с разбором идей из LRM:
https://xallt.github.io/posts/large-reconstruction-model-overview/

Им же я уже недавно повосхищался.

Определяться с форматом текста кстати сложно — в начале я хотел просто сделать потоком мыслей пост о статье.
Потом решил что "почему бы не расписать все идеи используемые в посте подробно", но тогда его написание заняло бы пару месяцев 🙃.
Так что сошёлся пока на посте с ссылками на актуальные статьи/концепты, без детальных пояснений.

Заинтересованный читатель либо уже ознакомлен с контекстом, либо сам изучит дополнительный материал. Многое мне кажется не таким интересным и не заслуживающим драгоценного пространства в посте 🤪

Я провёл yet another доклад! Или воркшоп / семинар / лекция, хз как называть.

Я пару недель назад из интереса просто решил погуглить, какие есть статьи про Quest 2, и к моему большому удивлению Meta релизнули нехилую такую статью, которая описывает, как работает их Hand Tracking. Так что поделился с ребятами из Paper Reading Club своим восхищением VR технологиями!

Там много инсайтов про то как сделать очень оптимизированный, плавный tracking, плюс их подход к сборке датасета. Я был очень доволен многими идеями из статьи.

Запись: https://www.youtube.com/watch?v=5y-xgHVzhCU
Презентация: https://slides.com/xallt/megatrack
Статья: https://dl.acm.org/doi/pdf/10.1145/3386569.3392452

В итоге пока что лучший подход доклада, когда для меня & аудитории слайды это шпаргалка, и существенную часть рассказа я словами / доской поясняю.

P.S.: Очень доволен thumbnail'ом записи)

Если вдруг не следили за новостями:

1. В пятницу вечером Sam Altman'а уволил совет директоров OpenAI. Предположительно, Altman хотел быстро развивать ChatGPT и привлекать много-много инвестиций, а совет директоров в основном хотел более умеренный подход
2. За выходные шли слухи что: то ли OpenAI уже в переговорах вернуть Сэма, то ли он с друганом из OpenAI который ушёл вместе с ним свою компанию начнут делать, то ли они в переговорах присоединиться к xAI
3. Вчера OpenAI публично анонсировали что новым CEO OpenAI ставят Emmett Shear'а, ex-CEO Twitch'а
4. Сегодня утром (т.е. вечером/ночью в США) CEO Microsoft сказал что они взяли к себе и Сэма, и его другана Грега вести новую команду в Microsoft по AI

Но самое весёлое что я узнал из всей этой суматохи — это что, оказывается, Emmet Shear был одним из донаторов Юдковскому когда тот писал Harry Potter & the Methods of Rationality (одна из моих любимых книжек, которая, так вышло, фанфик по Гарри Поттеру), поэтому у него было камео в книжке.

Это моя любимая серия Silicon Valley.

UPD: Оказывается, не он сам донатил, а кто-то сделал ему это камео в качестве подарка. Всё ещё очень смешно
UPD2: Хэппи энд

В эту субботу провёл часть Paper Reading Club'а, сделал мини-доклад на тему Attention in CV — применение Attention механизма в всевозможных модельках Компьютерного Зрения.

Кажется в этот раз я хуже всего подготовился 🙃 — очень лениво спланировал и презентацию слабее чем обычно сделал. Ну ладно, бывает — буду лучше понимать сколько сил надо вкладывать в подготовку к докладам.

А ещё в этот раз не захотел записывать на видео — наверное предчуствовал что получится хаотично ;)

Презентация: https://slides.com/xallt/attention_cv
Ссылочки на статьи:
- Attention
- Attention in Vision Transformers (ViT) for all classical Computer Vision tasks
- Manipulating Attention layers in diffusion models for Image editing / Video editing
- Attention in Text-to-3D

Кстати товарищ мой по Reading Club'у делает пафосные картинки для анонсов, вы только посмотрите

Очень крутая серия постов про поиск работы в ML, в целом применимо к любому IT
https://btseytlin.github.io/parts/4_negotiations/case.html

TLDR: вы человек, и в компании человеки, но торговаться обязательно надо

Посчастливилось наткнуться на милый кусочек интернета — omg.lol

20$/год за:
- Свою страничку <username>.omg.lol (мой xallt.omg.lol)
- Хостинг сниппетов кода paste.lol
- URL shortener с произвольными именами url.lol
- Контроль DNS у вашего домена (т.е. можно можно прикреплять ваши Heroku аппки с уродливыми адресами к красивому omg.lol домену)
- xallt@omg.lol email адрес
- Ещё Mastodon инстанс у них свой — social.lol, и автоматом дают аккаунт
- Свой хостинг картинок
- Простенький блог

И много ещё приятных плюшек, и плюшек непонятных про которые я слышу вообще впервые.
Может звучать глупо и странно, но мне показалось стоящим весельем поиграться за 20$/год ;)

🗿
https://github.com/EnterpriseQualityCoding/FizzBuzzEnterpriseEdition

Всех с новым годом!

На неделе собираюсь рассказывать доклад про 3D Data Compression, мотивированный изначально этой статьёй

Для контекста понял что мне нужно почитать про Video Compression, а конкретно про очень распространённый H.264 стандарт и эээ...
Как же сложно искать хорошие материалы на тему :( . Почти все первые результаты в гугле — очень водяные статьи, которые совсем в общих чертах рассказывают про алгоритм, вообще никакие конкретные идеи не раскрывая.

Я конечно понимаю, что они могут быть нацелены на среднестатистического интересующегося человека, а не на меня, который хочет что-то основательное про алгоритм узнать. Но всё равно поражаюсь, как сложно было найти хоть какие-то материалы, которые хоть как-то вдаются в конкретику.

В итоге наиболее прояснили ситуацию мне:
- Фрагментики из этой лекции
- Этот пост который простыми словами поясняет зачем вообще сжатие и основные идеи из H.264
- ChatGPT :) — всё ещё бесценный инструмент для быстрого разбирательства в новой непонятной теме. Мог бы потратить ещё 3-5 часов смотря онлайн-лекции и собирая понимание по кусочкам, но ChatGPT сильно ускорил процесс, отвечая конкретно на мои непонятки (да, продолжаю рекламировать)

Yet another доклад — на этот раз рассказал про 3D Data Compression!

Идейно — есть различные методы для сжатия картинок/видео, для того чтобы их можно было эффективно хранить, и быстро передавать по сети. Аналогично, можно эффективно хранить 3D Mesh'и / NeRF'ы / Gaussian Splat'ы , если научиться их сжимать.

Что примечательно — мы в этот раз провели эксперимент и сделали оба доклада на английском. Для практики, и чтобы потенциально более разнообразную аудиторию привлекать на семинары / записи.
Для первого раза вышло неплохо, и пока, видимо, будем продолжать в том же духе.

Запись: https://www.youtube.com/watch?v=ukCG7k0B1VI&list=PL6_KZ0xVtfPSetSzL9siG0iwwqwDduoNc&index=4
Презентация: https://docs.google.com/presentation/d/1aMpEYSNnwP33dEfAh9GuKbazWSxGu6PqQlufCRyUWpw/edit?usp=sharing

Я считаю что материал подготовил хорошо — покрыл много идей, которые смог за 1.5 часа рассказать, и не слишком запинался когда рассказывал.

Ноо у меня также много комментариев для себя, т.к. формулировать мысли и говорить у меня всё ещё получается средне:

- Ошибка типичного академика — начинать рассказывать примитивы, не поясняя зачем. Слушателю сильно проще включиться в рассказ, если я сначала расскажу про общую тему доклада -> что надо разузнать чтобы понять конкретные примеры -> потом уже рассказывать про эту базу.

- В паре примеров (VideoRF / ZipNeRF) я говорил о том что эти методы впечатляющие, но не очень хорошо пояснил почему. Ну окей, VideoRF стримит 3D видео в real-time. А другие методы как делают? Почему их стримить не получилось бы? В чём вообще разница между стримингом и просто скачиванием? Не смог хорошо ответить на такие вопросы.

- Я хоть и посматривал на аудиторию время от времени, чтобы посмотреть, кивает ли кто-то — большую часть времени говорил глядя на презентацию / ноутбук. Если бы больше внимания было направлено на слушателей, более осознанно подходил бы к формулированию мыслей, наверное не так неврозно звучал бы.

- Опять когда поясняю идеи которые одновременно сложные/простые, забываю сказать про моменты которые меня путали, когда я впервые про них узнавал. Например, постоянно забываю сказать, что NeRF — нейронка, которую заново учат на любую новую сцену. Обычно у людей ассоциация что нейронка = что-то что мы обучаем на датасете, а потом запускаем на каких-то примерах. А здесь применение нейронки идейно другое. И наверняка я людей путаю, когда не уточняю такие ключевые идеи.

- И в целом надо начинать доклад с Motivation слайда, а не с Plan. А то опять я швыряюсь кучей понятий в слушателей, а они даже не понимают пока для чего это всё

3D VR пазлы — мощь

Начну делиться впечатлениями от Quest 3 который уже месяц как доехал. В этом видосике сразу демонстрируются 3 очень классные вещи:

- Passthrough — VR игры поверх реального пространства! На самом деле, изображение комнаты выглядит чууть более размытым и шумным чем на видео, но оно реально работает! Немного игр его поддерживают, но те что поддерживают, выглядят классно.

- Hand Tracking — контроллеры не нужны! Для этой игры конкретно — тут нужно просто хватать кусочки и ставить их на различные места, и Hand Tracking достаточно хорош для этого. Я даже доклад провёл на эту тему, и это пока наверное мой любимый доклад пока что. Управляться чисто руками, без контроллеров — кайф

- Такой пазл (по-моему) невозможен был бы не в VR. Тут нужна способность осматривать пазл со всех сторон, вставлять кусочки под определённым углом в определённое место (иногда глубоко в середину). И вообще сам immersion работает (не то чтобы я не погружаюсь в компьютерные игры, но VR всё-таки следующий уровень в плане погружения))

Игра называется Cubism — я её не очень часто запускаю, т.к. в основном я в Beat Saber / Asgard's Wrath 2 / Eleven Table Tennis (да, есть настольный теннис в VR, и он хорош). Но когда задолбал экшен, гоняю 3D пазлы (пока не наткнусь на уровень на который трачу >15 минут 🌚)

Небольшой комментарий для себя и моей попытки писать посты на сайт

Вот я сделал доклад про 3D Data Compression. Дальше для меня естественной мыслью было написать какой-нибудь средней длины пост, который немного пересказывает материал доклада.

Подумал-подумал, понял что многовато всего для одного поста, и лучше было бы разбить на несколько — 1) про Mesh Compression Survey, 2) про GDC Spiderman animation compression, 3) про VideoRF, и 4) который бы свёл их всех в один контекст

Э... многовато

Ладно, подумал я, я и так в твиттере уже настрочил тред своих мыслей про статью, почему бы не сделать расширенный пост обзора VideoRF, как я это сделал с LRM

Пару дней назад поставил пост в backlog, расписал немного плана и... желание писать куда-то укатилось.

Fast-forward до сегодня — исследую кое-какую тему про LLMки, и ловлю себя на мысли что у меня абсолютно 0 желания читать чужие посты-обзоры статей. Я им банально не верю — я всегда предпочитаю идти к источнику (статье) и читать там, а не разбираться в чужих интерпретациях.


Делаю логичный вывод что неудивительно что меня не тянет писать посты-обзоры статей, сколько бы мне не казалась статья удивительной — мне бы самому такой контент не зашёл. А что мне нравится делать — делиться ссылками того что я нашёл (чтобы читатель уже по-своему ознакомился), и моими новыми мыслями на эту тему.