Вышло обновление для Quest Pro, теперь там можно делать вот такие крутые Mixed Reality штуки.

Особенно эффектно выглядит рисование.

@ai_newz

👀
Т.е., если я правильно понимаю, берут (опять) Stable Diffusion, прогоняют процесс диффузии на рендере этих объектов с пустыми текстурами.
А когда процесс заканчивается и получается цветная версия сцены (причём все объекты не должны меняться в форме/расположении), она просто проецируется на объекты. И из голых Mesh'ей получаются качественно текстурированные объекты. Правда текстура проецируется только на видную часть — но со временем точно появятся алгоритмы которые учитывают все стороны объектов.

Идея простая, а работы потенциально сохранит ОЧЕНЬ много, т.к. текстурирование — дело долгое и неприятное.

Ааа, ребята, не так быстро, подождите, я хочу спать иногда, а не нонстопом изучать новое! 🤖

Просто посмотрите на этот текстуринг в Blender, хуяк, и вы уволены🤡

На самом деле, это пока просто прожект, надо подкрутить распознавание объектов в кадре или сделать текстуринг по выделенным мешкам с указанием материала и графического референса.

Ржу, мой коллега из Аргентины проставил сегодняшний матч Аргентина-Хорватия в рабочем календаре

Где-то недавно видел подборочку стартапов которые круто задействуют ML, и среди них лично для меня выделился Luma, потому что они создают софт для стабильной реконструкции любых 3D-объектов по видео, причём… NeRFами !!

Ещё в этом посте писал что уверен что какой-то стартап уж точно должен подобрать NeRFы как главный инструмент для реконструкции, и вот нашёлся такой. Правда, компания основана в сентябре 2021, поэтому на момент того поста они наверное уже огого какой продукт имели.

Есть у них только iOS App, что для таких приложений естественно, т.к. у айфонов есть Lidar (лазерный сканер), который сильно упрощает работу любому Computer Vision алгоритму. Грустно, но уверен, что со временем дойдёт и до телефонов без специальных сканеров.

Недавно уже здесь говорил о прелестном Obsidian и о том как я уже многие дела в нём веду. Так вот, я рассказывал о том, как у него есть возможность визуализировать красивый граф всех записок и их связей, причём по цветам.У него есть ещё одна фича — визуализировать такой "локальный граф" для конкретной записки, отображая всех непосредственных соседей.

Так вот, меня в Obsidian раздражало то, что если я настраиваю определённое отображение "глобального графа", то эти настройки никак не переносятся на "локальный граф", это надо дополнительно делать руками. А дополнительно делать руками не хотелось.

Так что, как любой уважающий себя программист, я решил потратить несколько часов автоматизируя то, что занимает минуту — я написал плагин для Obsidian, который просто одной командой переносит эти цветовые настройки.

Ещё в сумме часа два заняли разбирательства с тем как правильно подать Pull-Request в Obsidian Community Plugins. И в итоге, та-дааа — сделанный мной мизерный кусок кода теперь доступен любому пользователю! Можно даже увидеть в официальном списке плагинов: https://obsidian.md/plugins?search=sync%20graph

Теперь могу честно говорить что поучаствовал в каком-то Open-Source 🕺

Ну почти
Это я опять испытываю разные репозитории по работе, на этот раз это Neural Head Avatars для реконструкции модели головы.
Через какое-то время у меня будет эта же голова, но и с текстурой!

Если хотите попробовать что-то подобное на себе, есть https://webdemo.avatarsdk.com/
Правда он работает только с одной фоткой, а Neural Head Avatars с целым видео, и получается поточнее. Но всё равно у AvatarSDK результаты неплохие.

Продолжение саги о получении виртуального себя
Я смог получить текстурированную модельку!! Поверьте, тут это было нетривиально.
Тут много всяких неточностей в текстуре и в UV-mapping'е, но это уже мелочи.

Наткнулся недавно на сайт-компаньон + портал ресурсов книжки Real-Time Rendering. Я и представить себе не мог, что такое количество полезностей, знаний, образовательных ресурсов может быть скоплено в одном месте.

И я даже не говорю о самой книге (которую я, к слову, не читал), я говорю о главной странице сайта с Table of Contents, где они перечисляют главы и главные ресурсы, мотивирующие содержание тех глав.
Мне кажется, одна эта страница этого сайта может быть полезнее всей книги — огромное количество ссылок на серьёзные курсы с бесплатными опубликованными лекциями, или посты с глубоким разбором тем, материал по которым гуглить сложно.

То что мне показалось наиболее ценным:

- Онлайн-учебник линейной алгебры с интерактивными визуализациями. Ссылка
- Курсы Advances in Real-Time Rendering от конференции SIGGRAPH за последние 10+ лет с опубликованными презентациями, плюс в некоторых случаях и с записями. Ссылка
- Полное введение в Фотограмметрию от Unity. Ссылка
- Подборка подробных разборов графических движков за огромнейшими играми типа GTA V / Witcher 3. Ссылка
- Полноценный курс программирования шейдеров на GLSL, сделанный в виде сайта, который вы хостите у себя локально. Ссылка
- Сборник ресурсов по моделированию гор, растений, добавлению погодных эффектов на ваших рендерах, и всякого-всякого. Ссылка
- Опубликованная в интернет целая глава из книги посвящённая Collision Detection. Ссылка

И там ещё много-много ссылок на посты на нишевые темы, которые я был бы очень рад почитать лет так 4-5 назад + сборник бесплатных книг на связанные темы + ссылки на подобные сайты-аггрегаторы ресурсов.

Библиография у их книги вообще состоит из почти 2000 ссылок
(поправьте меня если для серьёзных научных книжек это норма)

Я в шоке от того, какое количество бесплатных онлайн-ресурсов остаются ненайденными, даже когда они могут быть очень нужны.

Я, например, в классе 10-11 оочень интересовался компьютерной графикой, и нашёл какое-то количество ресурсов, которые помогли мне самостоятельно образоваться в нужной математике, узнать как это всё запрограммировать в Python / C++.
Но у меня всегда было ощущение, что где-то там есть сайтик/книжка/видео на Youtube, которые были бы идеальны для дальнейшего изучения связанных тем — но их очень сложно искать.

Поэтому, в надежде выручить себя или кого-нибудь ещё в будущем, я начал собирать все полезные образовательные ресурсы на компьютерную графику / машинное обучение / программирование / etc.
Хранил я это всё в Notion, но вот день назад решил перекинуть всё это в свой Obsidian. И какой же шок меня ждал, когда я решил из интереса проверить одну из ссылочек из того списка. Столько хорошо изложенного материала, но его так сложно находить, когда он нужен.

Этот список ресурсов у меня огромный, и мне очень хочется как-то донести его до всех нуждающихся, но не знаю как(

Ха-ха, как просто, оказывается, можно частично решить мою проблему из предыдущего поста
К моему величашему счастью, Obsidian'овский плагин Dataview позволяет мне скомпоновать все мои странички, на которых я указал ссылку, в одно место.

В итоге:
1. Запрашиваю у Dataview все файлы, у которых я указал в YAML-frontmatter атрибут link
2. Использую API Dataview чтобы отобразить все эти странички (имя страницы + ссылка + список страниц на которые они ссылаются) в виде Markdown-таблицы
3. Использую Community-plugin Obsidian'а Table to CSV Exporter чтобы эту табличку сохранить в CSV
4. Использую импорт в Notion чтобы разом создать из этого Notion'овскую красивую таблицу.
Вуаля

Вот так выглядят первые два пункта в виде Dataview-запроса:
p = dv.pages('"Notes"').filter((page) => (page.type == "link"));

dv.table(
["Name", "Link", "Tags"],
p.map((page) => [
page.file.name,
page.link,
page.file.outlinks.join(", ")
])
)

Завершённый продукт: https://rare-save-0fa.notion.site/6eedcf7b68b9454986b894456f165df2?v=8ef4d2426ec14874beb2bdd405190711

Это то что я на коленке смог собрать за минут 30. Если дополнить информацией, автоматизировать, то будет очень удобный инструмент, который красиво отображает все собранные мной ресурсы. Классно

UPD: Добавил подтягивание описаний в табличку

Попытался пофиксить блендер через Blender

У меня тут случилось маленькое приключение на много месяцев, мне показался процесс очень весёлым.
Осторожно, много буков.

Был у нас вот такой набор из миксера, blender'a и stick-blender'а.
Ну не мечта ли? Осталось только не сломать…

1. Где-то в июле-августе 2022 года я попытался сделать смузи путём замораживания фруктов, частичного размораживания и скармливания в блендер. Только я забыл шаг частичного размораживания…
В результате блендер в процессе заел и отказался дальше блендерить. Диагноз — пластиковая деталь, сцепляющая ручку с мотором и сам блендер, разломалась на 3 части.

2. На следующий день попытался склеить Моментом обратно. После 3 попыток я таки смог последовать инструкциям с тюбика, и получил склеенную детальку которая на *тык* не разваливалась. Но как только вставлял в блендер и пытался опять поблендерить, она скорости мотора не выдерживала.
Окей, отложил опять развалившуюся детальку на полку на светлое будущее, когда я придумаю что-то получше.

3. Где-то в октябре я опять вспомнил про сломанный блендер, и решил обратиться в DIY форумы. Написал в несколько, только из DIY-Forums пришла рекомендация найти эпоксидный двухкомпонентный клей и склеить им.
Опробовал — так же развалился на стадии блендеринга. Но по ощущению и правда был покрепче.

4. Ещё через 1-2 месяца на свет появился ChatGPT и я спросил у него что можно сделать.
Из нового — он порекомендовал отнаждачить части детальки перед склеиванием. Опробовал, склеил опять Моментом (да, халтура), план провалился там же.

5. Где-то тут я осознал что могу 3D-напечатать детальку, если получу её 3D-модельку и найду сервис 3D-принтинга в Тбилиси. Со вторым проблем точно не будет, а вот первая часть более интересная.
Первая идея — найти в интернете либо чертежи/модельку детальки на сайте Sencor, либо в любых других источниках.
На сайте Sencor пусто, однако по моему запросу в гуглу всплыла очень похожая моделька, *но* она подписана как модель для детальки другой модели блендера, а они на вид могут быть похожи, но по факту по размерностям отличаться.

6. Где-то тут я подумал, что могу заняться созданием 3D-модельки сам. Первая идея — Фотограмметрия! Как же я сам не додумался! Моя любимая тема!
Выпросил у Маши её IPhone, запустил приложение Luma AI о котором говорил в этом посте, начал сканировать детальку.
Беда — Luma почему-то не умеет в очень маленькие объекты. А тут деталька 12мм x 12мм x 15мм. Еле еле авто-фокус наводится, плюс почему-то ограничивающий Bounding Box для реконструкции имеет строгие ограничения на минимальную размерность. После пары попыток завести Lum'у на этой детальке я сдался.

7. Полез в Agisoft Metashape, который имеет бесплатную версию с базовой Фотограмметрией. Сделал 20-30 фоток с моей старой зеркалки (Canon EOS 1100D), и скормил в него.
Результат — он не справился. Наиболее вероятно — потому что классическая Фотограмметрия очень плохо работает с объектами одного сплошного цвета.

8. Fine, I'll do it myself
Взял пару из сделанных фоток, затащил в Blender как референс, создал цилиндр и начал сам моделировать в нужную форму.
Пытаться моделировать что-то мелкое, причём где важны точные размерности, по референсу — ад, т.к. надо знать где точно камера находилась относительно объекта, как именно объект был повёрнут, и всё такое.

9. Окей, чтобы всё было чётко выровнено и можно было моделировать по референсам сильно точнее, попробую импортнуть выровненные камеры и облако точек из Agisoft внутрь Blender'а
Смог благодаря этому плагину для Blender'а.
Начал моделировать по референсам и выравнивая по тому облаку точек что есть — всё равно сложно одновременно выравнивать модельку и продолжать деформировать.

10. Океееей, склеил в 100ый раз детальку (реальную) воедино Моментом, взял рулетку и измерил все эти миллиметровые высоты, отступы, радиусы, и т.п.
И начал с нуля, без референсов, смотря на детальку, измерения и свои кое-какие чертежи, моделировать. 2 часа до завершённой модельки.
В какой-то момент наклон модельки поехал, поэтому модификаторы для симметрии сломались. Переделываем.
Опять с нуля, но теперь с понятными наперёд шагами — управился за 20 минут.

11. Раз 5 перепроверил — моделька очень похожа на реальный референс.
Идея — почему бы не сравнить с модельками которые я видел в пункте 5. Там они могут быть другие по размеру, зато по форме очень напоминали оригинал.
Нашёл одну такую → скачал → импортнул в Blender, чтобы сравнить с моей.
На следующей строке панч, и вы наверное уже можете его угадать…
Эта скачанная с интернета моделька идентичная моей по всем пропорциям, даже сильно лучше проработана.
Вердикт — мог на 5 шаге остановиться 🙃

12. Уже отправил запрос в местный 3D-printing сервис, напишу апдейт как что получится!

Вкратце — сломал блендер, бесконечно прокрастинировал починку. В итоге через много месяцев прокрастинации с малейшими продвижениями, пришёл таки к решению 👍 👌

Суть истории — даже для такой мелочи размером в 1.5 сантиметра можно настолько заморочиться ;)
Настолько много лишних шагов, ошибок в тупейших местах, ради мизерной пластиковой детальки. Я почему-то дико ржу с этого)))

Когда история придёт к логическому завершению, точно сделаю длиннопост, описывающий весь процесс.

P.S.: слева скачанная с интернета моделька, посередине фотка кое-как склеенной детальки, справа моя модель

После почти 3х лет одержимости NeRFами я наконец-таки впервые создал свой собственный!

Терпения у меня было мало, поэтому я закончил обучение модельки до того как она получше и поувереннее материализовалась.

Оказалось что Nerf-studio очень User-friendly, и завести прям просто, плюс очень приятный интерфейс для визуализации обучения в реальном времени.
Короче, всё для людей 👌

Я тут лекцию по NeRFам успел прочитать

Совершенно случайно, пока для этой детальки искал 3D Printing Service в Тбилиси, наткнулся в телеграме на этот чат где организуются периодические доклады про Computer Graphics. Как только нашёл чат, сразу вызвался рассказать про NeRFы)

Всю поездку в Сигнахи отдохнуть толком не мог потому что работал над содержанием доклада и презентацией ;)
Но в итоге я сам своим докладом очень доволен, и слушатели вроде как сказали что получилось классно.

Суть была в том чтобы рассказать как можно более beginner-friendly, не слишком вдаваясь в технические детали. При этом показать множество вариантов как вы сами можете это опробовать.

Кому интересно:

Запись доклада: https://youtu.be/Lxaphr20cw8
Ссылка на презентацию: https://docs.google.com/presentation/d/1KcWQmemftE1HYlciFCzDDGt6w7FBZpUnEIy5lb5HVfY/edit?usp=sharing

P.S.: я много тараторю, спешу когда какие-то вещи объясняю 🥲
Буду работать над этим

Иногда если смотреть на мои CLI команды время от времени становится так смешно

Испытываю https://github.com/Zielon/INSTA, про который кстати в презентации тоже говорил: хороший рабочий метод для получения анимируемой модели головы по видео, с использованием NeRFов