Triplane meets Gaussian Splatting - ещё один метод 3Д реконструкции по одному кадру.
Ранее мы рассматривали метод OpenLRM.

➗С помощью двух сетей на основе трансформеров (декодера точек и triplane-декодера) получают гибридное triplane-gaussian представление
➗Использование gaussian splatting даёт более быструю визуализацию, по сравнению с NeRF-представлением в OpenLRM
➗Декодер точки генерирует облако точек по изображению
➗Затем triplane-декодер строит признаки гауссиан для этих точек
➗Такая декомпозиция позволяет преодолеть неструктурированность результата, свойственную прямой регресии атрибутов gaussian splatting
➗Далее 3D-Gaussianы декодируются MLP для быстрого рендеринга
➗Оба декодера масштабируются и обучены на обширных 3D датасетах
➗Оценка показала не только увеличение качества реконструкции, но и более быстрое время рендеринга
Оценка качества
🔣Обучение производилось на Objaverse-LVIS (46K моделей, 1156 категорий). С помощью блендера генерировался GT RGBD.
🔣Оценка производилась на датасете GSO (Google Scanned Objects) всего на 100 объектах.
🔣Измерялись метрики для 3D геометрии (Chamfer distance, Volume IoU), а также метрики для изображений (PSNR, SSIM, LPIPS).
🔣Сравнение идёт с:
1️⃣3D-генеративными моделями Point-E, Shap-E
2️⃣2D-диффузионные моделями Zero-1-2-3
3️⃣моделями прямого распространения на основе выхода 2D-диффузионных моделей One-2-3-45
Сравнение с OpenLRM
Прямое сравнение в статьях отсутствует, так как используются разные датасеты
➕Время реконструкции 140 ms, время рендеринга 3ms (против нескольких секунд в OpenLRM)
➕Достигается PSNR порядка 23 (против 20 у OpenLRM)
➖Тестирование всего на 100 объектах
➖В обучении и тестах использовались 3Д объекты, а не фотографии, а значит, качество на реальных данных будет ниже
🔣🔣🔣
Код пока в закрытом репозитории на HF. Демо может подвисать в ближайшие дни в связи с ажиотажем.

PASD - алгоритм для суперразрешения и улучшения фотографий, требующий текстовую подсказку на входе.
Статья, код, демо, колаб
➕На сегодняшний день это лучший алгоритм, который не портит исходное лицо.
➖Он предназначен для работы с фотографиями, а не с видео.

Жаль, что модель для колоризации сейчас недоступна.
🔣🔣🔣 В комментариях схема модели с пояснениями.

У шлемов виртуальной реальности в их текущем виде много полезных применений. Одно из них - геймификация привычных занятий. Пример такого решения - отечественная подводная система VRDiver (участник проекта "Сколково"),, разработанная в Екатеринбурге.
🔣Система обеспечивает полное погружение пользователя в виртуальную реальность. Согласитесь, что плавать с коралловыми рифами вокруг намного приятнее 😍 Виртуальный контент при этом обновляется.
🔣Система состоит из полнолицевой плавательной маски, трекинга 6DoF и крепления для защиты пользователя от столкновения со стенками бассейна.
🔣Уже есть клиенты в Екатеринбурге, Санкт-Петербурге, Рязани, Уфе и других городах. В Москве, к сожалению, клиентов нет, поэтому опробовать не могу.
🔣🔣🔣
С какими примерами VR-геймификации вы уже сталкивались в реальной жизни?

Платформы разметки данных
Чтобы обучить алгоритм машинного обучения, нужно собрать датасет. Часто можно найти готовые датасеты на kaggle, наскрэппить в интернет или использовать генеративные модели. Но для некоторых задач или данных требуется ручная разметка (например, проприетарного датасета). В этом случае на помощь приходят платформы для разметки данных.

🔣Одна из таких платформ - Supervisely - позволяет делать разметку изображений, видео, лидарных облаков, DICOM и объёмных данных.
🔣Используя мощь полуавтоматической разметки, можно значительно ускорить разработку и повысить качество результирующего решения (см. картинку).
🔣С помощью Supervisely можно создать собственную платформу с интеграцией многочисленных инструментов с открытым исходным кодом (github) в единую экосистему. В Enterprise Edition поддерживаются закрытые репозитории Git для авторских приложений.
🔣Supervisely - очень прозрачная, доступная для использования платформа. Вот, например, полный тьюториал, а вот - документация. Кроме этого, у них очень хорошие блоги, в которых понятным языком описываются ключевые понятия, алгоритмы и закономерности, без избытка маркетинга.

В этой компании работает один из моих подписчиков - Максим. Он написал несколько очень неплохих блогов-постов, например 1 и 2, а также у него есть канал. Максим хорошо разбирается в современных алгоритмах сегментации. Подписывайтесь, кому интересно.

Минутка лирики.
➗Мне особенно греют душу примеры разметки аграрных данных, потому что это очень важная для народного хозяйства область.
➗С учётом близкой готовности гуманоидных роботов к работе, представляете, как здорово будет накатить им апдейт для сегментации и классификации сорняков и сидеть на веранде, пока он вкалывает под палящим солнцем?..
➗А чтобы это случилось, нужно готовить датасеты с листочками и стебельками.

Работа учёных очень разнородна, тем не менее каждому приходится так или иначе читать статьи, от осведомлённости и оперативности учёного зависят его научные результаты.
SciSummary - пример важного инструмента современности, рабочей среды учёного-исследователя. Сайт представляет собой ИИ-инструмент для работы с научными публикациями, позволяющий реферировать и упрощать текст научных работ (изначально узнала про него отсюда).
Доступный функционал:
🔣выжимка текста (из одной или из пачки публикаций),
🔣обсуждение статей с языковой моделью,
🔣извлечение картинок,
🔣извлечение списка литературы с автоматическим поиском источников в сети,
🔣внесение заметок.
Инструмент платный (5$ за млн слов). Бесплатно удалось только один раз прогнать реферирование.

Не могу сказать, чтобы он идеально справился с моими ожиданиями от ИИ-помощника. Рассмотрю, что понравилось, а что нет.
➕ Удобная навигация в пространстве публикаций
➕ Удобно составлять заметки
➕ Удобно быстро выдрать картинки из текста
➖ Не достаёт таблицы
➖ Не анализирует цифры
➖ Реализован он на базе GPT3, поэтому и выжимки слабоваты

Чего бы мне хотелось от подобных систем в своей области и типах работ:
1️⃣формулировки проблемы в терминах: решаемая задача (например, SLAM или text-2-3d), входные данные, выходные данные
2️⃣перечисления ключевых идей (допустим gaussian splatting, triplane) + картинка со схемой алгоритма
3️⃣формулировки результатов в терминах: датасет для обучения, датасет для оценки, метрики оценки, бенчмарк, выводы + таблица
4️⃣требования по скорости и памяти
5️⃣возможность автоматической подгрузки медиа (например, с ютьюба), скрэппинг ссылок на сайт проекта, гитхаб и колабы. Давече я проверяла - Bing в Edge с этим справляется на ура.
6️⃣возможность автоматической аггрегации результатов из табличек для сравнения разных методов на одинаковых данных
7️⃣оповещение о вирусной публикации в смежной области, в которой представлена новая идея (возможно, её можно применить у себя)

В общем, похоже, что мне отчаянно не хватает бесплатного маркетплейса научных статей.

Вышла моя первая статья на Хабр. 🖥
Посвящена обзору существующих решений с помощью алгоритмов 3D Gaussian Splatting, основана на недавнем научном обзоре и дополнена иллюстрациями, многочисленными ссылками и пояснениями.

Статья суровая🥸, так что выбирайте интересные вам разделы.

Приятного чтения! Плюсуйте 🔝

Шёл 2024 год.
На входе - свежая сгенерированная PDF, не скан древней рукописи, завалявшейся на библиотечном складе.
На выходе - картинки и 30% таблиц.

Ранее я писала, что можно автоматизировать саммаризацию научных статей и даже получить неплохие ответы на конкретные вопросы по ней, однако с задачей выделения таблиц и изображений из PDF всё непросто.

С одной стороны, якобы есть множество решений, а на практике они плохо работают и не справляются в нужной мне постановке.

🔣Начнём с простого. Плагин Chat GPT Scholar AI должен выделять изображения и таблицы. И действительно, если попросить его

Extract all images from test.pdf, store them as .png, compress them in zip-archive and send me a link to the resulting archive

то он присылает архив с изображениями. Там будут все изображения, но изображение со схемой, поясняющий алгоритм, будет отсутствовать.
Того же эффекта можно добиться, если воспользоваться любым сторонним сервисом или локальным скриптом, например spire.pdf (приаттачила свой скрипт).

🔣В случае выделения таблиц всё ещё плачевней.
Во-первых, я протестировала классические способы camelot и tabula-py. А также решение из статьи RuVDS на Хабре.
Во-вторых, нейросетевое распознавание от Microsoft и deepdoctection.
В-третьих, попросила выделить таблицы ScholarAI.
Прикрепляю для любопытных также исходный pdf, странички-изображения для тестов и выдачи от Scholar AI.

И вот что получилось:
➗camelot и tabula-py детектировали таблицы только на втором примере test2.png. Решение от RuVDS также не детектирует все таблицы.
➗решение от Майкрософт тоже упорно детектирует только одну табличку при любых настройках
➗Scholar AI пакует весь текст в списке и выдаёт такое решение за таблицы. Даже при таком явном последовательном промпте он с третьей попытки выдал полную чушь

1. Extract tables from test.pdf. Table is a structure, that has "Table" word before or after it. It contains 2 or more rows and 2 or more columns. Don't extract tables without keyword Table before or after them or tables with single column or a single row.
2. Store tables as .csv, compress them in zip-archive and send me a link to the resulting archive.

⚡️ Единственное, что нормально справляется с задачей - deepdoctection. И хотя в части распознавания конкретных полей и значений в них у него есть огрехи, сами блоки таблиц он находит правильно, а значит, можно их как-минимум вырезать как картинки, а как максимум вручную корректировать выделенные таблицы.

Однако, это удовольствие идёт с припиской:

Please note: The models for layout detection and table recognition are not open sourced. When you start using deepdoctection you will get models that have been trained on less diversified data and that will perform worse. OCR isn't open sourced either: It uses AWS Textract, which is a commercial service. Keep this in mind, before you get started with your installation and observe dissapointing results. Thanks.

❗️При попытке развернуть локальное решение, снова столкнулась с тем, что таблицы не выделяются. Также не детектируется основная часть формул и картинка-схема алгоритма.

Выводы:
1️⃣Извлечь все изображения из PDF просто.
2️⃣Гарантированно извлечь таблицы можно только с помощью проприетарного конвейера. Аналогичная ситуация с формулами.
3️⃣Выделить картинку-схему из статьи - самая сложная задача. Как правило, если у статьи есть github или сайт проекта, там бывает вышеупомянутая картинка, и это должно быть проще.

Что делать? Будем пользоваться серверным решением с huggingface исключительно в личных целях.

UPD: в комментариях указали, что можно использовать сервис ar5iv (или даже развернуть его локально). Он позволяет парсить pdf-статьи в html. А уже из html получить любой элемент будет намного проще.
🔣🔣🔣Аттач (документы)