Работа учёных очень разнородна, тем не менее каждому приходится так или иначе читать статьи, от осведомлённости и оперативности учёного зависят его научные результаты.
SciSummary - пример важного инструмента современности, рабочей среды учёного-исследователя. Сайт представляет собой ИИ-инструмент для работы с научными публикациями, позволяющий реферировать и упрощать текст научных работ (изначально узнала про него отсюда).
Доступный функционал:
🔣выжимка текста (из одной или из пачки публикаций),
🔣обсуждение статей с языковой моделью,
🔣извлечение картинок,
🔣извлечение списка литературы с автоматическим поиском источников в сети,
🔣внесение заметок.
Инструмент платный (5$ за млн слов). Бесплатно удалось только один раз прогнать реферирование.

Не могу сказать, чтобы он идеально справился с моими ожиданиями от ИИ-помощника. Рассмотрю, что понравилось, а что нет.
➕ Удобная навигация в пространстве публикаций
➕ Удобно составлять заметки
➕ Удобно быстро выдрать картинки из текста
➖ Не достаёт таблицы
➖ Не анализирует цифры
➖ Реализован он на базе GPT3, поэтому и выжимки слабоваты

Чего бы мне хотелось от подобных систем в своей области и типах работ:
1️⃣формулировки проблемы в терминах: решаемая задача (например, SLAM или text-2-3d), входные данные, выходные данные
2️⃣перечисления ключевых идей (допустим gaussian splatting, triplane) + картинка со схемой алгоритма
3️⃣формулировки результатов в терминах: датасет для обучения, датасет для оценки, метрики оценки, бенчмарк, выводы + таблица
4️⃣требования по скорости и памяти
5️⃣возможность автоматической подгрузки медиа (например, с ютьюба), скрэппинг ссылок на сайт проекта, гитхаб и колабы. Давече я проверяла - Bing в Edge с этим справляется на ура.
6️⃣возможность автоматической аггрегации результатов из табличек для сравнения разных методов на одинаковых данных
7️⃣оповещение о вирусной публикации в смежной области, в которой представлена новая идея (возможно, её можно применить у себя)

В общем, похоже, что мне отчаянно не хватает бесплатного маркетплейса научных статей.

Вышла моя первая статья на Хабр. 🖥
Посвящена обзору существующих решений с помощью алгоритмов 3D Gaussian Splatting, основана на недавнем научном обзоре и дополнена иллюстрациями, многочисленными ссылками и пояснениями.

Статья суровая🥸, так что выбирайте интересные вам разделы.

Приятного чтения! Плюсуйте 🔝

Шёл 2024 год.
На входе - свежая сгенерированная PDF, не скан древней рукописи, завалявшейся на библиотечном складе.
На выходе - картинки и 30% таблиц.

Ранее я писала, что можно автоматизировать саммаризацию научных статей и даже получить неплохие ответы на конкретные вопросы по ней, однако с задачей выделения таблиц и изображений из PDF всё непросто.

С одной стороны, якобы есть множество решений, а на практике они плохо работают и не справляются в нужной мне постановке.

🔣Начнём с простого. Плагин Chat GPT Scholar AI должен выделять изображения и таблицы. И действительно, если попросить его

Extract all images from test.pdf, store them as .png, compress them in zip-archive and send me a link to the resulting archive

то он присылает архив с изображениями. Там будут все изображения, но изображение со схемой, поясняющий алгоритм, будет отсутствовать.
Того же эффекта можно добиться, если воспользоваться любым сторонним сервисом или локальным скриптом, например spire.pdf (приаттачила свой скрипт).

🔣В случае выделения таблиц всё ещё плачевней.
Во-первых, я протестировала классические способы camelot и tabula-py. А также решение из статьи RuVDS на Хабре.
Во-вторых, нейросетевое распознавание от Microsoft и deepdoctection.
В-третьих, попросила выделить таблицы ScholarAI.
Прикрепляю для любопытных также исходный pdf, странички-изображения для тестов и выдачи от Scholar AI.

И вот что получилось:
➗camelot и tabula-py детектировали таблицы только на втором примере test2.png. Решение от RuVDS также не детектирует все таблицы.
➗решение от Майкрософт тоже упорно детектирует только одну табличку при любых настройках
➗Scholar AI пакует весь текст в списке и выдаёт такое решение за таблицы. Даже при таком явном последовательном промпте он с третьей попытки выдал полную чушь

1. Extract tables from test.pdf. Table is a structure, that has "Table" word before or after it. It contains 2 or more rows and 2 or more columns. Don't extract tables without keyword Table before or after them or tables with single column or a single row.
2. Store tables as .csv, compress them in zip-archive and send me a link to the resulting archive.

⚡️ Единственное, что нормально справляется с задачей - deepdoctection. И хотя в части распознавания конкретных полей и значений в них у него есть огрехи, сами блоки таблиц он находит правильно, а значит, можно их как-минимум вырезать как картинки, а как максимум вручную корректировать выделенные таблицы.

Однако, это удовольствие идёт с припиской:

Please note: The models for layout detection and table recognition are not open sourced. When you start using deepdoctection you will get models that have been trained on less diversified data and that will perform worse. OCR isn't open sourced either: It uses AWS Textract, which is a commercial service. Keep this in mind, before you get started with your installation and observe dissapointing results. Thanks.

❗️При попытке развернуть локальное решение, снова столкнулась с тем, что таблицы не выделяются. Также не детектируется основная часть формул и картинка-схема алгоритма.

Выводы:
1️⃣Извлечь все изображения из PDF просто.
2️⃣Гарантированно извлечь таблицы можно только с помощью проприетарного конвейера. Аналогичная ситуация с формулами.
3️⃣Выделить картинку-схему из статьи - самая сложная задача. Как правило, если у статьи есть github или сайт проекта, там бывает вышеупомянутая картинка, и это должно быть проще.

Что делать? Будем пользоваться серверным решением с huggingface исключительно в личных целях.

UPD: в комментариях указали, что можно использовать сервис ar5iv (или даже развернуть его локально). Он позволяет парсить pdf-статьи в html. А уже из html получить любой элемент будет намного проще.
🔣🔣🔣Аттач (документы)

Выкладываю понравившееся видео с ютьюба. Перевод выполнен в rask.ai

🔝
Уже, после вчерашнего замечания, внедрили в UI пометку о необходимости сокращения числа символов для избежания быстрой речи!

🙁Осталось мне научиться хитрости правильно ставить ударения в транскрибации.

В этом видео вместили много существующих на сегодняшний день роботов:
- гуманоидные роботы
- обслуживающие роботы
- промышленные роботы
- роборуки
Хороший ёмкий мотивирующий ролик для всех, связанных с робототехникой!

Samsung выпустил первый AI-смартфон Galaxy S-24
Умные фичи:
🔣мгновенный поиск по любой области на экране (через google-поиск изображений)
🔣синхронный перевод звонков и писем (но Telegram не поддерживается, а русский язык будет только в апреле)
🔣клавиатура Самсунг предлагает разный стиль сообщений
🔣ассистент для заметок: рукописный ввод, саммаризация текста, создание обложки с кратким содержанием на основании заметок
🔣преобразование аудио в текст + перевод текста + саммаризация перевода
🔣генерация изображений по ключевым словам и установка их в качестве обоев
🔣функции редактирования фотографий: outpainting, inpainting, AI ассистент рекомендаций коррекции фотографий

Вопросы к аудитории:
1. Когда по-вашему ждём ответочку от Huawei?
2. Чего ещё вы ждёте от AI-смартфонов?

Пост для любителей LLM-библиотек
Представляю вам crewai - библиотеку для оркестрации LLM-агентов.
Разобраться в ней может почти каждый. Необходимо всего лишь уметь:
- создавать python-среду и устанавливать пакеты
- понимать базу программирования на питоне
- уметь читать документацию уже не нужно - заменяем на умение ставить VPN и использовать робота, отвечающего на вопросы по документации

➕Самый её главный плюс - возможность использовать бесплатно любую языковую модель из LangChain, а не только лишь ограничиваться платной версией OpenAI.

➖С русским языком я экспериментировала, но с ним есть определённая загвоздка: интерпретатор кооперации агентов все команды всё равно транслирует в английский, в результате чего соорганизовать агентов намного сложнее. У меня даже получилось зациклить вызов LLM... 🫣
🔣🔣🔣
В комментариях прилагаю питон-файл, которым команда из двух агентов сгенерировала вот такой пост про их родную библиотеку.
Один из агентов искал информацию в сети, а второй писал текст. Вот подробный ютьюб-тьюториал для заинтересовавшихся.

Рассмотрим ещё одно решение в задаче трёхмерной реконструкции по одному кадру ZeroShape (проект, статья, код, демо). Ранее мы рассматривали: OpenLRM, Tiplane meets Gaussian Splatting
➗Постановка задачи
- На входе - фотография объекта + маска (легко получается сторонним средством типа rembg - вкладка Estimated Mask в демо)
- На выходе - геометрическая модель (только форма, без текстур)
➗Ключевые особенности
- В отличие от последних трендов, этот подход не использует генеративное моделирование, а вместо этого использует прямой регрессионный подход к восстановлению формы объекта, что обеспечивает более высокую скорость.
- Кроме этого, авторы отобрали данные из существующих разрозненных баз и оформили их в виде отдельного бенчмарка.
➗Описание алгоритма
В этом подходе трёхмерная модель представляется в виде неявной модели занятости (occupancy). Это представление по сути является бинарным классификатором трёхмерных точек. Точки внутри объекта имеют метку 1, а точки снаружи - метку 0.
Оно описывается нейросетью, к которой можно посылать запросы для каждой точки пространства, и сеть будет выдавать ответ для классификатора. Для того чтобы получить это неявное представление, выполняются предварительные шаги - построение маски глубины, восстановление положения камеры. Затем по ним строится двумерная карта проекции, которая подаётся на вход основной нейросети.