Сравнение GigaChat Max и GPT-4o-mini в анализе финансовой отчетности: технический разбор

🤖 В рамках Enterprise RAG Challenge Артём Вяткин разработал и протестировал RAG-решения для анализа 100 финансовых отчётов компаний. В фокусе исследования было сравнение эффективности GigaChat Max 26.20 и GPT-4o-mini при работе с корпоративной отчётностью. Результаты и описания всех решений можно посмотреть здесь.

Что получилось?

GigaChat Max 26.20:
🔘Извлечение данных (R): 60.7/100
🔘Генерация ответов (G): 62.8/100
🔘Общий счёт: 93.1/133

GPT-4o-mini:
🔘Извлечение данных (R): 62.9/100
🔘Генерация ответов (G): 62.5/100
🔘Общий счёт: 93.9/133

🥇 Модели показали схожие результаты, разница заметна лишь в подходах к RAG. В общем рейтинге среди 43 команд лучшее решение заняло 32 место с 93.9 из 133 очков.

Методология:

🔘Обработка документов. Для извлечения данных из PDF-отчётов применялась библиотека PyMuPDF.
🔘Эмбеддинги. Преобразование текста в векторные представления осуществлялось с использованием эмбеддингов text-embedding-3-small от OpenAI.
🔘Поиск документов. Реализован механизм семантического поиска по косиносному расстоянию. В ходе тестирования рассматривался гибридный подход с добавлением TF-IDF, однако значимого улучшения метрик достичь не удалось.
🔘Работа языковой модели. LLM выбирала компании из запроса и по ним извлекались документы. Модель анализировала полноту полученных данных, формировала уточняющие запросы при необходимости и генерировала финальный ответ на основе собранного контекста.

🗯Основной целью исследования было не победить в соревновании, а сравнить работу GigaChat Max и GPT-4o-mini в базовом RAG-решении. В будущем возможно тестирование альтернативных подходов и оптимизаций, — отметил Артём Андреевич.

📰 Дайджест новостей в сфере ИИ: собрали главные инфоповоды недели

На этой неделе ИИ демонстрирует поистине человеческие способности: рассуждает на сложные темы, создаёт произведения цифрового искусства, охраняет конфиденциальность данных, помогает тестировать приложения и разрабатывать новые нейросети. Подробности — в нашем дайджесте🔽

🇷🇺 В России:

Бенчмарк MERA пополнился данными зарубежных моделей, среди которых Claude 3.7 Sonnet, Gemini Flash 2.0 и DeepSeek V3

Исследователи AIRI, «Сбера», МТУСИ, ИСП РАН и «Сколтеха» представили метод GLiRA для анализа уязвимости персональных данных в нейросетевых моделях

«Скала^р» представила программно-аппаратный комплекс для разработки, обучения и запуска различных типов моделей ИИ

Bell Integrator разработала платформу автоматизации создания ПО «Алькод» на базе искусственного интеллекта

МТС запустила сервис MWS, который поможет бизнесу удалённо тестировать мобильные приложения и сайты с помощью ИИ

«М.Видео-Эльдорадо» и компания Qrobotics запустили пилотный проект по использованию в магазинах роботов-уборщиков Phantas

🌍 В мире:

Китайская компания Tencent представила ИИ-модель T1 с возможностями рассуждений

Microsoft представила шесть ИИ-агентов для Security Copilot, способных обрабатывать оповещения о фишинге и потере данных

Фонд Arc Prize Foundation выпустил тест для ИИ-моделей ARC-AGI-2, в котором o1-pro от OpenAI и R1 от DeepSeek набрали около 1%

Google представила новое семейство рассуждающих моделей Gemini 2.5

Компания Илона Маска xAI запустила чат-бот Grok в Telegram

ChatGPT научился редактировать и самостоятельно генерировать изображения через GPT-4o

P.s. В соцсетях новый тренд — с помощью нового генератора изображений в ChatGPT пользователи обрабатывают фотографии в стиле Хаяо Миядзаки. К нему уже присоединился Илон Маск, а генерации с Эльвирой Набиуллиной репостнул Telegram-канал Центробанка

Новый закон против кибермошенников: что меняется?

⚡️Президент подписал закон о борьбе с телефонным и интернет-мошенничеством. Это важный шаг в защите граждан: только в 2024 году каждый 3-й из 10 респондентов сталкивался с разными видами финансового кибермошенничества, при этом 9% пострадавших лишились денег, по данным опроса Банка России. При этом телефонное и СМС-мошенничество преобладает в популярных приемах киберпреступников.

📍Главные нововведения закона относятся к созданию государственной антифрод-системы, которая позволит банкам, госорганам, операторам и маркетплейсам обмениваться данными о мошенниках. Вводятся запреты на анонимную передачу SIM-карт, ограничения по снятию наличных и маркировка звонков.

🗯 Новый закон — это важный шаг в защите граждан от кибермошенников. Злоумышленники действительно часто используют SIM-карты или коды подтверждения для махинаций, поэтому такие меры значительно усложнят их действия. Однако важно помнить, что мошенники применяют не только технологии, но и методы социальной инженерии. Именно поэтому критически важно повышать уровень цифровой грамотности и развивать критическое мышление, — комментирует Татьяна Валентиновна Тулупьева, ведущий научный сотрудник лПИИ и советник проректора по науке РАНХиГС.

Напомним, как защититься от мошенников:
🔘 Не передавайте личные данные третьим лицам
🔘 Проверяйте звонки и сообщения, даже если они кажутся официальными
🔘 Не переходите по подозрительным ссылкам
🔘 Используйте двухфакторную аутентификацию

📅 Уже сегодня, 2 апреля, в 17:00 приглашаем на еженедельный научный семинар DSCS.pro

Готовы обсудить с вами научные открытия и разработки в области ИИ и информационных технологий.

Тема семинара: «Прогноз временных рядов. Продвинутые авторегрессионные модели»

🎙 Спикер: Дмитрий Андреевич Михайлов

📍 На прошлом семинаре Дмитрий Андреевич рассказывал, как определить сезонность вина с помощью модели AR.

В этот раз вместе со спикером вы сможете изучить более продвинутые авторегрессионные модели и оценить их способность прогнозировать спрос на разные виды вин.

🔗 Подключиться можно по ссылке, будем всех ждать!

#seminar