За 2025 год доля компаний, использующих или активно интегрирующих ИИ-решения в свои бизнес-процессы, может приблизиться к 50%. На это повлияет снижение порога входа и большая доступность ML-моделей, а также появление новых специалистов по работе с искусственным интеллектом.

#цифрадня

Собрали бенчмарки отечественных разработчиков, которые помогут оценить эффективность моделей искусственного интеллекта, сравнить показатели производительности и определить области для улучшения.

👩‍💻 MERA объективно оценивает современные русскоязычные модели искусственного интеллекта и стремится решить проблемы предвзятости предыдущих бенчмарков, разработанных компаниями.

⚖️ LLM Arena позволяет сравнить ответы двух моделей ИИ и сформировать рейтинг. В будущем на платформе появятся функции для оценки качества ответов по разным запросам, включая решение сложных вопросов и поддержку длинного контекста беседы.

🔎 RULM-SBS2 оценивает русскоязычные LLM, аналогичные ChatGPT. Инструмент ставит оценки по 10-балльной шкале ответам двух моделей на задания, каждое сравнение проводится дважды с перестановкой ответов для исключения предвзятости.

✍️ LIBRA проверяет способность модели резюмировать, выделять основные идеи и оперировать таблицами. Тесты проводятся в формате Zero-shot, где модели предлагаются задачи, не использовавшиеся при обучении.

📄 ruIFEval помогает определить, насколько хорошо большие языковые модели понимают и выполняют инструкции на естественном языке, чтобы сделать процесс оценки более быстрым, понятным и объективным.

Также в отчете говорится, что 85% опрошенных сталкивались с требованиями определить четкие экономические результаты от внедрения искусственного интеллекта, чтобы руководству были понятны выгоды технологии. Для этого исследователи предлагают включать в ROI конкретные финансовые и операционные результаты, в том числе экономию затрат, повышение производительности и ускорение вывода продукции на рынок.

#цифрадня