Материалы встречи 1.07.25:
🎙 Докладчик: Иван @Bond_005
📄 Статья: Exploring the Latent Capacity of LLMs for One-Step Text Generation (https://arxiv.org/pdf/2505.21189)
🎥 Запись на YouTube: https://youtu.be/Ep1x2V0ZlII
🎙 Докладчик: Иван @Bond_005
📄 Статья: Exploring the Latent Capacity of LLMs for One-Step Text Generation (https://arxiv.org/pdf/2505.21189)
🎥 Запись на YouTube: https://youtu.be/Ep1x2V0ZlII
🔥3❤1
Forwarded from Sber AI
Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
Исходя из этого, выделяются четыре базовых навыка:
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
➡️ Видеогайд, как замерить модель
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал👈
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода🔘 Кодовая база, разработанная на основе LM Evaluation Harness
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
вход → внутреннее состояние → выход
Исходя из этого, выделяются четыре базовых навыка:
🔘 восприятие (отвечает за входные данные)🔘 логика и знания (внутренние характеристики модели)🔘 генерация (отвечает за выходные данные)
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤1
Всем привет!
Сегодня в 20:00 по Новосибирску / 16:00 по Москве Иван @Bond_005 расскажет про статью UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-world Document Analysis (https://arxiv.org/pdf/2406.15187)👨💻
Ждём всех по ссылке: https://jazz.sber.ru/6hlguh?psw=OBYMChwQAgUGBgscQwQVFgkMFg
Сегодня в 20:00 по Новосибирску / 16:00 по Москве Иван @Bond_005 расскажет про статью UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-world Document Analysis (https://arxiv.org/pdf/2406.15187)
Ждём всех по ссылке: https://jazz.sber.ru/6hlguh?psw=OBYMChwQAgUGBgscQwQVFgkMFg
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤3
На главной странице есть кнопка для мгновенной проверки качества распознавания речи.
Мы предлагаем высокопроизводительное on-prem ПО для работы на ваших серверах. Для тех, кому критически важны надёжность, скорость и конфиденциальность.
Наше ядро работает в двух режимах:
- Реальное время (потоковое распознавание).
- Отложенное распознание (для ранее записанных аудио).
Это помогает грамотно распределять нагрузку и использовать мощности вашего сервера по максимуму, обрабатывая аудиопоток онлайн и большие объёмы данных в фоновом режиме в периоды минимальной нагрузки на потоковое распознавание.
Please open Telegram to view this post
VIEW IN TELEGRAM
Pisets
Pisets — превращаем речь в текст быстро и точно
Профессиональный сервис транскрибации аудио и видео в текст с точностью до 98%
🔥5❤3
Audio
На радио "Серебряный дождь" Обсудили новости в мире искусственного интеллекта (ИИ), его влияние на общество, образование, экономику и медиа.
https://vk.com/silverrainradionsk
В качестве приглашённого гостя наш директор по ИИ Иван Бондаренко.
Основные тезисы:
Во время разговора обсуждались новости, связанные с искусственным интеллектом (ИИ). Участники разбирали различные аспекты применения ИИ:
1. ИИ для составления резюме: Обсуждалось, как ИИ используется для создания профессиональных резюме. Участники согласились, что ИИ может помочь в этом процессе, но также подчеркнули важность качества и интерпретируемости текста.
2. Министерство искусственного интеллекта в Казахстане: Упоминалось о создании министерства ИИ в Казахстане для улучшения государственного управления и интеграции в технологический уклад. Участники отметили актуальность этого шага и важность взаимодействия университетов и разработчиков.
3. ИИ и принятие финансовых решений: Герман Греф заявил, что ИИ еще не готов для принятия важных финансовых решений, таких как установление ключевой ставки. Он поддержал мнение о необходимости контроля со стороны человека.
4. Беспилотный транспорт: В Москве запустили беспилотный трамвай. Обсудили вопросы безопасности и надежности в случае нештатных ситуаций.
5. ИИ в образовании: Минобрнауки России заявило о необходимости разработки правил использования ИИ в образовании. Участники согласились, что ИИ может быть полезным инструментом, но требует осторожного подхода.
6. Влияние ИИ на рынок труда: Исследование из Стэнфорда указало на сокращение занятости среди молодежи на 13%. Обсуждались причины и возможные последствия.
7. Рабочие профессии и ИИ: Эксперты считают, что многие рабочие профессии останутся востребованными из-за необходимости физического присутствия и эмоционального интеллекта.
8. Рост спроса на специалистов по ИИ: В России увеличился спрос на аналитиков и оптимизаторов процессов с использованием ИИ.
9. Чат-боты и достоверность ответов: Увеличилось количество ложных или недостоверных ответов чат-ботов. Обсуждались причины и последствия этого явления.
p.s. Помогала готовить пост система ИИ Писец
https://pisets.com/
https://vk.com/silverrainradionsk
В качестве приглашённого гостя наш директор по ИИ Иван Бондаренко.
Основные тезисы:
Во время разговора обсуждались новости, связанные с искусственным интеллектом (ИИ). Участники разбирали различные аспекты применения ИИ:
1. ИИ для составления резюме: Обсуждалось, как ИИ используется для создания профессиональных резюме. Участники согласились, что ИИ может помочь в этом процессе, но также подчеркнули важность качества и интерпретируемости текста.
2. Министерство искусственного интеллекта в Казахстане: Упоминалось о создании министерства ИИ в Казахстане для улучшения государственного управления и интеграции в технологический уклад. Участники отметили актуальность этого шага и важность взаимодействия университетов и разработчиков.
3. ИИ и принятие финансовых решений: Герман Греф заявил, что ИИ еще не готов для принятия важных финансовых решений, таких как установление ключевой ставки. Он поддержал мнение о необходимости контроля со стороны человека.
4. Беспилотный транспорт: В Москве запустили беспилотный трамвай. Обсудили вопросы безопасности и надежности в случае нештатных ситуаций.
5. ИИ в образовании: Минобрнауки России заявило о необходимости разработки правил использования ИИ в образовании. Участники согласились, что ИИ может быть полезным инструментом, но требует осторожного подхода.
6. Влияние ИИ на рынок труда: Исследование из Стэнфорда указало на сокращение занятости среди молодежи на 13%. Обсуждались причины и возможные последствия.
7. Рабочие профессии и ИИ: Эксперты считают, что многие рабочие профессии останутся востребованными из-за необходимости физического присутствия и эмоционального интеллекта.
8. Рост спроса на специалистов по ИИ: В России увеличился спрос на аналитиков и оптимизаторов процессов с использованием ИИ.
9. Чат-боты и достоверность ответов: Увеличилось количество ложных или недостоверных ответов чат-ботов. Обсуждались причины и последствия этого явления.
p.s. Помогала готовить пост система ИИ Писец
https://pisets.com/
🔥3❤1👍1
Forwarded from Точка кипения — Новосибирск
Друзья, экстренное включение в эту пятницу!
Кто-то зашифровал спикера нашей следующей Точка.Логии. Нам потребуется ваша помощь в дешифровке, оставляйте варианты в комментариях
Оставляем ниже координаты нашей встречи:
#анонс
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5🔥1
Audio
🚀 Технологический суверенитет начинается с нас! 🚀
Только что завершилась конференция ФИТ НГУ, и мы спешим поделиться с вами записью выступления сооснователя компании "Сибирские нейросети" — Ивана Бондаренко, индустриального доцента НГУ и научного сотрудника Лаборатории прикладных цифровых технологий.
Иван рассказывает о том, как машинное обучение становится оружием массового созидания и ключевым элементом технологического прорыва в XXI веке.
В этом выступлении вы узнаете:
▫️ Историческая параллель: Почему современный этап развития ИИ сравнивают с прорывом в атомной энергетике в середине XX века.
▫️ Сильный vs слабый ИИ: В чем фундаментальное различие и почему большие языковые модели (LLM) вроде GPT — это пример сильного искусственного интеллекта.
▫️ ИИ в науке и практике: Реальные кейсы применения искусственного интеллекта в экспериментальной физике, биологии, медицине и разработке ПО.
▫️ Будущее уже здесь: Куда движется развитие автономных и мультиагентных систем, способных взаимодействовать друг с другом.
▫️ Вызовы: Проблема «галлюцинаций» ИИ и фактологических ошибок — как с этим работать? Кстати, Иван и его команда как раз не понаслышке знакомы с этой проблемой в рамках проекта «Писец» для Тотального диктанта.
А в финале Иван демонстрирует презентацию, созданную с помощью мультиагентной системы ИИ, — наглядный пример того, как технологии меняют творчество и проектирование.
🔊 Аудиозапись выступления — в этом посте!
Не упустите возможность погрузиться в разговор о том, что определяет технологический суверенитет страны прямо сейчас.
✍️
Только что завершилась конференция ФИТ НГУ, и мы спешим поделиться с вами записью выступления сооснователя компании "Сибирские нейросети" — Ивана Бондаренко, индустриального доцента НГУ и научного сотрудника Лаборатории прикладных цифровых технологий.
Иван рассказывает о том, как машинное обучение становится оружием массового созидания и ключевым элементом технологического прорыва в XXI веке.
В этом выступлении вы узнаете:
▫️ Историческая параллель: Почему современный этап развития ИИ сравнивают с прорывом в атомной энергетике в середине XX века.
▫️ Сильный vs слабый ИИ: В чем фундаментальное различие и почему большие языковые модели (LLM) вроде GPT — это пример сильного искусственного интеллекта.
▫️ ИИ в науке и практике: Реальные кейсы применения искусственного интеллекта в экспериментальной физике, биологии, медицине и разработке ПО.
▫️ Будущее уже здесь: Куда движется развитие автономных и мультиагентных систем, способных взаимодействовать друг с другом.
▫️ Вызовы: Проблема «галлюцинаций» ИИ и фактологических ошибок — как с этим работать? Кстати, Иван и его команда как раз не понаслышке знакомы с этой проблемой в рамках проекта «Писец» для Тотального диктанта.
А в финале Иван демонстрирует презентацию, созданную с помощью мультиагентной системы ИИ, — наглядный пример того, как технологии меняют творчество и проектирование.
🔊 Аудиозапись выступления — в этом посте!
Не упустите возможность погрузиться в разговор о том, что определяет технологический суверенитет страны прямо сейчас.
📌 Текст подготовлен с помощью ИИ на основе аудиозаписи и саммари выступления.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤5👍2
Писца много не бывает! В конце октября он снова отправился в путь и посетил постерную сессию Fall into ML 2025 в Москве. Сессия проходила в Атриуме Культурного центра ВШЭ, где участники конференции смогли задать все интересующие их вопросы авторам статей, которые были представлены в этом году на конференциях уровня A и A*. Благодаря таким конференциям возможен бесценный обмен опытом между исследователями и полное погружение в современный мир машинного обучения 🤖🏛🍃
🔥9❤4
Уже сегодня на Highload.ru наша супер-OnticoGPT по базе видеозаписей и слайдов докладов всех прошлых лет 🔥 ✍️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤4
6-7.11 sibnn.ai со стендом на Highload.ru
Подходите к Роману и Дмитрию пообщаться 😊
А еще сегодня Иван Бондаренко в 12.20 расскажет о том,
Что будет, если выгрузить все доклады HighLoad++ в GPT.
Подходите к Роману и Дмитрию пообщаться 😊
А еще сегодня Иван Бондаренко в 12.20 расскажет о том,
Что будет, если выгрузить все доклады HighLoad++ в GPT.
🔥11👍7❤5
Forwarded from HighLoad++
Соревнуемся! Кто задаст вопрос, который поставит OnticoGPT в тупик?
🔥6❤2😁1
На TeamLeadConf со стендом sibnn.ai
❤9👍3🥱1🐳1
Forwarded from Инферит (ГК Softline)
⚡️⚡️Не пропустите релиз «МСВСфера» 10.1 — российской ОС с ИИ-помощником, который работает без интернета
«Инферит ОС» представляет новую версию операционной системы с искусственным интеллектом. «Василиса» — встроенный локальный ИИ-помощник, созданный нашими коллегами из «Сибирских нейросетей».
📌 Она не передает данные вовне и работает на стандартных офисных компьютерах: ОЗУ от 16 ГБ, процессор уровня Intel Core i5 (6 ядер).
❓ Что это значит на практике:
• Полная безопасность. Так как вычисления производятся локально, данные никуда не утекают. Идеально для госкомпаний, ОПК и финтеха.
• Офлайн-возможности. «Василиса» работает в изолированных сетях. Можно анализировать документы, генерировать справки и черновики писем без интернета.
• Готовая экосистема. В комплекте: офисный пакет «Р-7 Офис», центр приложений с российским ПО и новые инструменты для администрирования.
Теперь «МСВСфера» 10.1 — это полноценная защищенная рабочая среда с искусственным интеллектом внутри.
👆 Хотите протестировать решение? Загружайте дистрибутив с официального сайта «МСВСфера».
#ИнферитОС #МСВСфера #ИИ #РоссийскоеПО
«Инферит ОС» представляет новую версию операционной системы с искусственным интеллектом. «Василиса» — встроенный локальный ИИ-помощник, созданный нашими коллегами из «Сибирских нейросетей».
❓ Что это значит на практике:
• Полная безопасность. Так как вычисления производятся локально, данные никуда не утекают. Идеально для госкомпаний, ОПК и финтеха.
• Офлайн-возможности. «Василиса» работает в изолированных сетях. Можно анализировать документы, генерировать справки и черновики писем без интернета.
• Готовая экосистема. В комплекте: офисный пакет «Р-7 Офис», центр приложений с российским ПО и новые инструменты для администрирования.
Теперь «МСВСфера» 10.1 — это полноценная защищенная рабочая среда с искусственным интеллектом внутри.
#ИнферитОС #МСВСфера #ИИ #РоссийскоеПО
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍3🎉2
Василиса - AI‑ассистент для локальной работы с документами от компании "Сибирские нейросети". Обрабатывайте документы на своём компьютере без отправки данных в облако. Работает без постоянного подключения к сети Интернет.
https://habr.com/ru/companies/inferit/articles/977644/
https://vasilisa.sibnn.ai/ - скачать можно с нашего сайта
https://habr.com/ru/companies/inferit/articles/977644/
https://vasilisa.sibnn.ai/ - скачать можно с нашего сайта
Хабр
Состоялся релиз российской ОС с локальным ИИ «МСВСфера» 10.1
Главной новинкой, конечно, стал ИИ-ассистент «Василиса», разработанный нашими коллегами партнёрами из «Сибирских нейросетей» (Новосибирск). Его ключевая особенность — он работает полностью...
🔥4👍1
🔥 ICT.Moscow опубликовал обзор разработок для прикладных задач с искусственным интеллектом, анонсированных или выложенных в доступ российскими командами в 2025 году.
⚡Большая часть решений представлены публично. В подборке есть архитектуры, датасеты, бенчмарки, модели и многое другое.
✍️ В подборке также есть решение, в котором наша команда Сибирских нейросетей принимала участие.
MeraCode - бенчмарк для оценки, насколько хорошо LLM справляются с задачами программирования, в том числе с учетом требований, сформулированных на русском языке.
👉Посмотреть полный обзор ICT.Moscow.
👉 Скачать PDF-версию обзора.
⚡Большая часть решений представлены публично. В подборке есть архитектуры, датасеты, бенчмарки, модели и многое другое.
MeraCode - бенчмарк для оценки, насколько хорошо LLM справляются с задачами программирования, в том числе с учетом требований, сформулированных на русском языке.
👉Посмотреть полный обзор ICT.Moscow.
👉 Скачать PDF-версию обзора.
Please open Telegram to view this post
VIEW IN TELEGRAM
ict.moscow
AI-List 2025: новые решения российской индустрии ИИ
ICT.Moscow опубликовал список разработок для прикладных задач с искусственным интеллектом, анонсированных или выложенных в доступ российскими командами в 2025 году.
🔥5❤1
🎉 Год прорыва: «Сибирские нейросети» в топе мировой науки!
Подводим итоги 2025 года: наша исследовательская команда уверенно заявляет о себе на главных мировых площадках по искусственному интеллекту и компьютерным наукам.
Мы гордимся тем, что результаты наших разработок, отмеченные аффилиацией SibNN, были приняты и опубликованы в изданиях высшего эшелона — уровня A, A* и Q1. Каждая ссылка — это вклад в будущее AI.
Гордимся нашей исследовательской командой! 👩🔬👨🔬
🔬 Наши ключевые публикации:
1. 🗣️ Pisets: Robust Speech Recognition for Lectures and Interviews
Принята на NAACL 2025 — одну из главных конференций по обработке естественного языка. Наша система показывает выдающуюся устойчивость в сложных акустических условиях.
➡️ [Читать статью](https://aclanthology.org/2025.naacl-industry.74/)
2. 📊 TabaQA: Column Augmented Generation for QA over Tabular Data
Представлена на SemEval-2025 (ACL). Мы улучшаем точность ответов на вопросы по табличным данным с помощью генеративных моделей.
➡️ [Читать статью](https://aclanthology.org/2025.semeval-1.126/)
3. ⚙️ RM-RF: Reward Model for Run-Free Unit Test Evaluation
Принята на SANER 2026. Инновационная модель для оценки юнит-тестов без их запуска — шаг к более умным инструментам разработки.
➡️ [Изучить работу](https://conf.researchr.org/details/saner-2026/saner-2026-papers/42/RM-RF-Reward-Model-for-Run-Free-Unit-Test-Evaluation)
4. 🧠 Knowledge as Recollection: Advancing Multimodal RAG
Наши исследования в области мультимодального поиска и генерации представлены на AINL и публикуются в ведущих математических изданиях.
➡️ [Ознакомиться с публикацией](http://ftp.pdmi.ras.ru/pub/publicat/znsl/v546/p174.pdf)
5. 🇷🇺 BERTScore для русского языка
Практическая и важная работа по адаптации метрики оценки текста для русского языка уже опубликована.
➡️ [Смотреть публикацию](https://ispranproceedings.elpub.ru/jour/article/view/1940)
6. 💻 MERA Code: A Unified Framework for Evaluating Code Generation
Наш фреймворк для комплексной оценки генерации кода находится на ревью в топовом журнале.
➡️ [Изучить на arXiv](https://arxiv.org/abs/2507.12284)
Это не просто статьи — это признание нашего вклада в такие области, как распознавание речи, обработка таблиц, тестирование ПО, RAG-системы и оценка генерации кода.
Благодарим нашу потрясающую команду исследователей и разработчиков! Эти публикации — фундамент для новых прорывных продуктов и технологий.
#SibNN #ИскусственныйИнтеллект #НаучныеИсследования #Публикации #AI #MachineLearning #ComputerScience #Нейросети #НаукаРоссии
Подводим итоги 2025 года: наша исследовательская команда уверенно заявляет о себе на главных мировых площадках по искусственному интеллекту и компьютерным наукам.
Мы гордимся тем, что результаты наших разработок, отмеченные аффилиацией SibNN, были приняты и опубликованы в изданиях высшего эшелона — уровня A, A* и Q1. Каждая ссылка — это вклад в будущее AI.
Гордимся нашей исследовательской командой! 👩🔬👨🔬
🔬 Наши ключевые публикации:
1. 🗣️ Pisets: Robust Speech Recognition for Lectures and Interviews
Принята на NAACL 2025 — одну из главных конференций по обработке естественного языка. Наша система показывает выдающуюся устойчивость в сложных акустических условиях.
➡️ [Читать статью](https://aclanthology.org/2025.naacl-industry.74/)
2. 📊 TabaQA: Column Augmented Generation for QA over Tabular Data
Представлена на SemEval-2025 (ACL). Мы улучшаем точность ответов на вопросы по табличным данным с помощью генеративных моделей.
➡️ [Читать статью](https://aclanthology.org/2025.semeval-1.126/)
3. ⚙️ RM-RF: Reward Model for Run-Free Unit Test Evaluation
Принята на SANER 2026. Инновационная модель для оценки юнит-тестов без их запуска — шаг к более умным инструментам разработки.
➡️ [Изучить работу](https://conf.researchr.org/details/saner-2026/saner-2026-papers/42/RM-RF-Reward-Model-for-Run-Free-Unit-Test-Evaluation)
4. 🧠 Knowledge as Recollection: Advancing Multimodal RAG
Наши исследования в области мультимодального поиска и генерации представлены на AINL и публикуются в ведущих математических изданиях.
➡️ [Ознакомиться с публикацией](http://ftp.pdmi.ras.ru/pub/publicat/znsl/v546/p174.pdf)
5. 🇷🇺 BERTScore для русского языка
Практическая и важная работа по адаптации метрики оценки текста для русского языка уже опубликована.
➡️ [Смотреть публикацию](https://ispranproceedings.elpub.ru/jour/article/view/1940)
6. 💻 MERA Code: A Unified Framework for Evaluating Code Generation
Наш фреймворк для комплексной оценки генерации кода находится на ревью в топовом журнале.
➡️ [Изучить на arXiv](https://arxiv.org/abs/2507.12284)
Это не просто статьи — это признание нашего вклада в такие области, как распознавание речи, обработка таблиц, тестирование ПО, RAG-системы и оценка генерации кода.
Благодарим нашу потрясающую команду исследователей и разработчиков! Эти публикации — фундамент для новых прорывных продуктов и технологий.
#SibNN #ИскусственныйИнтеллект #НаучныеИсследования #Публикации #AI #MachineLearning #ComputerScience #Нейросети #НаукаРоссии
ACL Anthology
Pisets: A Robust Speech Recognition System for Lectures and Interviews
Ivan Bondarenko, Daniil Grebenkin, Oleg Sedukhin, Mikhail Klementev, Roman Derunets, Lyudmila Budneva. Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies…
🔥14