Материалы встречи 1.07.25:
🎙 Докладчик: Иван @Bond_005
📄 Статья: Exploring the Latent Capacity of LLMs for One-Step Text Generation (https://arxiv.org/pdf/2505.21189)
🎥 Запись на YouTube: https://youtu.be/Ep1x2V0ZlII
🎙 Докладчик: Иван @Bond_005
📄 Статья: Exploring the Latent Capacity of LLMs for One-Step Text Generation (https://arxiv.org/pdf/2505.21189)
🎥 Запись на YouTube: https://youtu.be/Ep1x2V0ZlII
🔥3❤1
Forwarded from Sber AI
Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
Исходя из этого, выделяются четыре базовых навыка:
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
➡️ Видеогайд, как замерить модель
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал👈
Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.
Что внутри
🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода🔘 Кодовая база, разработанная на основе LM Evaluation Harness
Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:
вход → внутреннее состояние → выход
Исходя из этого, выделяются четыре базовых навыка:
🔘 восприятие (отвечает за входные данные)🔘 логика и знания (внутренние характеристики модели)🔘 генерация (отвечает за выходные данные)
Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.
MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!
Подписывайтесь на наш канал
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤1
Всем привет!
Сегодня в 20:00 по Новосибирску / 16:00 по Москве Иван @Bond_005 расскажет про статью UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-world Document Analysis (https://arxiv.org/pdf/2406.15187)👨💻
Ждём всех по ссылке: https://jazz.sber.ru/6hlguh?psw=OBYMChwQAgUGBgscQwQVFgkMFg
Сегодня в 20:00 по Новосибирску / 16:00 по Москве Иван @Bond_005 расскажет про статью UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-world Document Analysis (https://arxiv.org/pdf/2406.15187)
Ждём всех по ссылке: https://jazz.sber.ru/6hlguh?psw=OBYMChwQAgUGBgscQwQVFgkMFg
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤3
На главной странице есть кнопка для мгновенной проверки качества распознавания речи.
Мы предлагаем высокопроизводительное on-prem ПО для работы на ваших серверах. Для тех, кому критически важны надёжность, скорость и конфиденциальность.
Наше ядро работает в двух режимах:
- Реальное время (потоковое распознавание).
- Отложенное распознание (для ранее записанных аудио).
Это помогает грамотно распределять нагрузку и использовать мощности вашего сервера по максимуму, обрабатывая аудиопоток онлайн и большие объёмы данных в фоновом режиме в периоды минимальной нагрузки на потоковое распознавание.
Please open Telegram to view this post
VIEW IN TELEGRAM
Pisets
Pisets — превращаем речь в текст быстро и точно
Профессиональный сервис транскрибации аудио и видео в текст с точностью до 98%
🔥5❤3
Audio
На радио "Серебряный дождь" Обсудили новости в мире искусственного интеллекта (ИИ), его влияние на общество, образование, экономику и медиа.
https://vk.com/silverrainradionsk
В качестве приглашённого гостя наш директор по ИИ Иван Бондаренко.
Основные тезисы:
Во время разговора обсуждались новости, связанные с искусственным интеллектом (ИИ). Участники разбирали различные аспекты применения ИИ:
1. ИИ для составления резюме: Обсуждалось, как ИИ используется для создания профессиональных резюме. Участники согласились, что ИИ может помочь в этом процессе, но также подчеркнули важность качества и интерпретируемости текста.
2. Министерство искусственного интеллекта в Казахстане: Упоминалось о создании министерства ИИ в Казахстане для улучшения государственного управления и интеграции в технологический уклад. Участники отметили актуальность этого шага и важность взаимодействия университетов и разработчиков.
3. ИИ и принятие финансовых решений: Герман Греф заявил, что ИИ еще не готов для принятия важных финансовых решений, таких как установление ключевой ставки. Он поддержал мнение о необходимости контроля со стороны человека.
4. Беспилотный транспорт: В Москве запустили беспилотный трамвай. Обсудили вопросы безопасности и надежности в случае нештатных ситуаций.
5. ИИ в образовании: Минобрнауки России заявило о необходимости разработки правил использования ИИ в образовании. Участники согласились, что ИИ может быть полезным инструментом, но требует осторожного подхода.
6. Влияние ИИ на рынок труда: Исследование из Стэнфорда указало на сокращение занятости среди молодежи на 13%. Обсуждались причины и возможные последствия.
7. Рабочие профессии и ИИ: Эксперты считают, что многие рабочие профессии останутся востребованными из-за необходимости физического присутствия и эмоционального интеллекта.
8. Рост спроса на специалистов по ИИ: В России увеличился спрос на аналитиков и оптимизаторов процессов с использованием ИИ.
9. Чат-боты и достоверность ответов: Увеличилось количество ложных или недостоверных ответов чат-ботов. Обсуждались причины и последствия этого явления.
p.s. Помогала готовить пост система ИИ Писец
https://pisets.com/
https://vk.com/silverrainradionsk
В качестве приглашённого гостя наш директор по ИИ Иван Бондаренко.
Основные тезисы:
Во время разговора обсуждались новости, связанные с искусственным интеллектом (ИИ). Участники разбирали различные аспекты применения ИИ:
1. ИИ для составления резюме: Обсуждалось, как ИИ используется для создания профессиональных резюме. Участники согласились, что ИИ может помочь в этом процессе, но также подчеркнули важность качества и интерпретируемости текста.
2. Министерство искусственного интеллекта в Казахстане: Упоминалось о создании министерства ИИ в Казахстане для улучшения государственного управления и интеграции в технологический уклад. Участники отметили актуальность этого шага и важность взаимодействия университетов и разработчиков.
3. ИИ и принятие финансовых решений: Герман Греф заявил, что ИИ еще не готов для принятия важных финансовых решений, таких как установление ключевой ставки. Он поддержал мнение о необходимости контроля со стороны человека.
4. Беспилотный транспорт: В Москве запустили беспилотный трамвай. Обсудили вопросы безопасности и надежности в случае нештатных ситуаций.
5. ИИ в образовании: Минобрнауки России заявило о необходимости разработки правил использования ИИ в образовании. Участники согласились, что ИИ может быть полезным инструментом, но требует осторожного подхода.
6. Влияние ИИ на рынок труда: Исследование из Стэнфорда указало на сокращение занятости среди молодежи на 13%. Обсуждались причины и возможные последствия.
7. Рабочие профессии и ИИ: Эксперты считают, что многие рабочие профессии останутся востребованными из-за необходимости физического присутствия и эмоционального интеллекта.
8. Рост спроса на специалистов по ИИ: В России увеличился спрос на аналитиков и оптимизаторов процессов с использованием ИИ.
9. Чат-боты и достоверность ответов: Увеличилось количество ложных или недостоверных ответов чат-ботов. Обсуждались причины и последствия этого явления.
p.s. Помогала готовить пост система ИИ Писец
https://pisets.com/
🔥3❤1👍1
Forwarded from Точка кипения — Новосибирск
Друзья, экстренное включение в эту пятницу!
Кто-то зашифровал спикера нашей следующей Точка.Логии. Нам потребуется ваша помощь в дешифровке, оставляйте варианты в комментариях
Оставляем ниже координаты нашей встречи:
#анонс
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5🔥1
Audio
🚀 Технологический суверенитет начинается с нас! 🚀
Только что завершилась конференция ФИТ НГУ, и мы спешим поделиться с вами записью выступления сооснователя компании "Сибирские нейросети" — Ивана Бондаренко, индустриального доцента НГУ и научного сотрудника Лаборатории прикладных цифровых технологий.
Иван рассказывает о том, как машинное обучение становится оружием массового созидания и ключевым элементом технологического прорыва в XXI веке.
В этом выступлении вы узнаете:
▫️ Историческая параллель: Почему современный этап развития ИИ сравнивают с прорывом в атомной энергетике в середине XX века.
▫️ Сильный vs слабый ИИ: В чем фундаментальное различие и почему большие языковые модели (LLM) вроде GPT — это пример сильного искусственного интеллекта.
▫️ ИИ в науке и практике: Реальные кейсы применения искусственного интеллекта в экспериментальной физике, биологии, медицине и разработке ПО.
▫️ Будущее уже здесь: Куда движется развитие автономных и мультиагентных систем, способных взаимодействовать друг с другом.
▫️ Вызовы: Проблема «галлюцинаций» ИИ и фактологических ошибок — как с этим работать? Кстати, Иван и его команда как раз не понаслышке знакомы с этой проблемой в рамках проекта «Писец» для Тотального диктанта.
А в финале Иван демонстрирует презентацию, созданную с помощью мультиагентной системы ИИ, — наглядный пример того, как технологии меняют творчество и проектирование.
🔊 Аудиозапись выступления — в этом посте!
Не упустите возможность погрузиться в разговор о том, что определяет технологический суверенитет страны прямо сейчас.
✍️
Только что завершилась конференция ФИТ НГУ, и мы спешим поделиться с вами записью выступления сооснователя компании "Сибирские нейросети" — Ивана Бондаренко, индустриального доцента НГУ и научного сотрудника Лаборатории прикладных цифровых технологий.
Иван рассказывает о том, как машинное обучение становится оружием массового созидания и ключевым элементом технологического прорыва в XXI веке.
В этом выступлении вы узнаете:
▫️ Историческая параллель: Почему современный этап развития ИИ сравнивают с прорывом в атомной энергетике в середине XX века.
▫️ Сильный vs слабый ИИ: В чем фундаментальное различие и почему большие языковые модели (LLM) вроде GPT — это пример сильного искусственного интеллекта.
▫️ ИИ в науке и практике: Реальные кейсы применения искусственного интеллекта в экспериментальной физике, биологии, медицине и разработке ПО.
▫️ Будущее уже здесь: Куда движется развитие автономных и мультиагентных систем, способных взаимодействовать друг с другом.
▫️ Вызовы: Проблема «галлюцинаций» ИИ и фактологических ошибок — как с этим работать? Кстати, Иван и его команда как раз не понаслышке знакомы с этой проблемой в рамках проекта «Писец» для Тотального диктанта.
А в финале Иван демонстрирует презентацию, созданную с помощью мультиагентной системы ИИ, — наглядный пример того, как технологии меняют творчество и проектирование.
🔊 Аудиозапись выступления — в этом посте!
Не упустите возможность погрузиться в разговор о том, что определяет технологический суверенитет страны прямо сейчас.
📌 Текст подготовлен с помощью ИИ на основе аудиозаписи и саммари выступления.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤5👍2
Писца много не бывает! В конце октября он снова отправился в путь и посетил постерную сессию Fall into ML 2025 в Москве. Сессия проходила в Атриуме Культурного центра ВШЭ, где участники конференции смогли задать все интересующие их вопросы авторам статей, которые были представлены в этом году на конференциях уровня A и A*. Благодаря таким конференциям возможен бесценный обмен опытом между исследователями и полное погружение в современный мир машинного обучения 🤖🏛🍃
🔥9❤4
Уже сегодня на Highload.ru наша супер-OnticoGPT по базе видеозаписей и слайдов докладов всех прошлых лет 🔥 ✍️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤4
6-7.11 sibnn.ai со стендом на Highload.ru
Подходите к Роману и Дмитрию пообщаться 😊
А еще сегодня Иван Бондаренко в 12.20 расскажет о том,
Что будет, если выгрузить все доклады HighLoad++ в GPT.
Подходите к Роману и Дмитрию пообщаться 😊
А еще сегодня Иван Бондаренко в 12.20 расскажет о том,
Что будет, если выгрузить все доклады HighLoad++ в GPT.
🔥11👍7❤5
Forwarded from HighLoad++
Соревнуемся! Кто задаст вопрос, который поставит OnticoGPT в тупик?
🔥6❤2😁1
На TeamLeadConf со стендом sibnn.ai
❤9👍3🥱1🐳1