Forwarded from Институт AIRI
Как удаление знаков препинания и артиклей в запросе снижает точность языковых моделей до 20%⤵️
Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.
В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.
📎 Код для анализа работы языковых моделей доступен по ссылке.
Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.
В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.
Please open Telegram to view this post
VIEW IN TELEGRAM
3❤🔥21⚡12🏆6👍4🤔2❤1
Forwarded from Valuable AI / Валентин Малых
до меня долетела статья с Хабра про то, как человек тестирует LLM на общении в Тиндере на предмет того, как быстро собеседник поймет, что с ним разговаривает бот; при этом, по всей видимости этот гражданин не знает о существовании теста Тьюринга
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5;ссылка на Хабр
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5;
👍10❤🔥7🔥3😱2🏆1
Очень люблю разные визуализации риалтайм событий. Раньше в Самарском универе делали онлайн карту движения гор транспорта на модном тогда HTML5, когда Яндекс.Транспорта ещё не существовало. Тогда же появилось приложение мобильное "Прибывалка-63" и онлайн можно было посмотреть каждый автобус, трамвай и троллейбус (это к слову были 2012-2013 г.г.!). А в конце января 2025-го пришли какие-то персоны из деп транспорта и под какими-то не особо обоснованными предлогами доступ к данным закрыли и сервис с приложением перестали радовать жителей Самары...
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
❤19🔥5😱4👀2
This media is not supported in your browser
VIEW IN TELEGRAM
3🔥38❤9👍3🤔1💯1🏆1
Не участвовал в разработке Llama 4 — можно рассмотреть резюме😅
Спасибо @data_secrets за весёлый инсайт
Спасибо @data_secrets за весёлый инсайт
😁50🌚6😱1
Forwarded from Институт AIRI
This media is not supported in your browser
VIEW IN TELEGRAM
Отметили четырёхлетие Института!
Все сердца AIRI сегодня — для вас ❤️
Все сердца AIRI сегодня — для вас ❤️
5❤🔥52❤19🔥13👏6
📍На этой неделе я решил посетить конференцию Machines can see 2025, пока большинство моих коллег поехало на ICLR. Довольно интересные дискуссии происходят, много внимания уделяется прикладным задачам, которые можно решать на базе VLM/LLM.
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025
2❤20❤🔥7🔥2
21 апреля в AIRI мы организовали крупнейший в России семинар по генеративному проектированию ⤵️
Более 100 участников руководителей и представителей департаментов проектирования крупнейших строительных компаний и промышленных предприятий собрались на площадке AIRI. Магистральная команда AIRI и Сбера со своей стороны поделилась текущими результатами создания передовых методов для автоматизации задач проектирования в строительстве и инженерии, получив в завершении важную положительную обратную связь и новые предложения о сотрудничестве.
Основные темы дискуссии
⚫️ Автоматизация процессов в строительстве и архитектуре, синтез BIM моделей, квартирография и создание дизайн проектов по текстовым описаниям
⚫️ Применение генеративных моделей в промышленности при создании 3D моделей изделий
⚫️ Реверс-инжиниринг и восстановление CAD-моделей
Отдельно поговорили о разработке AI-помощников для контроля качества, оптимизации расходов и онлайн-мониторинга реализации проектов на стройке. Обсудили внедрение 3D-технологий в производство — например, как восстанавливать сложные детали на базе облаков точек.
Мы также сделали фокус на прикладном применении наших решений и создании плагинов для широко используемых продуктов (Компас-3D, Autodesk Revit). Важно отметить, что команда генеративного проектирования достаточно молодая — трек стал активно развиваться с сентября 2024 года, хотя экспертиза в GenAI накоплена уже существенная. При этом сам трек в бОльшей степени ориентирован на прикладную пользу для решения реальных задач строительства и промышленности. Side эффект в виде научных публикаций, конечно, станет приятным дополнением!
Генеративное проектирование поможет сделать производство эффективнее:
📍сократить сроки реализации проектов
📍снизить риски пропуска ошибок на этапе проектирования
📍упростить выполнение ряда задач, а некоторые полностью заместить работой AI-ассистента.
Для российской экономики такие инструменты — важная часть в плане конкурентоспособности предприятий на мировой арене. На пути много вызовов, и мы к ним готовы💪
Более 100 участников руководителей и представителей департаментов проектирования крупнейших строительных компаний и промышленных предприятий собрались на площадке AIRI. Магистральная команда AIRI и Сбера со своей стороны поделилась текущими результатами создания передовых методов для автоматизации задач проектирования в строительстве и инженерии, получив в завершении важную положительную обратную связь и новые предложения о сотрудничестве.
Основные темы дискуссии
Отдельно поговорили о разработке AI-помощников для контроля качества, оптимизации расходов и онлайн-мониторинга реализации проектов на стройке. Обсудили внедрение 3D-технологий в производство — например, как восстанавливать сложные детали на базе облаков точек.
Мы также сделали фокус на прикладном применении наших решений и создании плагинов для широко используемых продуктов (Компас-3D, Autodesk Revit). Важно отметить, что команда генеративного проектирования достаточно молодая — трек стал активно развиваться с сентября 2024 года, хотя экспертиза в GenAI накоплена уже существенная. При этом сам трек в бОльшей степени ориентирован на прикладную пользу для решения реальных задач строительства и промышленности. Side эффект в виде научных публикаций, конечно, станет приятным дополнением!
Генеративное проектирование поможет сделать производство эффективнее:
📍сократить сроки реализации проектов
📍снизить риски пропуска ошибок на этапе проектирования
📍упростить выполнение ряда задач, а некоторые полностью заместить работой AI-ассистента.
Для российской экономики такие инструменты — важная часть в плане конкурентоспособности предприятий на мировой арене. На пути много вызовов, и мы к ним готовы💪
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👏20⚡9❤🔥5🔥3❤2🌚1🏆1
Head of FusionBrain Lab (Andrey Kuznetsov) meets co-lead of VGG group at University of Oxford (Andrea Vedaldi)
1❤37🔥21🤓6🏆4🙊2😁1
Коллеги из Сбера опубликовали на Хабре кейс: «Как мы научили GigaChat слышать».
Из главного, для повышения качества распознавания перешли на end-to-end архитектуру вместо связки ASR + LLM. И если раньше голосовой запрос шёл через распознавание речи и преобразование в текст, то сейчас GigaChat Audio сразу распознаёт речь. В side-by-side сравнении на 1200 диалогах набрал 0,68 против 0,32 у прежней схемы. Вместе с этим увеличилась и длительность контекста до 170 минут аудио в одном запросе.
Новый GigaChat Audio достиг уровня GPT-4o. Субъективная оценка диалоговых возможностей на русском языке состояла из семи критериев: общее впечатление, красота, грамотность, следование system, контекстность, полезность и фактология.
Протестировать слух нейросети уже можно в веб-версии giga.chat и в боте @gigachat_bot.
Из главного, для повышения качества распознавания перешли на end-to-end архитектуру вместо связки ASR + LLM. И если раньше голосовой запрос шёл через распознавание речи и преобразование в текст, то сейчас GigaChat Audio сразу распознаёт речь. В side-by-side сравнении на 1200 диалогах набрал 0,68 против 0,32 у прежней схемы. Вместе с этим увеличилась и длительность контекста до 170 минут аудио в одном запросе.
Новый GigaChat Audio достиг уровня GPT-4o. Субъективная оценка диалоговых возможностей на русском языке состояла из семи критериев: общее впечатление, красота, грамотность, следование system, контекстность, полезность и фактология.
Протестировать слух нейросети уже можно в веб-версии giga.chat и в боте @gigachat_bot.
❤21👍10🔥5🌚2🙊2😁1🤝1