⚡️Наша новая статья про прунинг визуальных энкодеров в мультимодальных моделях «When Less is Enough: Adaptive Token Reduction for Efficient Image Representation» снова борется за звание Paper of the day на Hugging Face
Особенность исследования в том, что от 30 до 50% визуальных фичей можно исключить из контекста мультимодальной модели при незначительном проседании в качестве на бенчах. Очень интересный результат, который мы продолжаем проверять на различных задачах - несёт пользу для экономии длины контекста мультимодальных моделей
Немного не хватает до первого места) Будем очень рады и благодарны вашим апвоутам 🔝
https://huggingface.co/papers/2503.16660
Особенность исследования в том, что от 30 до 50% визуальных фичей можно исключить из контекста мультимодальной модели при незначительном проседании в качестве на бенчах. Очень интересный результат, который мы продолжаем проверять на различных задачах - несёт пользу для экономии длины контекста мультимодальных моделей
Немного не хватает до первого места) Будем очень рады и благодарны вашим апвоутам 🔝
https://huggingface.co/papers/2503.16660
huggingface.co
Paper page - When Less is Enough: Adaptive Token Reduction for Efficient Image
Representation
Representation
Join the discussion on this paper page
1🔥30👍10❤4🏆2
⚡️Всегда испытываю искреннюю радость за успехи ребят, с которыми удалось работать! Андрей пришел стажером ко мне в лабораторию в 2024 году по предложению @Ivan_Oseledets, занимался исследованиями мультимодальных архитектур, параллельно обучаясь и набираясь опыта, достигая успехов в исследованиях в AIRI и не только. А сегодня я горжусь его успехами и рад, что имею возможность работать с такими талантливыми ребятами🙏
🔥57🆒7👏5❤3🏆3
Прошло уже больше 6 лет с последнего open source релиза LLM от Open AI (это была модель GPT-2 в феврале 2019), и вот Альтман говорит, что в ближайшее время планируется релиз новой открытой модели🙈 Верим?
https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/
https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/
TechCrunch
OpenAI plans to release a new 'open' AI language model in the coming months | TechCrunch
OpenAI has announced that it intends to release its first 'open' language model since GPT‑2 sometime in 2025.
😁15
Forwarded from Институт AIRI
Как удаление знаков препинания и артиклей в запросе снижает точность языковых моделей до 20%⤵️
Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.
В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.
📎 Код для анализа работы языковых моделей доступен по ссылке.
Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.
В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.
Please open Telegram to view this post
VIEW IN TELEGRAM
3❤🔥21⚡12🏆6👍4🤔2❤1
Forwarded from Valuable AI / Валентин Малых
до меня долетела статья с Хабра про то, как человек тестирует LLM на общении в Тиндере на предмет того, как быстро собеседник поймет, что с ним разговаривает бот; при этом, по всей видимости этот гражданин не знает о существовании теста Тьюринга
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5;ссылка на Хабр
я конечно несколько опешил от такого невежества, но с другой стороны это дало мне повод написать про свежую статью, в которой были протестированы GPT-4.5 и LLaMa 3.1 как раз в контексте теста Тьюринга; результаты представлены на картинке к посту; из интересного, ELIZA оказалась по этому тесту лучше GPT-4o; кому интересно, я про нее недавно писал
второй факт, который на мой взгляд резко переносит нас из точки "настоящее" в точку "будущее" - это 73% побед для GPT-4.5; это означает, что уже сейчас есть ИИ, который в разговоре в 3 из 4 случаев не отличить от человека; эра беспрецедентного телефонного мошенничества не за горами, а буквально уже наступила; такие дела
P.S. забавный факт, в той хабростатье тоже неожиданно лучше всех оказалась GPT-4.5;
👍10❤🔥7🔥3😱2🏆1
Очень люблю разные визуализации риалтайм событий. Раньше в Самарском универе делали онлайн карту движения гор транспорта на модном тогда HTML5, когда Яндекс.Транспорта ещё не существовало. Тогда же появилось приложение мобильное "Прибывалка-63" и онлайн можно было посмотреть каждый автобус, трамвай и троллейбус (это к слову были 2012-2013 г.г.!). А в конце января 2025-го пришли какие-то персоны из деп транспорта и под какими-то не особо обоснованными предлогами доступ к данным закрыли и сервис с приложением перестали радовать жителей Самары...
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
"Мы никому не скажем, когда займёмся оптимизацией, но знаки будут")
А вспомнил я про это потому, что недавно набрёл на live карту Лондонского метро, и ностальгия посетила 👇
https://www.londonunderground.live/
❤19🔥5😱4👀2
This media is not supported in your browser
VIEW IN TELEGRAM
3🔥38❤9👍3🤔1💯1🏆1
Не участвовал в разработке Llama 4 — можно рассмотреть резюме😅
Спасибо @data_secrets за весёлый инсайт
Спасибо @data_secrets за весёлый инсайт
😁50🌚6😱1
Forwarded from Институт AIRI
This media is not supported in your browser
VIEW IN TELEGRAM
Отметили четырёхлетие Института!
Все сердца AIRI сегодня — для вас ❤️
Все сердца AIRI сегодня — для вас ❤️
5❤🔥52❤19🔥13👏6
📍На этой неделе я решил посетить конференцию Machines can see 2025, пока большинство моих коллег поехало на ICLR. Довольно интересные дискуссии происходят, много внимания уделяется прикладным задачам, которые можно решать на базе VLM/LLM.
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025
Крупные компании показывают свои разработки в области ускорения развертывания моделей, NVidia показывала свой фреймворк для использования LLM as a microservice, Google говорит о geospatial reasoning, квантовых вычислениях, создании помощников для задач медицины, образования, copilot для учёных исследователей. Постараюсь дальше чуть подробнее рассказать про некоторые интересные инсайты.
#MCS2025
2❤20❤🔥7🔥2
21 апреля в AIRI мы организовали крупнейший в России семинар по генеративному проектированию ⤵️
Более 100 участников руководителей и представителей департаментов проектирования крупнейших строительных компаний и промышленных предприятий собрались на площадке AIRI. Магистральная команда AIRI и Сбера со своей стороны поделилась текущими результатами создания передовых методов для автоматизации задач проектирования в строительстве и инженерии, получив в завершении важную положительную обратную связь и новые предложения о сотрудничестве.
Основные темы дискуссии
⚫️ Автоматизация процессов в строительстве и архитектуре, синтез BIM моделей, квартирография и создание дизайн проектов по текстовым описаниям
⚫️ Применение генеративных моделей в промышленности при создании 3D моделей изделий
⚫️ Реверс-инжиниринг и восстановление CAD-моделей
Отдельно поговорили о разработке AI-помощников для контроля качества, оптимизации расходов и онлайн-мониторинга реализации проектов на стройке. Обсудили внедрение 3D-технологий в производство — например, как восстанавливать сложные детали на базе облаков точек.
Мы также сделали фокус на прикладном применении наших решений и создании плагинов для широко используемых продуктов (Компас-3D, Autodesk Revit). Важно отметить, что команда генеративного проектирования достаточно молодая — трек стал активно развиваться с сентября 2024 года, хотя экспертиза в GenAI накоплена уже существенная. При этом сам трек в бОльшей степени ориентирован на прикладную пользу для решения реальных задач строительства и промышленности. Side эффект в виде научных публикаций, конечно, станет приятным дополнением!
Генеративное проектирование поможет сделать производство эффективнее:
📍сократить сроки реализации проектов
📍снизить риски пропуска ошибок на этапе проектирования
📍упростить выполнение ряда задач, а некоторые полностью заместить работой AI-ассистента.
Для российской экономики такие инструменты — важная часть в плане конкурентоспособности предприятий на мировой арене. На пути много вызовов, и мы к ним готовы💪
Более 100 участников руководителей и представителей департаментов проектирования крупнейших строительных компаний и промышленных предприятий собрались на площадке AIRI. Магистральная команда AIRI и Сбера со своей стороны поделилась текущими результатами создания передовых методов для автоматизации задач проектирования в строительстве и инженерии, получив в завершении важную положительную обратную связь и новые предложения о сотрудничестве.
Основные темы дискуссии
Отдельно поговорили о разработке AI-помощников для контроля качества, оптимизации расходов и онлайн-мониторинга реализации проектов на стройке. Обсудили внедрение 3D-технологий в производство — например, как восстанавливать сложные детали на базе облаков точек.
Мы также сделали фокус на прикладном применении наших решений и создании плагинов для широко используемых продуктов (Компас-3D, Autodesk Revit). Важно отметить, что команда генеративного проектирования достаточно молодая — трек стал активно развиваться с сентября 2024 года, хотя экспертиза в GenAI накоплена уже существенная. При этом сам трек в бОльшей степени ориентирован на прикладную пользу для решения реальных задач строительства и промышленности. Side эффект в виде научных публикаций, конечно, станет приятным дополнением!
Генеративное проектирование поможет сделать производство эффективнее:
📍сократить сроки реализации проектов
📍снизить риски пропуска ошибок на этапе проектирования
📍упростить выполнение ряда задач, а некоторые полностью заместить работой AI-ассистента.
Для российской экономики такие инструменты — важная часть в плане конкурентоспособности предприятий на мировой арене. На пути много вызовов, и мы к ним готовы💪
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👏20⚡9❤🔥5🔥3❤2🌚1🏆1