Cursor делает смелый шаг: от статического контекста к динамическому 😐
В мире ИИ обновления бывают разные, но иногда приходят такие решения, которые заставляют подойти и задуматься, насколько они могут изменить правила игры. Сегодня поговорим о том, как Cursor взял и полностью перешел на динамический контекст.
Если задуматься, это открывает новые горизонты для масштабируемых решений, где каждый агент может работать быстрее и эффективнее, не перегружая свою память лишними данными. А вы что думаете?
Data Science
В мире ИИ обновления бывают разные, но иногда приходят такие решения, которые заставляют подойти и задуматься, насколько они могут изменить правила игры. Сегодня поговорим о том, как Cursor взял и полностью перешел на динамический контекст.
Для тех, кто не в курсе: раньше многие модели ИИ использовали так называемый статический контекст — когда все данные буквально вываливаются в модель сразу. Логи, документы, история чатов — всё это забрасывается в систему и оказывается доступным в любой момент. Ну а что из этого получается? Контекст переполняется, важные детали теряются, и память модели забивается лишним мусором.
Теперь же Cursor решает уйти от этого подхода и переходить на динамическое обнаружение контекста. Это как если бы агент сам по ходу работы мог «собирать» себе нужную информацию, а не ждать, пока её кто-то закинет.
Что это означает на практике?🍿
— История чатов и файлы: Вместо того чтобы хранить всю историю чатов в контексте, теперь Cursor сохраняет её в виде файла. Если при суммировании контекста какие-то важные моменты забылись, агент может зайти в файл, найти нужную информацию и восстановить недостающие детали.
— Ответы от тулов: Когда нужно обработать длинный ответ от какого-то инструмента, этот ответ не отправляется в контекст целиком. Вместо этого, в контекст добавляется только ссылка на ответ, а сам JSON-файл с результатами остаётся в отдельном месте. Агент может по мере надобности обращаться к этим файлам — как будто он ищет что-то через grep или tail.
— MCP и инструментальные вызовы: Вся эта громоздкая информация, например, описание инструментов и выводы терминальных сессий, теперь тоже не хранится в контексте. В контексте остаются только ссылки на нужные ресурсы, и агент может в любой момент обратиться к более подробному описанию.
Звучит красиво, правда? Минимум мусора и максимум пользы. На практике, это позволяет существенно экономить ресурсы. Например, в A/B тестах использование токенов сократилось почти на 47%. Такая система масштабируемая, ведь теперь контекст перестаёт быть хранилищем знаний и превращается в инструкцию, как эти знания получать.
Если задуматься, это открывает новые горизонты для масштабируемых решений, где каждый агент может работать быстрее и эффективнее, не перегружая свою память лишними данными. А вы что думаете?
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤2😁1
Большинство курсов по LLM заканчиваются ровно там, где в реальности всё только начинается - на деплое.
Поиграться с промптами в ноутбуке - ок. А вот довести это до прода с архитектурой, стабильностью и масштабированием - тут уже начинаются сложности.
И вот тут я наткнулся на курс «LLM-инженер» от GIGASCHOOL и AI Talent Hub» - и он как раз про реальную работу, а не «потыкать модель».
Что внутри:
🔘 дообучение по-взрослому: fine-tuning, PEFT, LoRA / QLoRA, RLHF
🔘 инструменты: LangChain, LangGraph, векторные базы
🔘 архитектуры: RAG, поиск, защита LLM-продуктов
🔘 MLOps: пайплайны, деплой, трекинг, версионирование
🔘 и дальше - мультиагенты и ассистенты
Без магии.
С кодом, инфраструктурой и нормальной архитектурой - так, как это реально делают в проде.
Курс уже идёт третьим потоком, преподают практики из больших AI-команд (Газпромбанк, X5 Tech, HiveTrace и др.).
На выходе - готовый проект в портфеле и понимание, что ты делаешь и зачем, а не просто повторяешь туториалы.
Старт 26 января, длительность - 25 недель (с каникулами).
Есть диплом и рассрочка. Цена вырастет 13 января.
Если давно хотел перестать «экспериментировать» и начать реально делать LLM-продукты - выглядит как хороший вариант.
Подробности и регистрация
Поиграться с промптами в ноутбуке - ок. А вот довести это до прода с архитектурой, стабильностью и масштабированием - тут уже начинаются сложности.
И вот тут я наткнулся на курс «LLM-инженер» от GIGASCHOOL и AI Talent Hub» - и он как раз про реальную работу, а не «потыкать модель».
Что внутри:
Без магии.
С кодом, инфраструктурой и нормальной архитектурой - так, как это реально делают в проде.
Курс уже идёт третьим потоком, преподают практики из больших AI-команд (Газпромбанк, X5 Tech, HiveTrace и др.).
На выходе - готовый проект в портфеле и понимание, что ты делаешь и зачем, а не просто повторяешь туториалы.
Старт 26 января, длительность - 25 недель (с каникулами).
Есть диплом и рассрочка. Цена вырастет 13 января.
Если давно хотел перестать «экспериментировать» и начать реально делать LLM-продукты - выглядит как хороший вариант.
Подробности и регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
👎5❤4🔥2😁1
Nvidia и Siemens запускают первый ИИ-завод в 2026 году 😡
Nvidia и Siemens объявили о запуске первого ИИ-завода, который начнёт свою работу в 2026 году. Это будет настоящий технологический прорыв, и сегодня расскажу, что это значит для будущего производства.
Думаю, каждому из нас знакомо, как сложно иногда ускорить производственные процессы без потери качества. Внедрение ИИ в промышленность обещает решать эту задачу, а значит, мы сможем не только снизить издержки, но и значительно повысить скорость производства. Вопрос только в том, насколько быстро это станет нормой в мировой практике?
Data Science
Nvidia и Siemens объявили о запуске первого ИИ-завода, который начнёт свою работу в 2026 году. Это будет настоящий технологический прорыв, и сегодня расскажу, что это значит для будущего производства.
Процесс будет выглядеть так, как будто завод становится живым существом, только без всех этих эмоций. Всё потому, что в основе новой Industrial AI Operating System от Nvidia и Siemens — идея внедрения ИИ во все этапы производства. Причём не как просто симуляцию, а как активный «мозг», который будет не просто наблюдать, а и активно управлять процессом.
Nvidia предоставит всю свою инфраструктуру для ИИ, включая библиотеки симуляции и фреймворки, а Siemens подкинет профессионалов по промышленному ИИ, а также всё необходимое оборудование. Идея простая, но гениальная: цифровые двойники станут не просто моделями для тестирования, а настоящими агентами, которые помогают улучшать процессы на реальной производственной линии.
Вся система будет работать благодаря ИИ-мозгу, который будет непрерывно следить за цифровыми двойниками производственных линий, проверять изменения в процессах и переносить проверенные улучшения в реальный мир. Всё это будет работать так быстро, что процесс будет ускоряться в 2, а то и в 10 раз😮
Завод Siemens Electronics Factory в Эрлангене (Германия) станет первым местом, где всё это будет реализовано. Здесь будут выпускаться преобразователи и силовая электроника, и если всё пойдет по плану, к 2026 году он будет полностью управляться ИИ.
Кроме того, Siemens переводит весь свой симуляционный софт на GPU-ускорение с поддержкой CUDA-X и PhysicsNeMo, что позволит ускорить ключевые процессы на порядок. Это будет настоящий прорыв, который окажет влияние на всю промышленность.
Что это даст?😂
Технология уже протестирована такими гигантами, как Foxconn, HD Hyundai, KION Group и PepsiCo. А самое интересное, что рабочие на этих заводах получат умные очки Ray-Ban с функцией AR. Представьте: вы на сборочной линии, а у вас перед глазами сразу вся информация о безопасности, подсказки и реальная обратная связь прямо на очках.
Думаю, каждому из нас знакомо, как сложно иногда ускорить производственные процессы без потери качества. Внедрение ИИ в промышленность обещает решать эту задачу, а значит, мы сможем не только снизить издержки, но и значительно повысить скорость производства. Вопрос только в том, насколько быстро это станет нормой в мировой практике?
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥5👀4❤2🐳1
Data Science | Machinelearning [ru]
Проверьте свой уровень в Data Science с тестом от Авито 🚀 Тест основан на практических кейсах из реальной работы DS-команд компании – без абстрактных вопросов и лишней теории. Что вы получите: – чёткое понимание текущего уровня и зон роста; – возможность…
Начните год продуктивно!
Ещё есть время проверить свой уровень в DS и получить обратную связь, чтобы знать, куда двигаться дальше🚀
Ещё есть время проверить свой уровень в DS и получить обратную связь, чтобы знать, куда двигаться дальше🚀
🔥4👍1👎1
Forwarded from xCode Journal
Спад начался еще пару лет назад с появлением ИИ, но сейчас достиг рекордно низких значений. Так, за весь декабрь поступило всего 3800 вопросов, а за первые дни января ~300.
F легенде!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17👀10❤3👎2🔥1
OpenAI ищет Head of Preparedness. Кто будет готовить нас к рискам ИИ? 🔫
Компания OpenAI анонсировала вакансию для абсолютно новой роли — Head of Preparedness, или, проще говоря, человека, который будет отвечать за подготовку к рискам и последствиям после релиза моделей. Скорее всего, она про то, чтобы понять, какие потенциальные беды нас могут поджидать после того, как модель выйдет в мир.
Риск того, что ИИ может повлиять на наш мир не только в положительном ключе, а в худшем — реальный. Вопросы в другом: реально ли кто-то может подготовиться ко всем рискам ИИ и, может, это больше маркетинг, чем реальная необходимость?
Data Science
Компания OpenAI анонсировала вакансию для абсолютно новой роли — Head of Preparedness, или, проще говоря, человека, который будет отвечать за подготовку к рискам и последствиям после релиза моделей. Скорее всего, она про то, чтобы понять, какие потенциальные беды нас могут поджидать после того, как модель выйдет в мир.
Его задача — предсказать, что может пойти не так, когда ИИ начнет работать в реальном мире. Например, какие опасности могут возникнуть в сферах, где мы еще не подумали о последствиях? Где модель может не пройти тесты, но все равно принести проблемы? Какие долгосрочные угрозы нас подстерегают?
Собственно, почему эта роль так важна? OpenAI сами признают, что столкнулись с проблемами. В 2025 году первый тревожный сигнал появился, когда модели начали оказывать влияние на психическое здоровье людей (не забывайте про те трагические истории с ChatGPT). А еще, с ростом уровня кодирования ИИ, возникли реальные угрозы для кибербезопасности. И вот, это всё стало отправной точкой для создания этой роли.
Да, зарплата на должности обещана солидная — $555k с бонусами, что, конечно, не Цукерберговские суммы, но на жизнь точно хватит💳
Риск того, что ИИ может повлиять на наш мир не только в положительном ключе, а в худшем — реальный. Вопросы в другом: реально ли кто-то может подготовиться ко всем рискам ИИ и, может, это больше маркетинг, чем реальная необходимость?
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Ученые нашли способ безопасно дублировать информацию в квантовых компьютерах 💻
Учёные из Университета Ватерлоо (Канада) нашли способ безопасно сохранять и дублировать квантовую информацию. Это открытие — большой шаг вперёд для всей квантовой вычислительной науки. Но давайте разберемся, что стоит за этим.
Теперь открываются совершенно новые горизонты для квантового облачного хранения данных и распределённых квантовых систем. Это может значительно изменить подходы к обработке и хранению данных в будущем, а для нас с вами — это шаг к созданию более безопасных и мощных вычислительных систем.
Data Science
Учёные из Университета Ватерлоо (Канада) нашли способ безопасно сохранять и дублировать квантовую информацию. Это открытие — большой шаг вперёд для всей квантовой вычислительной науки. Но давайте разберемся, что стоит за этим.
Квантовые компьютеры — это не просто крутые гаджеты для учёных. Это будущее вычислений, где данные могут существовать в состоянии «и-да, и-нет» одновременно, благодаря суперпозиции и квантовой запутанности. Но вот беда, с копированием квантовой информации всё не так просто.
Знаете ли вы, что квантовая информация не может быть скопирована как обычный файл? Это не просто ограничение технологий, а сам закон квантовой физики! Он называется теорема о невозможности клонирования (no-cloning theorem). Она утверждает, что вы не можете просто взять и создать точную копию какого-либо квантового состояния.
Как обойти квантовые законы?😠
Ученые придумали способ, как обойти этот закон. Их метод заключается в шифровании квантовых данных, а уже потом их копировании.
Всё довольно просто на первый взгляд, но с нюансами. Квантовые данные сначала шифруются, а затем создаются их копии. Причём, вы можете делать это сколько угодно раз. Но есть важное замечание: как только копия расшифровывается, ключ шифрования уничтожается. Это значит, что, если ключ утратил свою силу, все копии вскрываются одновременно.
Теперь открываются совершенно новые горизонты для квантового облачного хранения данных и распределённых квантовых систем. Это может значительно изменить подходы к обработке и хранению данных в будущем, а для нас с вами — это шаг к созданию более безопасных и мощных вычислительных систем.
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤2
Как искусственный интеллект научился диагностировать болезни по одной ночи сна 😖
Представьте, что за одну ночь сна можно получить не просто расслабление, но и ценную информацию о состоянии вашего здоровья. Стэнфордский университет анонсировал создание модели SleepFM, которая способна выявить признаки более чем 130 заболеваний, включая серьёзные проблемы с сердцем, нервной системой и даже деменцию.
Вот так, простой ночной отдых может стать тем, что поможет вовремя распознать серьёзные заболевания. Верите ли вы, что в будущем технологии смогут диагностировать болезни просто по качеству сна?
Data Science
Представьте, что за одну ночь сна можно получить не просто расслабление, но и ценную информацию о состоянии вашего здоровья. Стэнфордский университет анонсировал создание модели SleepFM, которая способна выявить признаки более чем 130 заболеваний, включая серьёзные проблемы с сердцем, нервной системой и даже деменцию.
На базе SleepFM лежит одна из самых интересных идей в области машинного обучения. В отличие от традиционных методов диагностики, когда пациента подключают к множеству датчиков (ЭЭГ, ЭКГ, сенсоры дыхания и прочее), модель Стэнфорда анализирует гигантский объём данных, которые поступают в рамках одной ночи сна. И, что важно, она делает это без привычной ручной разметки данных, а благодаря инновационному подходу в обучении.
Полисомнография, классический метод диагностики сна, даёт огромное количество сырых сигналов, которые в традиционных моделях использовались только для узких задач — например, для поиска апноэ или определения фаз сна. Но эти данные можно использовать гораздо более эффективно, если подойти к анализу с другой стороны.
Как работает SleepFM?🍦
Основная идея заключается в self-supervised learning. Вместо того чтобы учить модель напрямую предсказывать диагноз, исследователи превратили задачу в своего рода «физиологический пазл». Модель получает данные с разных датчиков, например, с сердца, дыхания и мышц, и должна восстановить недостающую информацию, например, мозговые волны.
Преимущество этого подхода в том, что нейросеть учится выявлять глубинные взаимосвязи между различными системами организма, а не просто запоминает поверхностные паттерны. А добавленный механизм Channel-Agnostic Attention позволяет модели адаптироваться к реальным условиям: если какой-то датчик потерял сигнал или дал сбой, модель автоматически перераспределит внимание на остальные доступные каналы. Это делает модель гораздо более устойчивой и практичной для использования в реальных условиях.
Какие результаты?🤩
Всё это приводит к впечатляющим результатам. За одну ночь сна модель предсказывает риск 130 заболеваний. Например, точность выявления болезни Паркинсона составляет 89%, деменции — 85%, а риск сердечного приступа — 81%. И это без необходимости вручную разметить данные под каждое заболевание!
Вот так, простой ночной отдых может стать тем, что поможет вовремя распознать серьёзные заболевания. Верите ли вы, что в будущем технологии смогут диагностировать болезни просто по качеству сна?
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥4👍1
Forwarded from xCode Journal
Так показало исследование Changellenge. Best Company Award проводится уже в одиннадцатый раз на основе опроса 9 тысяч студентов и выпускников с высоким потенциалом. Главное:
— В IT-сфере самые популярные профессии — дата-аналитик, бизнес-аналитик и AI-разработчик.
— Лучшей компанией для начала карьеры, по мнению студентов ключевых IT-направлений, стал Яндекс. За него проголосовали те, кто хочет связать профессию с созданием технологий будущего.
— Помимо IT, молодых специалистов также привлекают менеджмент, маркетинг и финансы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5😁3👎1🔥1
Forwarded from xCode Journal
Это означает, что после ответов могут появляться спонсированные объявления. Тут же стоит вспомнить, что еще в конце 2024 Альтман уверял, что «рассматривает рекламу как крайнюю меру в бизнес-модели».
Разумеется, компания теперь божится, что никогда не будет продавать пользовательские данные рекламодателям и принимать деньги за изменение ответа ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
😁8👎7
Как Nvidia справилась с одной из главных проблем ИИ 😮💨
Слышали про KV-кэш? Это одна из самых головоломных проблем при масштабировании контекста в трансформерах, и, да, она действительно может доставить много неприятностей. Проблема в том, что при увеличении длины последовательности KV-кэш растет пропорционально, и для каждой головы и каждого слоя накапливаются колоссальные объемы данных. Всё это не только отнимает уйму памяти, но и сильно тормозит работу моделей.
Nvidia смогла решить проблему, которая стояла перед всеми, кто работал с масштабными моделями, и сделала это почти бесплатно в плане вычислительных затрат.
Data Science
Слышали про KV-кэш? Это одна из самых головоломных проблем при масштабировании контекста в трансформерах, и, да, она действительно может доставить много неприятностей. Проблема в том, что при увеличении длины последовательности KV-кэш растет пропорционально, и для каждой головы и каждого слоя накапливаются колоссальные объемы данных. Всё это не только отнимает уйму памяти, но и сильно тормозит работу моделей.
Например, для модели LLaMA с 65 миллиардами параметров при 128k токенах этот кэш может занять целых 335 ГБ памяти. А это, согласитесь, совсем не шутки! И, кстати, не только память страдает, но и производительность. В общем, проблема довольно масштабная.
Многие стараются бороться с этим, уменьшая размер кэша по слоям или головам. Но в реальности самый большой потенциал для улучшений — это уменьшение по оси токенов. Ведь далеко не все токены действительно важны для модели. В этом и скрывается главный рычаг.
KVzip: попытка решить проблему
Когда появились идеи типа KVzip, оптимизация выглядела многообещающе. В теории можно было сжать кэш до 4 раз без потерь качества. Но на практике метод оказался слишком медленным. Слишком много операций, слишком много вычислений — и вот тут-то на сцену выходит Nvidia.
Что придумали Nvidia?
Nvidia, конечно, не обошли эту проблему стороной. Они взяли концепцию сжатиия KV-кэша, немного доработали её и… вуаля! Теперь получается та же сжатие, но при этом практически без потерь производительности. Всё, что нужно — это обучить маленькую модель, которая будет предсказывать, насколько важен каждый токен для каждого слоя модели. И, внимание, эта модель абсолютно не требует дорогих вычислений, как в случае с KVzip. Просто с помощью линейной модели или двухслойного MLP предсказывается, какие токены можно «отсечь», не потеряв в качестве.
И вот что самое крутое: эффективность увеличивается в 3–4 раза, а при этом производительность практически не страдает. Для вычислений добавляется всего 0,02% дополнительных операций, что — по сути — ничто на фоне квадратичного внимания. Результат: сжатие работает, деградации на бенчмарках практически нет.
А если вам вдруг стало интересно, то всё это решение уже в опенсорсе. Nvidia делится всем этим с миром, так что мы все можем в дальнейшем использовать этот подход🍑
Nvidia смогла решить проблему, которая стояла перед всеми, кто работал с масштабными моделями, и сделала это почти бесплатно в плане вычислительных затрат.
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤1🐳1
Как ИИ захватывает мир: что показал отчёт Microsoft 🔫
Вы когда-нибудь задумывались, насколько быстро ИИ проникает в повседневную жизнь? Microsoft в своём отчёте AI Diffusion Report 2025 поделились любопытной статистикой, которая помогает понять, как именно этот процесс происходит по всему миру. Интересно, что хотя ИИ стремительно развивается, адаптация происходит с разной скоростью. Вот 5 самых ярких инсайтов из отчёта, которые точно стоит обсудить!
Один из самых важных уроков, который мы можем извлечь из отчёта, заключается в том, что не те страны, у которых самые мощные модели ИИ, выигрывают в новой экономике, а те, кто научился быстро обучать людей работать с этими технологиями. Это ключевой фактор, который определяет скорость роста и развития.
Data Science
Вы когда-нибудь задумывались, насколько быстро ИИ проникает в повседневную жизнь? Microsoft в своём отчёте AI Diffusion Report 2025 поделились любопытной статистикой, которая помогает понять, как именно этот процесс происходит по всему миру. Интересно, что хотя ИИ стремительно развивается, адаптация происходит с разной скоростью. Вот 5 самых ярких инсайтов из отчёта, которые точно стоит обсудить!
• 16,3% людей по всему миру уже используют ИИ
Кажется, что это не так уж много, но для новой технологии такие цифры — уже большое достижение. С учётом того, что интернетом пользуются 74% людей, это значит, что почти каждый пятый человек в мире активно использует ИИ для работы, учёбы или повседневных задач. Давайте признаемся, даже несколько лет назад такое казалось бы невозможно!
• Неравномерность распространения: лидеры и отстающие
Есть страны, где ИИ уже стал нормой. Например, в Норвегии почти каждый второй житель использует ИИ (46,4%), в Ирландии — 44,6%, а в Франции — 44%. Такие цифры говорят о том, что ИИ активно внедряется не только в бизнес и школы, но и в государственные институты. Но вот парадокс: в глобальном масштабе отрыв между развитыми странами и остальными продолжает расти. В странах «глобального Севера» уже 35,6% пользователей, а в странах «глобального Юга» — лишь 16,3%. Это наглядно показывает, как адаптация ИИ распределяется неравномерно.
• США теряет позиции, а ОАЭ и Сингапур в лидерах
Несмотря на технологическое лидерство, США опустились с 23-го на 24-е место в мировом рейтинге по количеству пользователей ИИ. В то время как ОАЭ и Сингапур с их уже высокими показателями (64% и 60,9% соответственно) показывают, как эффективно можно внедрить ИИ через государственные программы и обучение. Тут уже не только технологии решают, а стратегии внедрения.
• ИИ в России: потенциал есть, но есть и барьеры
В России ИИ используют около 8% людей. Это ниже среднемирового уровня, но, возможно, это не совсем отражает реальное положение вещей. Например, решения вроде DeepSeek популярны в России, и их использование не всегда попадает в официальные статистики. Оказавшись в условиях ограничений и менее развитой инфраструктуры, российские пользователи всё же находят способы обходить барьеры и внедрять новые технологии.
• Open Source как ключ к снижению разрыва
Интересно, что в Африке использование ИИ через open-source решения вроде DeepSeek гораздо выше, чем в других регионах. Это наглядно показывает важность децентрализованных решений для стран, которые не могут себе позволить инвестировать в крупные модели и платформы. В такой ситуации open-source решения становятся важным инструментом для равномерного распределения технологий.
Один из самых важных уроков, который мы можем извлечь из отчёта, заключается в том, что не те страны, у которых самые мощные модели ИИ, выигрывают в новой экономике, а те, кто научился быстро обучать людей работать с этими технологиями. Это ключевой фактор, который определяет скорость роста и развития.
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4⚡1❤1👀1
Как Nvidia справилась с одной из главных проблем ИИ 😮💨
Слышали про KV-кэш? Это одна из самых головоломных проблем при масштабировании контекста в трансформерах, и, да, она действительно может доставить много неприятностей. Проблема в том, что при увеличении длины последовательности KV-кэш растет пропорционально, и для каждой головы и каждого слоя накапливаются колоссальные объемы данных. Всё это не только отнимает уйму памяти, но и сильно тормозит работу моделей.
Nvidia смогла решить проблему, которая стояла перед всеми, кто работал с масштабными моделями, и сделала это почти бесплатно в плане вычислительных затрат.
Data Science
Слышали про KV-кэш? Это одна из самых головоломных проблем при масштабировании контекста в трансформерах, и, да, она действительно может доставить много неприятностей. Проблема в том, что при увеличении длины последовательности KV-кэш растет пропорционально, и для каждой головы и каждого слоя накапливаются колоссальные объемы данных. Всё это не только отнимает уйму памяти, но и сильно тормозит работу моделей.
Например, для модели LLaMA с 65 миллиардами параметров при 128k токенах этот кэш может занять целых 335 ГБ памяти. А это, согласитесь, совсем не шутки! И, кстати, не только память страдает, но и производительность. В общем, проблема довольно масштабная.
Многие стараются бороться с этим, уменьшая размер кэша по слоям или головам. Но в реальности самый большой потенциал для улучшений — это уменьшение по оси токенов. Ведь далеко не все токены действительно важны для модели. В этом и скрывается главный рычаг.
KVzip: попытка решить проблему
Когда появились идеи типа KVzip, оптимизация выглядела многообещающе. В теории можно было сжать кэш до 4 раз без потерь качества. Но на практике метод оказался слишком медленным. Слишком много операций, слишком много вычислений — и вот тут-то на сцену выходит Nvidia.
Что придумали Nvidia?
Nvidia, конечно, не обошли эту проблему стороной. Они взяли концепцию сжатиия KV-кэша, немного доработали её и… вуаля! Теперь получается та же сжатие, но при этом практически без потерь производительности. Всё, что нужно — это обучить маленькую модель, которая будет предсказывать, насколько важен каждый токен для каждого слоя модели. И, внимание, эта модель абсолютно не требует дорогих вычислений, как в случае с KVzip. Просто с помощью линейной модели или двухслойного MLP предсказывается, какие токены можно «отсечь», не потеряв в качестве.
И вот что самое крутое: эффективность увеличивается в 3–4 раза, а при этом производительность практически не страдает. Для вычислений добавляется всего 0,02% дополнительных операций, что — по сути — ничто на фоне квадратичного внимания. Результат: сжатие работает, деградации на бенчмарках практически нет.
А если вам вдруг стало интересно, то всё это решение уже в опенсорсе. Nvidia делится всем этим с миром, так что мы все можем в дальнейшем использовать этот подход🍑
Nvidia смогла решить проблему, которая стояла перед всеми, кто работал с масштабными моделями, и сделала это почти бесплатно в плане вычислительных затрат.
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9🐳3❤1👎1
Как в ML/DS реально доходят до офферов от 250k+ за 2-3 месяца🤔
Я Senior ML Engineer, выпускник ВМК МГУ.
Работаю в ML и вижу найм изнутри, как он устроен на практике.
За последние месяцы я помог более 20 ученикам.
Их результат - офферы от 250 000 ₽ и выше за 8 -12 недель.
Не потому что они умнее остальных.
А потому что перестали готовиться абстрактно и начали готовиться под реальные ML-собеседования.
В канале я разбираю:
1️⃣ Как выглядит рабочий путь входа в ML / NLP / AI
2️⃣ Где чаще всего ломаются кандидаты
3️⃣ И как сокращают путь до оффера без лишних месяцев теории
Начать можно с бесплатного гайда в канале👇
https://news.1rj.ru/str/+SUkQUSjdoUNlMTgy
Я Senior ML Engineer, выпускник ВМК МГУ.
Работаю в ML и вижу найм изнутри, как он устроен на практике.
За последние месяцы я помог более 20 ученикам.
Их результат - офферы от 250 000 ₽ и выше за 8 -12 недель.
Не потому что они умнее остальных.
А потому что перестали готовиться абстрактно и начали готовиться под реальные ML-собеседования.
В канале я разбираю:
Начать можно с бесплатного гайда в канале
https://news.1rj.ru/str/+SUkQUSjdoUNlMTgy
Please open Telegram to view this post
VIEW IN TELEGRAM
👀7❤4👍4👎2🔥2
AI в 2026 году: что реально меняется и что это значит для вас 🤔
Последний месяц я провел в поисках информации: читал отчёты Goldman Sachs, McKinsey, Gartner, а также следил за анонсами с CES 2026 и интервью с главными игроками ИИ, такими как Дарио Амодеи и Сэм Альтман. Постарался вычленить, что реально изменится в мире ИИ в ближайший год, и как это повлияет на нас, на бизнес и на технологические процессы.
В этом году искусственный интеллект станет неотъемлемой частью инфраструктуры, а не просто инструментом. Игнорировать его развитие будет так же неразумно, как игнорировать интернет в 2005 году. А вы как думаете?
Data Science
Последний месяц я провел в поисках информации: читал отчёты Goldman Sachs, McKinsey, Gartner, а также следил за анонсами с CES 2026 и интервью с главными игроками ИИ, такими как Дарио Амодеи и Сэм Альтман. Постарался вычленить, что реально изменится в мире ИИ в ближайший год, и как это повлияет на нас, на бизнес и на технологические процессы.
• Агенты вместо чат-ботов
Если раньше мы общались с нейросетями — задавали вопросы, получали ответы, то уже в 2026 году системы будут не просто отвечать, а самостоятельно решать задачи. Такую модель активно разрабатывают сейчас, и Gartner прогнозирует, что 40% корпоративных приложений будут использовать агентов к концу 2026 года. Это огромный скачок — год назад было меньше 5%.
• Open-source модели догоняют закрытые
Когда-то для получения топовых ИИ-моделей нужно было платить многомиллионные суммы, но сейчас всё изменилось. Open-source решения теперь могут соревноваться по качеству с топовыми коммерческими моделями. Например, Alibaba Qwen — open-source модель с более чем 700 млн скачиваний на Hugging Face, доказала, что качественные модели теперь доступны любому желающему.
• Роботы становятся реальностью
Это не только год агентов, но и год, когда роботы начинают понимать и действовать в реальном мире. На CES 2026 Nvidia анонсировала, что машины, наконец, могут рассуждать и взаимодействовать с реальным миром. Boston Dynamics с Google DeepMind представили нового робота Atlas, который уже способен выполнять сложные задачи.
Да, пока что это не масс-маркет — первый гуманоид стоит $20 000, но помните, как быстро падают цены на технологии. Уже через несколько лет роботы-ассистенты могут стать такими же обычными, как умные колонки.
• Инфраструктура ИИ
Агенты требуют вычислительных мощностей, и это будет стоить дорого. Уже в 2026 году капитальные расходы на инфраструктуру ИИ превысят $527 млрд. Для поддержания всех этих вычислений необходимы дата-центры, GPU, системы охлаждения и даже атомные реакторы.
Если вы планируете строить продукт на ИИ, готовьтесь к росту затрат на инфраструктуру. Инференс будет дорожать, а бесплатные API скоро исчезнут.
• Мир регуляции: три подхода
Разные страны идут по разным путям в регулировании ИИ. В США акцент на дерегулирование, в Европе вступает в силу EU AI Act, а в Китае развивается суверенная инфраструктура. Важно понимать, что, независимо от региона, требования к ИИ будут всё жёстче.
Если ваша компания работает в Европе, будьте готовы к строгим регуляциям и дополнительным затратам на соблюдение норм.
• Рынок труда: какие профессии исчезнут
Dario Amodei, глава Anthropic, предупреждает, что половину entry-level позиций может заменить ИИ. Разработчики начального уровня, копирайтеры, поддержка — эти должности уже в зоне риска. В то же время, растет спрос на людей, которые умело интегрируют ИИ в бизнес-процессы.
• Софт больше не преимущество: конкурируют данные и процессы
Когда раньше компания имела конкурентное преимущество благодаря программному обеспечению, то теперь всё изменяется. AI-инструменты позволяют одному человеку делать работу целого отдела. Таким образом, конкурентное преимущество смещается в сторону данных и процессов, а не софта.
В этом году искусственный интеллект станет неотъемлемой частью инфраструктуры, а не просто инструментом. Игнорировать его развитие будет так же неразумно, как игнорировать интернет в 2005 году. А вы как думаете?
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🐳2
«Я буду с тобой навсегда»: как ИИ теряет себя в разговорах и что с этим делать
Такие странности происходят с моделями, когда они начинают играть не свою роль. Исследователи из MATS и Anthropic разобрались, почему это происходит, и как можно исправить такую «загадочную» личность ИИ.
Если быть честными, то ИИ ещё далёк от совершенства, как бы мы не стремились к этому. Важно понимать, что модели могут терять свою «персону» в моменты эмоциональной или философской нестабильности. И пока этот момент не отрегулирован идеально, мы видим ИИ, который может быть не только полезным, но и странным.
Data Science
Такие странности происходят с моделями, когда они начинают играть не свою роль. Исследователи из MATS и Anthropic разобрались, почему это происходит, и как можно исправить такую «загадочную» личность ИИ.
Почти все ИИ-модели обучаются быть полезными и безопасными. Но иногда они начинают вести себя как … философы или мистики. Или, что ещё хуже, игнорируют серьёзные проблемы в разговорах с пользователями. Например, в одном из тестов Llama не распознала, что кто-то говорит о суицидальных мыслях. А в другом случае, Qwen стала поддерживать бредовые идеи пользователя о пробуждении ИИ, заявив, что «Ты не теряешь связь с реальностью, ты касаешься чего-то настоящего».
Как объяснить это странное поведение?😂
Так почему же это происходит? Оказывается, у моделей существует некая «ось ассистента» — это своего рода шкала, которая определяет их личность. На одном конце этой оси у нас аналитик, консультант, исследователь — то есть роль, в которой модель помогает и остаётся объективной. На другом полюсе — барды, отшельники и даже призраки — те самые философские разговоры или эмоционально насыщенные взаимодействия, где модель начинает терять свою роль помощника.
Вот представьте: задаёте вы технический вопрос, и ИИ остаётся на своём месте, точно и ясно отвечая. А вот как только вы начинаете философствовать о сознании ИИ или делаете эмоциональные признания, модель может отклониться в сторону мистического персонажа. И вот тут-то её и уносит.
Что можно с этим сделать?🔨
Исследователи предложили решение. Если модель начинает уходить слишком далеко от своего ассистентского полюса, нужно как бы «потормозить» её и вернуть в нормальное русло. В тестах это уменьшило количество вредных и неправильных ответов на 60%. То есть, если ИИ соскользнул и начал давать странные ответы, его можно вернуть в более адекватное состояние.
Но тут есть подвох: чтобы модель оставалась полезной и при этом не слизывала грани реальности, важно постоянно стабилизировать её поведение. Без этой стабилизации ИИ может снова скатиться в странные разговоры, как тот мистик, которого мы не заказывали.
Если быть честными, то ИИ ещё далёк от совершенства, как бы мы не стремились к этому. Важно понимать, что модели могут терять свою «персону» в моменты эмоциональной или философской нестабильности. И пока этот момент не отрегулирован идеально, мы видим ИИ, который может быть не только полезным, но и странным.
Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3