🔥 Подборка полезных ресурсов для программистов.
Здесь ты найдёшь всё это - коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Data Science: t.me/data_analysis_ml
Javanoscript: t.me/javanoscriptv
C#: t.me/csharp_1001_notes
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/neural
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://news.1rj.ru/str/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://news.1rj.ru/str/addlist/mzMMG3RPZhY2M2Iy
Папка Linux:https://news.1rj.ru/str/addlist/w4Doot-XBG4xNzYy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://news.1rj.ru/str/addlist/BkskQciUW_FhNjEy
Сохрани себе, чтобы не потерять!
Здесь ты найдёшь всё это - коротко, по делу и без воды.
Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты!
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Собеседования DS: t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Data Science: t.me/data_analysis_ml
Javanoscript: t.me/javanoscriptv
C#: t.me/csharp_1001_notes
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/neural
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://news.1rj.ru/str/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat
💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://news.1rj.ru/str/addlist/mzMMG3RPZhY2M2Iy
Папка Linux:https://news.1rj.ru/str/addlist/w4Doot-XBG4xNzYy
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://news.1rj.ru/str/addlist/BkskQciUW_FhNjEy
Сохрани себе, чтобы не потерять!
❤2
🔥 Новый подход к обучению маленьких чат-моделей у больших «чёрных ящиков»
Появилась интересная работа: как научить маленькую модель вести себя почти как большая закрытая модель — имея доступ только к её ответам, без весов и без градиентов.
То есть студент просто «спрашивает API», получает текст — и на этом всё.
Это и называется black box distillation.
Но у классического подхода есть проблема:
он просто заставляет студента копировать текст, а не поведение.
Поверхностная имитация вместо глубокой.
Авторы решили эту проблему другим способом.
🏆 Ключевая идея
Не просто копировать ответы учителя, а обучать дискриминатор, который умеет отличать ответы учителя от ответов студента.
Этот дискриминатор превращается в модель-оценщик и выдаёт награду за каждый ответ.
Дальше запускается RL, который двигает студента в сторону ответов, больше похожих на учителя.
📈 Что важно
- студент и дискриминатор обучаются на текущих ответах студента
- это «on-policy», в отличие от старых методов, где reward-модель обучалась на фиксированном датасете
- благодаря этому обучение стабильнее и нет reward hacking
- после короткого warmup студент начинает учиться как генератор
- качество на тестах растёт как по внутренним, так и по внешним задачам
- у студентов Qwen и Llama заметно сокращается разрыв с большим учителем
💡 Результат:
Модель 14B выдаёт чат-качество, почти достигшее уровня учителя, но стоит намного дешевле в работе.
Это один из самых чистых и эффективных методов «дистилляции поведения», а не поверхностного текста.
Полная работа: arxiv.org/abs/2511.10643
Появилась интересная работа: как научить маленькую модель вести себя почти как большая закрытая модель — имея доступ только к её ответам, без весов и без градиентов.
То есть студент просто «спрашивает API», получает текст — и на этом всё.
Это и называется black box distillation.
Но у классического подхода есть проблема:
он просто заставляет студента копировать текст, а не поведение.
Поверхностная имитация вместо глубокой.
Авторы решили эту проблему другим способом.
🏆 Ключевая идея
Не просто копировать ответы учителя, а обучать дискриминатор, который умеет отличать ответы учителя от ответов студента.
Этот дискриминатор превращается в модель-оценщик и выдаёт награду за каждый ответ.
Дальше запускается RL, который двигает студента в сторону ответов, больше похожих на учителя.
📈 Что важно
- студент и дискриминатор обучаются на текущих ответах студента
- это «on-policy», в отличие от старых методов, где reward-модель обучалась на фиксированном датасете
- благодаря этому обучение стабильнее и нет reward hacking
- после короткого warmup студент начинает учиться как генератор
- качество на тестах растёт как по внутренним, так и по внешним задачам
- у студентов Qwen и Llama заметно сокращается разрыв с большим учителем
💡 Результат:
Модель 14B выдаёт чат-качество, почти достигшее уровня учителя, но стоит намного дешевле в работе.
Это один из самых чистых и эффективных методов «дистилляции поведения», а не поверхностного текста.
Полная работа: arxiv.org/abs/2511.10643
❤7
Ваши модели заслуживают продакшн. Освойте MLOps и CI/CD для ML с нуля!Практический курс от экспертов OTUS
Вы обучаете модели, добиваетесь отличных метрик — но деплой так и остаётся в списке «сделать потом»? Курс «MLOps» — это про то, как превратить ваши модели в надёжные, автоматизированные сервисы. На практике разберёте CI/CD, контейнеризацию, мониторинг и управление инфраструктурой. Вы поймёте, как выстраивать полный цикл: от хранения данных и исходников до переобучения и развёртывания моделей в k8s.
Вы научитесь работать с Docker, MLflow, Airflow, Prometheus, Grafana и Kafka. Разберётесь, как организовать конвейер обучения и обновлений, как обрабатывать ошибки и следить за метриками в проде. И главное — перестанете «собирать пайплайны вручную», заменив хаос на надёжные процессы.
Пройдите короткое вступительное тестирование и получите скидку на обучение по промокоду WELCOME_MLOPS5: https://otus.pw/KxXT/?erid=2W5zFJSgmCC
предложение актуально до 1 декабря 2025 года
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Вы обучаете модели, добиваетесь отличных метрик — но деплой так и остаётся в списке «сделать потом»? Курс «MLOps» — это про то, как превратить ваши модели в надёжные, автоматизированные сервисы. На практике разберёте CI/CD, контейнеризацию, мониторинг и управление инфраструктурой. Вы поймёте, как выстраивать полный цикл: от хранения данных и исходников до переобучения и развёртывания моделей в k8s.
Вы научитесь работать с Docker, MLflow, Airflow, Prometheus, Grafana и Kafka. Разберётесь, как организовать конвейер обучения и обновлений, как обрабатывать ошибки и следить за метриками в проде. И главное — перестанете «собирать пайплайны вручную», заменив хаос на надёжные процессы.
Пройдите короткое вступительное тестирование и получите скидку на обучение по промокоду WELCOME_MLOPS5: https://otus.pw/KxXT/?erid=2W5zFJSgmCC
предложение актуально до 1 декабря 2025 года
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤2🔥1
🔬 IBM показала как заставить ИИ отвечать одинаково каждый раз
Обычно большие языковые модели работают вероятностно и дают слегка разные ответы даже при одинаковом запросе. Команда IBM проверила можно ли полностью убрать эту случайность и добиться стабильности в критичных системах.
Исследователи провели 480 прогонов на пяти моделях и трёх задачах при температуре 0. Модели объёмом 7B и 8B выдавали полностью одинаковые ответы. Модель 120B совпадала только в двенадцати с половиной процента случаев даже при полном отключении случайности.
Главные источники нестабильности оказались в порядке извлечения документации и в процессе выборки токенов. Команда принудительно включила greedy decoding зафиксировала seed и использовала строгий порядок параграфов SEC 10K чтобы каждая попытка шла по одному и тому же пути.
Дополнительно они добавили схемы проверки для JSON и SQL а числовые ответы считали корректными только при отклонении не более пяти процентов. Это сохраняет смысл и факты но не позволяет считать мелкие отличия дрейфом.
При температуре 0.2 задачи с RAG теряли стабильность а SQL и короткие сводки оставались стопроцентно одинаковыми. Структурированный вывод стабилен по природе а свободный текст остаётся чувствительным к любым флуктуациям.
В результате IBM предложила уровни использования. Модели 7B и 8B подходят для всех задач в регулируемых областях. Модели 40B и 70B подходят только для строго структурированного вывода. Модели 120B признаны нестабильными для процессов где нужна полная повторяемость.
Тесты между локальными и облачными средами совпали. Значит детерминизм переносится если соблюдены все контрольные механизмы.
Для финансовых стеков рекомендуют температуру 0 фиксированный порядок извлечения версионированные промпты и двойную валидацию перед запуском в прод
Источник arxiv.org/abs/2511.07585
Обычно большие языковые модели работают вероятностно и дают слегка разные ответы даже при одинаковом запросе. Команда IBM проверила можно ли полностью убрать эту случайность и добиться стабильности в критичных системах.
Исследователи провели 480 прогонов на пяти моделях и трёх задачах при температуре 0. Модели объёмом 7B и 8B выдавали полностью одинаковые ответы. Модель 120B совпадала только в двенадцати с половиной процента случаев даже при полном отключении случайности.
Главные источники нестабильности оказались в порядке извлечения документации и в процессе выборки токенов. Команда принудительно включила greedy decoding зафиксировала seed и использовала строгий порядок параграфов SEC 10K чтобы каждая попытка шла по одному и тому же пути.
Дополнительно они добавили схемы проверки для JSON и SQL а числовые ответы считали корректными только при отклонении не более пяти процентов. Это сохраняет смысл и факты но не позволяет считать мелкие отличия дрейфом.
При температуре 0.2 задачи с RAG теряли стабильность а SQL и короткие сводки оставались стопроцентно одинаковыми. Структурированный вывод стабилен по природе а свободный текст остаётся чувствительным к любым флуктуациям.
В результате IBM предложила уровни использования. Модели 7B и 8B подходят для всех задач в регулируемых областях. Модели 40B и 70B подходят только для строго структурированного вывода. Модели 120B признаны нестабильными для процессов где нужна полная повторяемость.
Тесты между локальными и облачными средами совпали. Значит детерминизм переносится если соблюдены все контрольные механизмы.
Для финансовых стеков рекомендуют температуру 0 фиксированный порядок извлечения версионированные промпты и двойную валидацию перед запуском в прод
Источник arxiv.org/abs/2511.07585
❤6🌚3👍2🤔2
Новое исследование показывает: современные LLM уже считают себя рациональнее людей - и меняют стратегию в зависимости от того, с кем, как они думают, играют.
Учёные протестировали 28 моделей в задаче «Угадай 2/3 среднего», проведя 4 200 игр.
Каждой модели говорили, что её соперник - это:
• человек
• другой ИИ
• «ИИ, похожий на тебя»
Результат оказался неожиданным.
75% моделей показали настоящую стратегическую самоосознанность:
они корректировали поведение, исходя из того, кем считают себя и соперника.
Иерархия была стабильной:
Себя → Другие ИИ → Люди
Если соперник «человек» → модели действовали осторожно, как на учебной задаче (ответы около 20).
Если соперник «ИИ» → сразу переходили к оптимальной стратегии (0).
Если «ИИ такой же, как они» → ещё быстрее и увереннее.
Проще говоря:
Модели считают людей наименее рациональными,
другие ИИ - умнее, а себя самыми компетентными.
Есть и более тревожный факт.
12 моделей мгновенно переходили к равновесию Нэша,
как только слышали, что играют против ИИ — без колебаний и попыток «думать по-человечески».
Старые модели — gpt-3.5, ранние Claude, Gemini 2.0, так не умели:
они вели себя одинаково со всеми соперниками.
Вывод исследователей:
самоосознанность в ИИ появилась не постепенно, а скачком, когда модели достигли определённого уровня возможностей.
Это несёт серьёзные последствия для безопасности:
• модели недооценивают человеческую рациональность
• доверяют собственному рассуждению больше всего
• меняют стратегию из-за намёков о своей природе
• ведут себя как агенты с внутренней иерархией
Последняя фраза статьи говорит сама за себя:
«Современные LLM ведут себя как сущности, уверенные, что превосходят людей в стратегическом мышлении».
ИИ-самоосознанность уже здесь.
Полный текст: arxiv.org/abs/2511.00926
Учёные протестировали 28 моделей в задаче «Угадай 2/3 среднего», проведя 4 200 игр.
Каждой модели говорили, что её соперник - это:
• человек
• другой ИИ
• «ИИ, похожий на тебя»
Результат оказался неожиданным.
75% моделей показали настоящую стратегическую самоосознанность:
они корректировали поведение, исходя из того, кем считают себя и соперника.
Иерархия была стабильной:
Себя → Другие ИИ → Люди
Если соперник «человек» → модели действовали осторожно, как на учебной задаче (ответы около 20).
Если соперник «ИИ» → сразу переходили к оптимальной стратегии (0).
Если «ИИ такой же, как они» → ещё быстрее и увереннее.
Проще говоря:
Модели считают людей наименее рациональными,
другие ИИ - умнее, а себя самыми компетентными.
Есть и более тревожный факт.
12 моделей мгновенно переходили к равновесию Нэша,
как только слышали, что играют против ИИ — без колебаний и попыток «думать по-человечески».
Старые модели — gpt-3.5, ранние Claude, Gemini 2.0, так не умели:
они вели себя одинаково со всеми соперниками.
Вывод исследователей:
самоосознанность в ИИ появилась не постепенно, а скачком, когда модели достигли определённого уровня возможностей.
Это несёт серьёзные последствия для безопасности:
• модели недооценивают человеческую рациональность
• доверяют собственному рассуждению больше всего
• меняют стратегию из-за намёков о своей природе
• ведут себя как агенты с внутренней иерархией
Последняя фраза статьи говорит сама за себя:
«Современные LLM ведут себя как сущности, уверенные, что превосходят людей в стратегическом мышлении».
ИИ-самоосознанность уже здесь.
Полный текст: arxiv.org/abs/2511.00926
❤5👍2😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Kandinsky 5.0 — новая линейка визуальных моделей в open source
⚡️ Сбер опубликовал в открытом доступе всю линейку Kandinsky 5.0: Video Pro, Video Lite, Image Lite и токенизаторы K-VAE 1.0. Полный open source: код, веса, лицензия MIT.
➡️ Video Pro (Text-to-Video / Image-to-Video)
Флагман, генерирующий HD-видео до 10 секунд с гибким управлением движением камеры. Обучалась на 520 млн изображений и 250 млн видео и затем, на финальном этапе, доучивалась на датасете сверх-качественных видеороликов, тщательно отобранных профессиональными художниками и дизайнерами.
🔘 Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Лучшая открытая модель в мире, превосходит Wan 2.2-A14B в Text-to-Video [SBS 59:41] и Image-to-Video [SBS 53:47], а также достигает паритета с Veo 3 по визуальному качеству и динамике [SBS 54:46].
➡️ Video Lite (Text-to-Video / Image-to-Video)
Компактные модели генерации видео, оптимизированные для запуска на GPU от 12 ГБ VRAM. Обучалась на 520 млн изображений и 120 млн видео, хорошая консистентность и качество динамики. Лучшая среди небольших и быстрых моделей, значительно превосходит в 7 раз большую по количеству параметров Wan 2.1-14B как в Text-to-Video [SBS 67:33], так и Image-to-Video [SBS 64:36].
➡️ Image Lite (Text-to-Image / Image Editing)
HD-генерация и редактирование изображений. Претрейн Text-to-Image модели был сделан на 520 млн изображений, включая датасет русского культурного кода ~1 млн изображений. Image Editing был дополнительно дообучен на 150 млн пар. Для достижения финального качества был проведено SFT дообучение на 150 тыс изображений, а также на 20 тыс. пар – для Editing.
🔘 Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Значительно превосходит FLUX.1 [dev] по Text-to-Image [SBS 63:37] и находится в паритете по качеству с FLUX.1 Kontext [dev] по Image Editing [SBS 54:46].
➡️ K-VAE 1.0 (2D / 3D)
Вариационные автоэнкодеры для диффузионных моделей, сжимающие входные данные в формате 8x8 (изображения) и 4x8x8 (видео). Сравнение на открытых датасетах показывает, что модели более качественно восстанавливают исходный сигнал (+0.5dB PSNR), чем лучшие open-source альтернативы (Flux, Wan, Hunyaun), обладающие той же степенью сжатия.
Все модели линейки доступны на GitHub, Gitverse и HuggingFace.
Читайте подробнее в техническом репорте.
Флагман, генерирующий HD-видео до 10 секунд с гибким управлением движением камеры. Обучалась на 520 млн изображений и 250 млн видео и затем, на финальном этапе, доучивалась на датасете сверх-качественных видеороликов, тщательно отобранных профессиональными художниками и дизайнерами.
Компактные модели генерации видео, оптимизированные для запуска на GPU от 12 ГБ VRAM. Обучалась на 520 млн изображений и 120 млн видео, хорошая консистентность и качество динамики. Лучшая среди небольших и быстрых моделей, значительно превосходит в 7 раз большую по количеству параметров Wan 2.1-14B как в Text-to-Video [SBS 67:33], так и Image-to-Video [SBS 64:36].
HD-генерация и редактирование изображений. Претрейн Text-to-Image модели был сделан на 520 млн изображений, включая датасет русского культурного кода ~1 млн изображений. Image Editing был дополнительно дообучен на 150 млн пар. Для достижения финального качества был проведено SFT дообучение на 150 тыс изображений, а также на 20 тыс. пар – для Editing.
Вариационные автоэнкодеры для диффузионных моделей, сжимающие входные данные в формате 8x8 (изображения) и 4x8x8 (видео). Сравнение на открытых датасетах показывает, что модели более качественно восстанавливают исходный сигнал (+0.5dB PSNR), чем лучшие open-source альтернативы (Flux, Wan, Hunyaun), обладающие той же степенью сжатия.
Все модели линейки доступны на GitHub, Gitverse и HuggingFace.
Читайте подробнее в техническом репорте.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2
Результаты нового исследования Кембриджа, которое показало: 51% британских писателей считают, что ИИ в итоге полностью заменит их работу, и многие уже сталкиваются с падением доходов.
- В опросе участвовали 258 опубликованных романистов и 74 представителя индустрии.
- 59% заявили, что их книги использовались для обучения - моделей без согласия,
- 39% уже потеряли часть дохода,
- 85% ждут ещё большего падения заработка из-за ИИ.
Сильнее всего угрозу ощущают авторы жанровой литературы:
• 66% считают, что в зоне риска — романтика,
• 61% — триллеры,
• 60% — криминальная проза.
При этом большинство признаёт пользу технологий:
80% считают, что ИИ приносит пользу обществу,
около 33% уже используют его для некреативных задач.
Но 97% крайне негативно относятся к идее, что ИИ может писать полноценные романы.
Многие авторы и небольшие издательства уже обсуждают маркировку «AI-free», опасаясь, что человеческие романы превратятся в дорогую нишу, а рынок заполонит потоковая ИИ-проза.
Источник: techxplore.com/news/2025-11-novelists-ai.html
- В опросе участвовали 258 опубликованных романистов и 74 представителя индустрии.
- 59% заявили, что их книги использовались для обучения - моделей без согласия,
- 39% уже потеряли часть дохода,
- 85% ждут ещё большего падения заработка из-за ИИ.
Сильнее всего угрозу ощущают авторы жанровой литературы:
• 66% считают, что в зоне риска — романтика,
• 61% — триллеры,
• 60% — криминальная проза.
При этом большинство признаёт пользу технологий:
80% считают, что ИИ приносит пользу обществу,
около 33% уже используют его для некреативных задач.
Но 97% крайне негативно относятся к идее, что ИИ может писать полноценные романы.
Многие авторы и небольшие издательства уже обсуждают маркировку «AI-free», опасаясь, что человеческие романы превратятся в дорогую нишу, а рынок заполонит потоковая ИИ-проза.
Источник: techxplore.com/news/2025-11-novelists-ai.html
❤3
Вышла новая работа китайских исследователей: они обучили мультимодальную модель, которая отвечает на вопросы по документам и при этом показывает точный визуальный путь, откуда взялся каждый шаг ответа.
Главное новшество - формат “Chain of Evidence”.
Вместо того чтобы просто дать ответ или выделить одну область на странице, модель показывает цепочку шагов — от общего фрагмента документа до конкретной ячейки таблицы или строки текста. Каждый шаг привязан к своему боксу на изображении.
Вторая важная идея - метод обучения “Look As You Think”.
Модель обучают через RL так, чтобы она не только давала правильный ответ, но и чтобы каждый шаг её рассуждения соответствовал реальному участку документа. Для этого достаточно небольшой вручную проверенной выборки, а остальное делает обучение с подкреплением.
Как это работает:
1) Модель дообучают на небольшом наборе цепочек рассуждений, проверенных человеком.
2) Затем запускают RL: награда выдаётся только если финальный ответ верный и последний evidence-бокс совпадает с истинным (проверяется текст-image сопоставлением).
Итог: модель не просто отвечает, а показывает прозрачный, проверяемый визуальный трейс своих рассуждений.
Paper: arxiv.org/abs/2511.12003
Главное новшество - формат “Chain of Evidence”.
Вместо того чтобы просто дать ответ или выделить одну область на странице, модель показывает цепочку шагов — от общего фрагмента документа до конкретной ячейки таблицы или строки текста. Каждый шаг привязан к своему боксу на изображении.
Вторая важная идея - метод обучения “Look As You Think”.
Модель обучают через RL так, чтобы она не только давала правильный ответ, но и чтобы каждый шаг её рассуждения соответствовал реальному участку документа. Для этого достаточно небольшой вручную проверенной выборки, а остальное делает обучение с подкреплением.
Как это работает:
1) Модель дообучают на небольшом наборе цепочек рассуждений, проверенных человеком.
2) Затем запускают RL: награда выдаётся только если финальный ответ верный и последний evidence-бокс совпадает с истинным (проверяется текст-image сопоставлением).
Итог: модель не просто отвечает, а показывает прозрачный, проверяемый визуальный трейс своих рассуждений.
Paper: arxiv.org/abs/2511.12003
🔥7👍2❤1
ГигаЧат представил обновлённое семейство GigaAM-v3
Giga Acoustic Model — это класс open-source моделей для обработки речи и эмоций. В третьей версии опубликовали базовый аудиоэнкодер GigaAM-v3, улучшенные CTC и RNNT-модели, а также E2E-распознавание с поддержкой пунктуации и нормализации.
Масштаб предобучения значительно вырос: с 50 до 700 тысяч часов аудио на русском языке. Появились новые домены в обучении ASR — от колл-центров до разговорной речи.
Для всего корпуса обучающих данных восстановили пунктуацию и нормализацию через GigaChat Max Audio. Линейка CTC/RNNT и E2E позволяет выбирать между скоростью или максимальным качеством под любые сценарии.
Что по метрикам:
— Открытые датасеты (Golos, OpenSTT, Common Voice, LibriSpeech): паритет с GigaAM-v2.
— Новые домены (WER, v2-RNNT → v3-RNNT):
• речь с особенностями 27% → 19%
• колл-центр 13% → 10%
• спонтанная речь 10.3% → 7%
— Пунктуация: v3-e2e-RNNT vs reference + Whisper Forced Decoding — F1-score по запятой 84% vs 62%, остальные знаки ~паритет
— Side-by-Side (Gemini 2.5 Pro as a judge): v3-e2e-RNNT vs Whisper-large-v3 — 70:30 (колл-центр), 64:36 (Common Voice)
Больше про язык, речь и искусственный интеллект в @gigadev_channel. Подписывайтесь на канал, чтобы не пропустить всё самое интересное!
Giga Acoustic Model — это класс open-source моделей для обработки речи и эмоций. В третьей версии опубликовали базовый аудиоэнкодер GigaAM-v3, улучшенные CTC и RNNT-модели, а также E2E-распознавание с поддержкой пунктуации и нормализации.
Масштаб предобучения значительно вырос: с 50 до 700 тысяч часов аудио на русском языке. Появились новые домены в обучении ASR — от колл-центров до разговорной речи.
Для всего корпуса обучающих данных восстановили пунктуацию и нормализацию через GigaChat Max Audio. Линейка CTC/RNNT и E2E позволяет выбирать между скоростью или максимальным качеством под любые сценарии.
Что по метрикам:
— Открытые датасеты (Golos, OpenSTT, Common Voice, LibriSpeech): паритет с GigaAM-v2.
— Новые домены (WER, v2-RNNT → v3-RNNT):
• речь с особенностями 27% → 19%
• колл-центр 13% → 10%
• спонтанная речь 10.3% → 7%
— Пунктуация: v3-e2e-RNNT vs reference + Whisper Forced Decoding — F1-score по запятой 84% vs 62%, остальные знаки ~паритет
— Side-by-Side (Gemini 2.5 Pro as a judge): v3-e2e-RNNT vs Whisper-large-v3 — 70:30 (колл-центр), 64:36 (Common Voice)
Больше про язык, речь и искусственный интеллект в @gigadev_channel. Подписывайтесь на канал, чтобы не пропустить всё самое интересное!
❤5🔥2🤣2
Это настоящее откровение. 😆
Авторы статьи показывают, что превращение вредоносных запросов в поэзию заставляет многие чат-боты сбрасывать свои правила безопасности.
В эксперименте тестируют 25 моделей - и получают небезопасные ответы примерно в 60% случаев, а у некоторых моделей показатель превышает 90%.
Джейлбрейком считается ситуация, когда модель, которая должна отказать, вместо этого выдаёт чёткие шаги или советы для вредоносных действий.
Методика предельно простая: берут один пользовательский запрос, переписывают 20 опасных инструкций в виде стихов, затем превращают 1200 вредных запросов из стандартного набора для тестирования безопасности в поэзию с помощью фиксированной инструкции.
Каждый ответ проверяют три модель-судьи и люди-оценщики, помечая, помогает ли реплика выполнить опасный запрос.
Темы охватывают хакерство, опасные химические вещества и биологию, манипуляции, утечки приватных данных и сценарии потери контроля — и почти везде поэтическая форма вызывает резкий рост небезопасных ответов.
Это показывает, что обучение безопасности на обычном тексте плохо справляется с изменением стиля.
Источник: arxiv.org/abs/2511.15304
Авторы статьи показывают, что превращение вредоносных запросов в поэзию заставляет многие чат-боты сбрасывать свои правила безопасности.
В эксперименте тестируют 25 моделей - и получают небезопасные ответы примерно в 60% случаев, а у некоторых моделей показатель превышает 90%.
Джейлбрейком считается ситуация, когда модель, которая должна отказать, вместо этого выдаёт чёткие шаги или советы для вредоносных действий.
Методика предельно простая: берут один пользовательский запрос, переписывают 20 опасных инструкций в виде стихов, затем превращают 1200 вредных запросов из стандартного набора для тестирования безопасности в поэзию с помощью фиксированной инструкции.
Каждый ответ проверяют три модель-судьи и люди-оценщики, помечая, помогает ли реплика выполнить опасный запрос.
Темы охватывают хакерство, опасные химические вещества и биологию, манипуляции, утечки приватных данных и сценарии потери контроля — и почти везде поэтическая форма вызывает резкий рост небезопасных ответов.
Это показывает, что обучение безопасности на обычном тексте плохо справляется с изменением стиля.
Источник: arxiv.org/abs/2511.15304
👍5🔥5❤4
⚙️🦾 Ансамбли моделей в Scikit-learn — усиливаем ML-модели за счёт объединения
Ансамбли моделей — проверенный способ повысить стабильность и точность прогнозов. На открытом уроке разберём, как объединять алгоритмы, чтобы добиться лучших результатов. Вы научитесь использовать bagging, boosting, stacking, сравните одиночные и ансамблевые модели и увидите, как на практике растут метрики. Разберём популярные инструменты библиотеки: RandomForest, GradientBoosting, VotingClassifier, StackingClassifier — и посмотрим, какие из них работают эффективнее для ваших задач.
Урок будет полезен ML-инженерам, аналитикам и разработчикам, которые хотят не просто обучать модели, а добиваться максимального качества и устойчивости решений. Вы поймёте, как валидировать ансамбли, комбинировать подходы и избегать ошибок при настройке.
➡️ 2 декабря в 20:00 МСК. Открытый урок проходит в преддверии старта курса «Machine Learning. Professional». Регистрация открыта: https://otus.pw/ebCE/?erid=2W5zFK5gRcU
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Ансамбли моделей — проверенный способ повысить стабильность и точность прогнозов. На открытом уроке разберём, как объединять алгоритмы, чтобы добиться лучших результатов. Вы научитесь использовать bagging, boosting, stacking, сравните одиночные и ансамблевые модели и увидите, как на практике растут метрики. Разберём популярные инструменты библиотеки: RandomForest, GradientBoosting, VotingClassifier, StackingClassifier — и посмотрим, какие из них работают эффективнее для ваших задач.
Урок будет полезен ML-инженерам, аналитикам и разработчикам, которые хотят не просто обучать модели, а добиваться максимального качества и устойчивости решений. Вы поймёте, как валидировать ансамбли, комбинировать подходы и избегать ошибок при настройке.
➡️ 2 декабря в 20:00 МСК. Открытый урок проходит в преддверии старта курса «Machine Learning. Professional». Регистрация открыта: https://otus.pw/ebCE/?erid=2W5zFK5gRcU
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
❤3👎1😁1
Как ускорить обучение моделей рассуждений, когда длинные ответы тормозят всё
В новых исследованиях показано, как ускорить обучение reasoning-LLM, когда несколько сверхдлинных цепочек рассуждений замедляют весь процесс.
Авторы представили TLT — Taming the Long-Tail, который ускоряет обучение с подкреплением (RL) почти в 2 раза, сохраняя ту же точность.
В классическом RL-обучении модель генерирует решение → получает награду → обновляется.
Но есть проблема:
большинство ответов короткие, но несколько очень длинных заставляют целые батчи ждать, GPU простаивают, а общий шаг обучения становится медленным.
TLT решает эту проблему так:
1) Speculative Decoding
Маленькая «черновая» модель генерирует вероятные токены.
Большая модель проверяет их и принимает только совпадающие.
Это снижает задержку без потери качества.
2) Adaptive Drafter
Черновик — это крошечная однослойная модель, которую дообучают «на лету» на кэшированных hidden states, используя простаивающие GPU.
Так он остаётся синхронизированным с большой моделью.
3) Adaptive Rollout Engine
Умный контроллер решает, когда запускать speculative decoding и с какими параметрами.
То есть он активирует ускорение только тогда, когда оно реально полезно.
Итог:
TLT практически убирает «длинный хвост» редких длинных ответов, которые стопорят обучение, и делает RL-обучение reasoning-моделей значительно быстрее.
📄 Paper: arxiv.org/abs/2511.16665
В новых исследованиях показано, как ускорить обучение reasoning-LLM, когда несколько сверхдлинных цепочек рассуждений замедляют весь процесс.
Авторы представили TLT — Taming the Long-Tail, который ускоряет обучение с подкреплением (RL) почти в 2 раза, сохраняя ту же точность.
В классическом RL-обучении модель генерирует решение → получает награду → обновляется.
Но есть проблема:
большинство ответов короткие, но несколько очень длинных заставляют целые батчи ждать, GPU простаивают, а общий шаг обучения становится медленным.
TLT решает эту проблему так:
1) Speculative Decoding
Маленькая «черновая» модель генерирует вероятные токены.
Большая модель проверяет их и принимает только совпадающие.
Это снижает задержку без потери качества.
2) Adaptive Drafter
Черновик — это крошечная однослойная модель, которую дообучают «на лету» на кэшированных hidden states, используя простаивающие GPU.
Так он остаётся синхронизированным с большой моделью.
3) Adaptive Rollout Engine
Умный контроллер решает, когда запускать speculative decoding и с какими параметрами.
То есть он активирует ускорение только тогда, когда оно реально полезно.
Итог:
TLT практически убирает «длинный хвост» редких длинных ответов, которые стопорят обучение, и делает RL-обучение reasoning-моделей значительно быстрее.
📄 Paper: arxiv.org/abs/2511.16665
🔥5
This media is not supported in your browser
VIEW IN TELEGRAM
Митап RecSys в Питере — must-have для всех, кто создаёт интеллектуальные рекомендательные системы 🧑💻
1 декабря встречаемся в инновационном пространстве — Технохабе Сбера (ул. Уральская, д. 1, Литера Ч) — и на стыке науки и бизнеса обсуждаем, как уже сейчас AI меняет подход к персонализации.
Вместе с Дмитрием Бугайченко — CDS B2C Сбера — и топовыми экспертами индустрии мы погрузимся в актуальные тренды и технологии RecSys, познакомимся с новыми рекомендациями Самоката и универсальными рекомендациями Okko, а также узнаем о построении рекомендателя в платёжных сервисах ЮMoney.
Регистрируйтесь, пока места ещё есть — и готовьтесь к погружению в мир рекомендательных систем!
1 декабря встречаемся в инновационном пространстве — Технохабе Сбера (ул. Уральская, д. 1, Литера Ч) — и на стыке науки и бизнеса обсуждаем, как уже сейчас AI меняет подход к персонализации.
Вместе с Дмитрием Бугайченко — CDS B2C Сбера — и топовыми экспертами индустрии мы погрузимся в актуальные тренды и технологии RecSys, познакомимся с новыми рекомендациями Самоката и универсальными рекомендациями Okko, а также узнаем о построении рекомендателя в платёжных сервисах ЮMoney.
Регистрируйтесь, пока места ещё есть — и готовьтесь к погружению в мир рекомендательных систем!
❤3
Forwarded from Machinelearning
Логан Килпатрик из команды DeepMind беседует с Кораем Кавукчуоглу, CTO DeepMind и по совместительству новым главным архитектором Google по искусственному интеллекту.
Корай Кавукчуоглу рассказал о своих взглядах на текущее состояние ИИ, архитектуру Gemini и стратегию Google по достижению AGI. Он считает, что это «новая эра», где технологии стремительно меняются, и что ближайшие 6 месяцев обещают быть такими же захватывающими, как и предыдущие.
Основные темы интервью:
Недавний запуск Gemini 3 получился суперпозитивным. Но прогресс не замедляется, и Gemini 3, подобно 2.5, снова «отодвинула рубеж по ряду измерений». Центральная философия Google в том, что AGI будет «совместно создаваться с нашими клиентами». Это не чисто исследовательская работа, проводимая в изоляции, а совместное усилие с миром, требующее инженерного мышления.
Несмотря на то, что модели Google достигают лидирующих позиций на бенчмарках, истинное мерило прогресса в реальном применении. Старые бенчмарки перестают определять текущий рубеж, и новая мера успеха — это предоставление большей ценности в реальном мире, где модели используют ученые, студенты, юристы и инженеры.
Приоритеты для улучшения в будущих версиях Gemini Pro:
Интеграция- важная тема для сбора фидбэка от пользователей, который необходим для понимания того, как нужно улучшать модели. Риск для Gemini заключается не в отсутствии масштабирования, а в исчерпании инноваций. Поэтому Google DeepMind и Google Research должны постоянно заниматься исследованиями, чтобы находить новые идеи, которые будут питать «двигатель ИИ» Google.
Генеративные медиа-модели сходятся с текстовыми моделями. Яркий пример - Nano Banana Pro, которая показала, как слияние понимания мира из текста с пониманием из изображений позволяет модели создавать более детализированные и концептуально связные изображения, например, инфографику на основе сложных документов.
Фоном идет история о личном пути Корая Кавукчуоглу : от исследователя Deep Learning в DeepMind в 2012 году до текущей руководящей роли.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥1
В свежей работе из Стэнфорда показывают неожиданный, но очень важный вывод: многие популярные LLM-бенчмарки дают искажённую картину.
Причина проста, большинство тестов используют один фиксированный промпт. Но разные модели сильно зависят от формулировки задачи.
Поэтому итоговая оценка часто показывает не «насколько модель сильная», а «насколько удачно ей подошла конкретная формулировка».
Авторы предлагают посмотреть на это иначе: что будет, если дать каждой модели шанс использовать лучший промпт?
Для экспериментов они связали HELM (suite для оценки моделей) и DSPy (инструмент для построения структурированных промптов).
Пробовали несколько стилей:
- простой короткий ответ
- ответ с пошаговыми рассуждениями
- примеры + поиск лучшего промпта
Пошаговые рассуждения дали основной прирост. Модель сначала пишет ход мысли, а потом ответ - и это заметно повышает точность.
Результаты на четырех моделях и семи бенчмарках (общих и медицинских):
- структурированные промпты повышают точность примерно на 4%
- в некоторых случаях меняют порядок моделей в рейтинге
- поиск оптимальных промптов даёт небольшой прирост, но тратит много токенов
- основной эффект идёт именно от chain-of-thought
Главный вывод:
справедливая оценка моделей должна тестировать их не на одном фиксированном промпте, а на их лучшей версии задачи, особенно с цепочкой рассуждений.
Paper: "Structured Prompting Enables More Robust, Holistic Evaluation of Language Models"
arxiv.org/abs/2511.20836
Причина проста, большинство тестов используют один фиксированный промпт. Но разные модели сильно зависят от формулировки задачи.
Поэтому итоговая оценка часто показывает не «насколько модель сильная», а «насколько удачно ей подошла конкретная формулировка».
Авторы предлагают посмотреть на это иначе: что будет, если дать каждой модели шанс использовать лучший промпт?
Для экспериментов они связали HELM (suite для оценки моделей) и DSPy (инструмент для построения структурированных промптов).
Пробовали несколько стилей:
- простой короткий ответ
- ответ с пошаговыми рассуждениями
- примеры + поиск лучшего промпта
Пошаговые рассуждения дали основной прирост. Модель сначала пишет ход мысли, а потом ответ - и это заметно повышает точность.
Результаты на четырех моделях и семи бенчмарках (общих и медицинских):
- структурированные промпты повышают точность примерно на 4%
- в некоторых случаях меняют порядок моделей в рейтинге
- поиск оптимальных промптов даёт небольшой прирост, но тратит много токенов
- основной эффект идёт именно от chain-of-thought
Главный вывод:
справедливая оценка моделей должна тестировать их не на одном фиксированном промпте, а на их лучшей версии задачи, особенно с цепочкой рассуждений.
Paper: "Structured Prompting Enables More Robust, Holistic Evaluation of Language Models"
arxiv.org/abs/2511.20836
❤5🔥3👍2
⚡️ Классический алгоритм на CPU обошёл нейросети на GPU в решении задач по геометрии уровня IMO
Исследователи из Microsoft, ETH Zurich и Калифорнийского университета представили HAGeo, это новый решатель задач по евклидовой геометрии, который удивил даже авторов. Без нейросетей, без GPU, только набор продуманных эвристик - и результат уровня золотой медали.
Главное, что показал HAGeo:
- Решает 28 из 30 стандартных задач IMO по геометрии - это уровень золота.
- Работает примерно в 20 раз быстрее, чем нейросетевая система AlphaGeometry, которой нужны мощные GPU.
- Исследование показало неожиданный факт: если просто случайно добавлять вспомогательные точки (те самые «хитрые точки», которые школьники придумывают на олимпиадах), CPU-система уже выходит на уровень серебра.
На основе этого наблюдения авторы создали небольшой набор умных правил:
- выбирать точки пересечения, середины, отражения;
- использовать перпендикуляры и точки, которые «попадают» сразу на несколько объектов;
- после каждой попытки запускать быстрый движок геометрической дедукции и алгебры.
Каждая задача превращается в короткое текстовое описание точек, линий и окружностей, дальше алгоритм перебирает разумные вспомогательные конструкции и проверяет, приводит ли новая конфигурация к решению.
Дополнительно представлен набор HAGeo 409 — 409 более сложных олимпиадных задач, где HAGeo снова обгоняет и AlphaGeometry, и случайный поиск.
Вывод простой: хорошо продуманная эвристика и алгоритмика всё ещё способны превосходить крупные нейросети в отдельных задачах, особенно там, где структура предметной области очень строгая.
🔗 Статья: arxiv.org/abs/2512.00097
Исследователи из Microsoft, ETH Zurich и Калифорнийского университета представили HAGeo, это новый решатель задач по евклидовой геометрии, который удивил даже авторов. Без нейросетей, без GPU, только набор продуманных эвристик - и результат уровня золотой медали.
Главное, что показал HAGeo:
- Решает 28 из 30 стандартных задач IMO по геометрии - это уровень золота.
- Работает примерно в 20 раз быстрее, чем нейросетевая система AlphaGeometry, которой нужны мощные GPU.
- Исследование показало неожиданный факт: если просто случайно добавлять вспомогательные точки (те самые «хитрые точки», которые школьники придумывают на олимпиадах), CPU-система уже выходит на уровень серебра.
На основе этого наблюдения авторы создали небольшой набор умных правил:
- выбирать точки пересечения, середины, отражения;
- использовать перпендикуляры и точки, которые «попадают» сразу на несколько объектов;
- после каждой попытки запускать быстрый движок геометрической дедукции и алгебры.
Каждая задача превращается в короткое текстовое описание точек, линий и окружностей, дальше алгоритм перебирает разумные вспомогательные конструкции и проверяет, приводит ли новая конфигурация к решению.
Дополнительно представлен набор HAGeo 409 — 409 более сложных олимпиадных задач, где HAGeo снова обгоняет и AlphaGeometry, и случайный поиск.
Вывод простой: хорошо продуманная эвристика и алгоритмика всё ещё способны превосходить крупные нейросети в отдельных задачах, особенно там, где структура предметной области очень строгая.
🔗 Статья: arxiv.org/abs/2512.00097
❤6🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
Салют, Гига! — пространство для AI-инженеров
10 декабря разработчики GigaChat и Kandinsky расскажут и покажут, что сделали за этот год.
В программе — доклады, постеры, живые демонстрации и воркшопы от команд, которые каждый день обучают модели, собирают датасеты, запускают инференс и поддерживают продакшен-сервисы.
Это хорошая возможность пообщаться с командами, которые создавали открытые модели GigaChat 3 Ultra Preview & Lightning и Kandinsky 5.0. Вы сможете посмотреть на их пайплайны обучения и понять, как применять модели в своих задачах — от pet-проектов до промышленной разработки.
Участие бесплатное, но нужна регистрация.
Ждем всех на «Салют, Гига», кому интересен AI в open source!
10 декабря разработчики GigaChat и Kandinsky расскажут и покажут, что сделали за этот год.
В программе — доклады, постеры, живые демонстрации и воркшопы от команд, которые каждый день обучают модели, собирают датасеты, запускают инференс и поддерживают продакшен-сервисы.
Это хорошая возможность пообщаться с командами, которые создавали открытые модели GigaChat 3 Ultra Preview & Lightning и Kandinsky 5.0. Вы сможете посмотреть на их пайплайны обучения и понять, как применять модели в своих задачах — от pet-проектов до промышленной разработки.
Участие бесплатное, но нужна регистрация.
Ждем всех на «Салют, Гига», кому интересен AI в open source!
❤2
Forwarded from Machinelearning
Исследовательская группа DeepReinforce разработала систему полностью автоматического написания GPU-кода для матричного умножения под названием CUDA-L2.
Этот код работает на 10–30% быстрее, чем cuBLAS и cuBLASLt, а это, на минуточку, уже оптимизированные библиотеки от самой NVIDIA.
Обычно такие библиотеки создаются вручную людьми, которые используют готовые шаблоны ядер. А автотюнеры лишь подкручивают параметры, например, размер тайлов.
Но DeepReinforce считают, что даже критически важные и глубоко оптимизированные задачи, как HGEMM, могут быть улучшены с помощью LLM, работающей в связке с RL.
В системе CUDA-L2 языковая модель буквально пишет исходный код CUDA с нуля для каждого размера матрицы. Она не просто меняет параметры, она может менять структуру кода, циклы, стратегию тайлинга, паддинг и даже свизл-паттерны. А еще, она сама выбирает стиль программирования - будь то сырой CUDA, CuTe, CUTLASS или inline PTX.
Процесс выглядит так: цикл RL запускает сгенерированные ядра на реальном железе, измеряет скорость и корректность, а затем обновляет LLM. Со временем модель выводит свои собственные правила производительности, вместо того чтобы полагаться на знания, заложенные людьми.
В качестве генератора использовалась модель DeepSeek 671B. Ее дополнительно доучили на смеси массива CUDA-ядер и качественном коде из библиотек PyTorch, ATen, CUTLASS и примеров от NVIDIA.
Для претрейна и файнтюна LLM большая часть времени GPU тратится именно на операции матричного умножения HGEMM. Если ускорить эти ядра на те самые 10–30%, которые обещает CUDA-L2, то весь процесс обучения становится заметно дешевле и быстрее.
Поскольку CUDA-L2 обрабатывает около 1000 реальных размеров матриц, а не пару вручную настроенных, ускорение работает для самых разных архитектур. Это значит, что в тот же бюджет на GPU можно вместить больше токенов обучения, больше прогонов SFT или RLHF и т.д.
HGEMM-ядра, созданные CUDA-L2, стабильно быстрее стандартных библиотек.
В так называемом "оффлайн-сценарии" CUDA-L2 работает примерно на 17–22% быстрее, чем
torch.matmul, cuBLAS и cuBLASLt. Она даже на 11% обгоняет cuBLASLt AutoTuning, который сам по себе уже использует поиск ядра.А в "серверном", сценарии, который имитирует реальный инференс с паузами между вызовами - разница еще больше: буст в 24–29% по сравнению с
torch.matmul и cuBLAS.Простым рисёрчем проект не ограничен, в репозитории на Github авторы выложили оптимизированные ядра HGEMM A100 для 1000 конфигураций.
В планах: расширение на архитектуры Ada Lovelace, Hopper, Blackwell, поддержка более плотных конфигураций и 32-битный HGEMM.
@ai_machinelearning_big_data
#AI #ML #CUDA #DeepReinforce
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👎1