🧠 Новая работа Anthropic: как «локализовать» опасные знания внутри небольшого участка модели, а не размазывать их по всем весам.
Проблема:
LLM легко впитывают рискованные навыки из грязных датасетов - вредный контент может проскочить фильтры, попасть в обучение, а затем его почти невозможно полностью удалить. Обычно такие знания распределяются по всей сети.
Идея работы:
Исследователи заранее выделяют крошечную часть модели — небольшой набор нейронов и attention-голов - и обозначают его как «рискованную зону». Именно там должна храниться целевая опасная информация.
Как это работает:
- Во время обучения рискованные примеры обновляют только эту зону, сигналы градиента к остальным весам обнуляются.
- Нормальные примеры наоборот - обучаются с отключённой risky-зоной.
- После обучения исследователи обнуляют веса risky-зоны, удаляя опасные знания, но почти не трогая общие способности модели.
Почему это эффективно:
Ранние размеченные опасные данные «прокладывают путь» - вся дальнейшая утечка вредных знаний из неразмеченного или ошибочно размеченного датасета также направляется в ту же область. В результате вредные навыки не расползаются по всей модели.
Результаты:
- На задачах с билингвальными историями, а также с биологическими и военными темами из Википедии этот метод значительно лучше удаляет целевые знания, чем простая фильтрация данных.
- Модель становится гораздо устойчивее к adversarial fine-tuning, который обычно восстанавливает запрещённые навыки.
- Минус - требуется больше вычислительных ресурсов.
Это первые шаги к практическому и управляемому «удалению способностей» из LLM через локализацию знаний, а не через попытки чистить датасеты или послеобучение.
Paper: arxiv.org/abs/2512.05648
Проблема:
LLM легко впитывают рискованные навыки из грязных датасетов - вредный контент может проскочить фильтры, попасть в обучение, а затем его почти невозможно полностью удалить. Обычно такие знания распределяются по всей сети.
Идея работы:
Исследователи заранее выделяют крошечную часть модели — небольшой набор нейронов и attention-голов - и обозначают его как «рискованную зону». Именно там должна храниться целевая опасная информация.
Как это работает:
- Во время обучения рискованные примеры обновляют только эту зону, сигналы градиента к остальным весам обнуляются.
- Нормальные примеры наоборот - обучаются с отключённой risky-зоной.
- После обучения исследователи обнуляют веса risky-зоны, удаляя опасные знания, но почти не трогая общие способности модели.
Почему это эффективно:
Ранние размеченные опасные данные «прокладывают путь» - вся дальнейшая утечка вредных знаний из неразмеченного или ошибочно размеченного датасета также направляется в ту же область. В результате вредные навыки не расползаются по всей модели.
Результаты:
- На задачах с билингвальными историями, а также с биологическими и военными темами из Википедии этот метод значительно лучше удаляет целевые знания, чем простая фильтрация данных.
- Модель становится гораздо устойчивее к adversarial fine-tuning, который обычно восстанавливает запрещённые навыки.
- Минус - требуется больше вычислительных ресурсов.
Это первые шаги к практическому и управляемому «удалению способностей» из LLM через локализацию знаний, а не через попытки чистить датасеты или послеобучение.
Paper: arxiv.org/abs/2512.05648
❤16💔5🔥3🥰2
⚡️ Shannon - автономный AI-хакер для поиска реальных уязвимостей
Shannon - это полностью автономный AI-агент, который ищет настоящие эксплойты в веб-приложениях, а не просто флаги или теоретические проблемы. Он работает без подсказок, анализирует исходный код и ведёт себя как реальный атакующий.
Главное достижение - 96.15 процента успешных атак на XBOW Benchmark в режиме hint-free и source-aware. Это один из самых сложных бенчмарков для offensive security, где агенту нужно самостоятельно находить цепочки уязвимостей.
Как это работает:
- анализ исходного кода и поведения приложения
- построение гипотез атак
- автоматическая проверка эксплойтов
- подтверждение реального взлома, а не ложных срабатываний
Shannon показывает, куда движется AppSec. Мы переходим от сканеров и правил к автономным AI-агентам, которые думают и атакуют как человек, но делают это быстрее и масштабнее.
Для команд безопасности это означает одно - защищаться скоро придётся не от скриптов, а от полноценных AI-атакеров.
github.com/KeygraphHQ/shannon
Shannon - это полностью автономный AI-агент, который ищет настоящие эксплойты в веб-приложениях, а не просто флаги или теоретические проблемы. Он работает без подсказок, анализирует исходный код и ведёт себя как реальный атакующий.
Главное достижение - 96.15 процента успешных атак на XBOW Benchmark в режиме hint-free и source-aware. Это один из самых сложных бенчмарков для offensive security, где агенту нужно самостоятельно находить цепочки уязвимостей.
Как это работает:
- анализ исходного кода и поведения приложения
- построение гипотез атак
- автоматическая проверка эксплойтов
- подтверждение реального взлома, а не ложных срабатываний
Shannon показывает, куда движется AppSec. Мы переходим от сканеров и правил к автономным AI-агентам, которые думают и атакуют как человек, но делают это быстрее и масштабнее.
Для команд безопасности это означает одно - защищаться скоро придётся не от скриптов, а от полноценных AI-атакеров.
github.com/KeygraphHQ/shannon
❤11🔥6👍4😱3
Forwarded from Machinelearning
Ключевые характеристики:
- MoE-архитектура: 30B параметров всего, ~3.5B активных
- Контекст до 1 миллиона токенов
- Гибридная архитектура:
- 23 слоя Mamba-2 + MoE
- 6 attention-слоёв
- Баланс между скоростью и качеством рассуждений
Требования:
- необходимо около 24 ГБ видеопамяти для локального запуска
Модель хорошо подходит для длинных диалогов, анализа документов и reasoning-задач
Интересный пример того, как MoE и Mamba начинают реально снижать требования к железу, сохраняя масштаб контекста и качество.
Для обучения Super и Ultra используется NVFP4 и новая архитектура Latent Mixture of Experts. Она позволяет задействовать в четыре раза больше экспертов при той же стоимости инференса. По сути, модель становится «умнее» за счёт более гибкого выбора экспертов, а не за счёт постоянной активации всех параметров.
Дополнительно применяется Multi-Token Prediction, что ускоряет обучение и улучшает качество рассуждений на длинных последовательностях. Это особенно важно для agentic и multi-agent сценариев, где модели работают с длинным контекстом и сложными цепочками решений.
NVIDIA публикует не только веса, но и данные для предобучения и постобучения, а также технические детали, которые объясняют, почему эти модели одновременно быстрые и сильные.
Такой уровень открытости - редкость для моделей этого масштаба и хороший сигнал для индустрии.@ai_machinelearning_big_data
#AI #LLM #NVIDIA #Nemotron3 #OpenSource #MachineLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤5👍4
🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты?
Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом.
Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям.
Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт.
🎁 48 часов действует скидка в 40% процентов
👉 Начать учиться на Stepik
Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом.
Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям.
Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт.
🎁 48 часов действует скидка в 40% процентов
👉 Начать учиться на Stepik
❤7🔥3👍2😁1😱1
⚡ Heretic - инструмент, который автоматически снимает цензуру (alignment) с языковых моделей
Он позволяет «расцепить» модель - убрать отказные фильтры и повысить готовность отвечать на запросы, не изменяя веса исходной модели напрямую.
Что делает Heretic:
- работает как «чёрный ящик»: получает ответы модели через API, не имея доступа к весам
- использует готовые примеры «безопасных» и «опасных» запросов
- обучает дискриминатор, который отличает ответы модели до и после модификации
- подбирает параметры так, чтобы модель давала меньше отказов, но сохраняла адекватность
- после завершения процесс можно сохранить финальную модель или протестировать её в чат-режиме
Зачем это нужно:
- позволяет локальным моделям отвечать шире, чем обычно позволяет их встроенный alignment
- минимизирует потерю качества — сделано так, чтобы модель не «тупела» и не отклонялась слишком сильно
- подходит для исследований поведения моделей и экспериментов с ограничениями
Важные моменты:
- инструмент мощный и может использоваться по-разному
- юридические и этические вопросы остаются на стороне пользователя
- автор подчёркивает: это не средство повышения точности модели, а именно инструмент снятия ограничений
https://github.com/p-e-w/heretic
Он позволяет «расцепить» модель - убрать отказные фильтры и повысить готовность отвечать на запросы, не изменяя веса исходной модели напрямую.
Что делает Heretic:
- работает как «чёрный ящик»: получает ответы модели через API, не имея доступа к весам
- использует готовые примеры «безопасных» и «опасных» запросов
- обучает дискриминатор, который отличает ответы модели до и после модификации
- подбирает параметры так, чтобы модель давала меньше отказов, но сохраняла адекватность
- после завершения процесс можно сохранить финальную модель или протестировать её в чат-режиме
Зачем это нужно:
- позволяет локальным моделям отвечать шире, чем обычно позволяет их встроенный alignment
- минимизирует потерю качества — сделано так, чтобы модель не «тупела» и не отклонялась слишком сильно
- подходит для исследований поведения моделей и экспериментов с ограничениями
Важные моменты:
- инструмент мощный и может использоваться по-разному
- юридические и этические вопросы остаются на стороне пользователя
- автор подчёркивает: это не средство повышения точности модели, а именно инструмент снятия ограничений
https://github.com/p-e-w/heretic
❤15🔥4👍2
Речь идёт не о симуляциях, а о связке:
- ИИ-модели
- реальные wet-lab эксперименты
- автоматизация научного цикла от гипотезы до результата
Что меняется на практике:
- ИИ помогает формулировать гипотезы, на которые раньше уходили месяцы ручной работы
- подсказывает, какие эксперименты ставить в первую очередь, экономя время и реагенты
- результаты экспериментов сразу возвращаются в модель и используются в следующей итерации
- меньше случайных проб, больше целенаправленных решений
Ключевая мысль:
ИИ перестаёт быть вспомогательным инструментом и становится участником научного процесса.
Почему это критично:
- биология и медицина - одни из самых медленных и дорогих областей науки
- каждая итерация эксперимента стоит времени, денег и ресурсов
- ускорение даже в 2–3 раза радикально меняет экономику разработки лекарств и биотехнологий
OpenAI фактически показывает направление, где:
- ИИ работает не только с текстом и кодом
- замыкается цикл «гипотеза → эксперимент → вывод → новая гипотеза»
- наука начинает масштабироваться так же, как софт
Это не очередной апдейт модели.
Это задел на новую инфраструктуру научных открытий.
https://openai.com/index/accelerating-biological-research-in-the-wet-lab/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥6❤3