multimodal_unlearning

В репозитории опубликован код и данные для воспроизведения результатов работы по удалению информации из мультимодальных моделей — задачам машинного забывания (machine unlearning). Авторы представляют CLEAR: первый открытый бенчмарк для оценки того, насколько модели способны забывать данные одновременно в текстовой и визуальной формах. Набор данных включает сведения о 200 вымышленных авторах, их биографии и 3700 синтетических портретов. Для каждого персонажа предусмотрены пары вопрос–ответ и изображения, что позволяет проверять, как хорошо модель забывает конкретную личность сразу в двух модальностях. Исследование охватывает 11 современных методов разучивания и показывает, что одновременное разучивание обеих модальностей значительно эффективнее, чем по отдельности. Авторы подробно анализируют баланс между удалением лишней информации и сохранением полезных знаний. Показано, что даже лучшие методы (LLMU и DPO) не достигают качества эталонной модели и часто теряют способность к распознаванию или порождению связанного контента. CLEAR также вводит систему показателей для оценки качества забывания, сохранения знаний и устойчивости к утечкам между модальностями. Работа будет полезна исследователям в области защиты данных, разработчикам мультимодальных языковых моделей и специалистам, изучающим этические аспекты ИИ и реализацию права на забвение.

статья | код

non-acyclic-gfn

В репозитории опубликован код для воспроизведения результатов работы по GFlowNets в неациклических средах. Авторы упрощают теорию для дискретного случая и показывают, как корректно определять потоки состояний и рёбер, когда траектории могут иметь произвольную длину, а классические допущения DAG не выполняются. Также уточняются связи с энтропийно-регуляризованным обучением с подкреплением, что расширяет мост между GFlowNets и RL за пределы ациклических задач. Авторами предложена простая конструкция потоков через ожидаемое число посещений, обеспечивающая детальный баланс и совпадение наград, а также показано, что при фиксированной обратной политике устойчивость лосса не влияет на оптимум, а при обучаемой — минимизация ожидаемой длины траектории эквивалентна минимизации суммарного потока, для чего вводится регуляризация по потокам состояний. Работа может быть полезна исследователям в области генеративных моделей и обучения с подкреплением.

статья | код

Итоги конкурса open-source проектов ФКН

Рады сообщить, что 23 октября мы подводим итоги первого конкурса открытых проектов для студентов ФКН!

На мероприятии будут объявлены победители конкурса и пройдет торжественное вручение наград. Также у участников будет возможность познакомиться с наиболее интересными работами.

Приходите поддержать финалистов, найти вдохновение для собственных проектов и погрузиться в мир open-source!


📅 Когда: 23 октября
📍 Где: Покровский бульвар 11, R407
⏰ Во сколько: 18:00

Ждем всех на церемонии награждения!

Mos.Hub //Демо

В этот четверг, 23 октября будет Mos.Hub //Демо

Приглашаем вас послушать о новых инструментах развития платформы Mos.Hub для разработки ПО

📅 Когда: 23 октября
⏰ Во сколько: 11:00 - 12:00
📍 Онлайн: https://vkvideo.ru/video-90870698_456240115

Мы начинаем через 15 минут. Приходите!

glgenn

В репозитории опубликован код GLGENN — новой эквивариантной архитектуры нейросетей на основе геометрических алгебр. Модель сохраняет эквивариантность ко всем псевдоортогональным преобразованиям пространства, включая повороты и отражения, и при этом использует заметно меньше обучаемых параметров благодаря продуманному разделению и совместному использованию весов, согласованному со структурой геометрических алгебр. Ключевая идея — обобщённые группы Липшица и построение слоёв, которые действуют сразу на четыре фундаментальные подпространства алгебры, задаваемые инволюцией по разряду и ревёрсией. Это даёт лёгкую по параметрам реализацию без потери выразительности и автоматически гарантирует нужную эквивариантность. Предложены слои проекций, геометрического произведения и нормализации, а также слой конъюгаций с дискретными коэффициентами, что упрощает обучение и повышает устойчивость. В экспериментах на эталонных задачах архитектура либо превосходит, либо не уступает существующим эквивариантным моделям при существенно меньшем числе параметров. Показаны результаты на регрессии с симметрией O(5), оценке объёма выпуклой оболочки в пространствах O(5) и O(7), а также на задаче взаимодействия N-тел. По сравнению с CGENN достигается сопоставимое или лучшее качество, при этом число параметров и время обучения ниже; отмечена меньшая склонность к переобучению на малых выборках. Работа может быть полезна исследователям эквивариантных архитектур, специалистам по моделированию физических систем и робототехнике, а также командам, которым важны строгие симметрии при ограниченных данных и ресурсах.

статья | код

Псс 👀 еще не забыли про нас?

Yandex Open Source Jam возвращается!

Уже 24 ноября мы будем ждать вас в Москве и онлайн на нашем третьем опенсорс-джеме. В этот раз мероприятие проходит при поддержке платформы для разработчиков SourceCraft: ребята подготовили для вас много интересных активностей и приятные призы.

Что еще вас ждет на джеме — смотрите на сайте. И регистрируйтесь по ссылке ❤️

До встречи!

when-punctuation-matters

В репозитории опубликован код и протокол масштабного сравнения методов повышения устойчивости моделей к формату запроса. Авторы берут 8 открытых LLM из семейств Llama, Qwen и Gemma, 52 задачи из набора Natural Instructions и системно оценивают пять подходов: калибровку батча, ансамбли шаблонов, чувствительное к возмущениям декодирование, дообучение LoRA с форматными аугментациями и LoRA с согласующим штрафом. Результаты дополнены проверкой на GPT-4.1 и DeepSeek V3, чтобы понять, как ведут себя «флагманские» модели при изменении пробелов, пунктуации и разметки вариантов ответа. Авторы выяснили, что калибровка батча одновременно повышает точность и снижает разброс качества между разными форматами, оставаясь почти бесплатной по вычислениям; однако при сильном перекосе классов её преимущество исчезает. Исследователи также проверяют переносимость под сдвигами распределения: при композиционном сдвиге по форматам влияние невелико, а при переносе между наборами данных точность LoRA зависит от домена исходного обучения. Работа может быть полезна практикам, которым нужна стабильность LLM в продакшене; исследователям оценки и калибровки; командам, внедряющим ботов и ассистентов в чувствительных сценариях, где изменение шаблона промпта недопустимо.

статья | код

ProcrustesGPT

В репозитории опубликован код ProcrustesGPT — подхода к сжатию больших языковых моделей, который опирается на структурированные матрицы и ортогональные преобразования весов. Авторы используют тот факт, что выход трансформера не меняется, если внутри слоя повернуть скрытое пространство ортогональной матрицей и соответствующим образом скорректировать скип-соединения. Рассматриваются два семейства представлений: суммы произведений Кронекера и так называемые GS-матрицы, обобщающие известные Monarch-структуры. Эксперименты на моделях OPT и Llama2 показывают, что при сжатии порядка 14–36 % по числу параметров ProcrustesGPT даёт меньшую потерю качества, чем SliceGPT и другие методы без дообучения, как по перплексии на WikiText2, так и по нулевому обучению на задачах ARC, HellaSwag, PIQA и WinoGrande. Особенно заметен выигрыш на моделях Llama2, где средняя точность после сжатия остаётся близкой к исходной и существенно превосходит альтернативы. Работа демонстрирует, что грамотно подобранные ортогональные преобразования могут сделать структурированные разложения практичным инструментом сжатия LLM без дополнительного обучения. Код может быть полезен исследователям сжатия нейросетей, инженерам, внедряющим LLM в ресурсно-ограниченные среды, и разработчикам, работающим со структурированными матричными разложениями.

статья | код

Tight Bounds for Schrödinger Potential Estimation

В репозитории опубликован код для воспроизведения результатов работы по оценке потенциала Шрёдингера в задачах генеративного моделирования и переноса распределений без парных данных. Авторы рассматривают постановку моста Шрёдингера, где по выборкам из начального и целевого распределений нужно построить наиболее близкую к опорной динамике стохастическую связь между ними. В качестве опорного процесса вместо классического броуновского движения берётся процесс Орнштейна–Уленбека с экспоненциальным смешением, что позволяет лучше учитывать структуру данных и уменьшить нежелательную долгую зависимость между начальным и конечным состояниями. Для проверки теории авторы модифицируют практический алгоритм Light Schrödinger Bridge, заменяя в нём опорную динамику на процесс Орнштейна–Уленбека. Новый вариант, обозначаемый как LightSB-OU, демонстрирует более точное восстановление целевого распределения в задачах на смесях нормальных распределений, даёт улучшения по расстоянию Васерштейна и MMD и лучше покрывает моды. На биологических данных по динамике клеток метод показывает качество на уровне лучших современных подходов и улучшает базовый LightSB. В задаче непарного переноса изображений взрослый–ребёнок и мужчина–женщина в латентном пространстве автоэнкодера модель на основе процесса Орнштейна–Уленбека лучше сохраняет важные визуальные признаки, такие как оттенок кожи и форма лица. Работа будет интересна исследователям стохастического оптимального управления и моста Шрёдингера, специалистам по генеративным моделям, а также практикам, которым требуется строгий контроль обобщающей ошибки при обучении по непарным данным.

статья | код

autojudge

В репозитории опубликован код AutoJudge — метода ускорения вывода больших языковых моделей за счёт приближённого семплирования вместо точного повторения вывода исходной модели. Вместо того чтобы строго отклонять все расхождения между черновой и целевой моделью, AutoJudge автоматически определяет, какие различающиеся токены действительно важны для качества ответа, а какие можно сгенерировать быстрее упрощённой моделью без заметной потери точности. Важность токена определяется не по форме, а по влиянию на конечный результат задачи. Авторы предлагают поисковый алгоритм, который последовательно подменяет токены ответа целевой модели на варианты черновой модели и заново достраивает продолжение. Метод не требует ручной разметки и легко встраивается в существующие фреймворки вывода. В экспериментах на задачах математического рассуждения (GSM8K) и программирования (LiveCodeBench) с моделями семейств Llama 3 и Qwen2.5 AutoJudge позволяет принимать в среднем 20–45 токенов за один шаг проверки целевой моделью и даёт ускорение до ~2 раз по сравнению со стандартным speculative decoding при падении точности не более чем на 1–2 процентных пункта. Отдельные эксперименты с vLLM показывают прирост скорости до 1.5–2 раз для связок 8B→70B и даже 8B→405B параметров. Работа будет полезна исследователям, занимающимся ускорением вывода и тест-тайм вычислениями в LLM, инженерам, внедряющим большие модели, а также разработчикам инфраструктуры вывода и фреймворков для генерации.

статья | код

QuAP

В репозитории представлен код для воспроизведения результатов работы по теории и оцениванию долей смешения в популяционной геномике. Авторы обращают внимание, что такие величины, как admixture fractions, давно стали стандартным инструментом в анализе данных (например, в программах Structure и ADMIXTURE), но их статистические свойства в рамках строгих моделей изучены недостаточно. В работе получены теоретические выражения, позволяющие предсказывать средние значения и дисперсии долей смешения внутри популяции с учётом рекомбинации и генетического дрейфа. На основе этих результатов предложен практический метод оценивания параметров потока генов по уже рассчитанным долям смешения. Авторы показывают, как корректировать оценки моментов с учётом ошибок, возникающих при вычислении admixture fractions, и как работать с неполными данными генотипов. Предложенная процедура, реализованная в пакете QuAP, использует регрессию наблюдаемых статистик по хромосомам разной длины на теоретические кривые и позволяет восстанавливать время начала, длительность и интенсивность миграции. Работа будет полезна исследователям в области популяционной генетики и вычислительной геномики.

статья | код

gfnx

Библиотека gfnx — быстрая и масшатбируемая JAX-платформа для обучения и оценки Generative Flow Networks. В отличие от существующих решений вроде torchgfn, где логика среды работает на процессоре и постоянно обменивается данными с видеокартой, gfnx переносит и среды, и обучение целиком на GPU. Вся вычислительная цепочка компилируется целиком с помощью JIT, что резко уменьшает накладные расходы и упрощает крупные серии экспериментов. Библиотека включает набор типовых сред из литературы по GFlowNet: синтетические гиперрешётки, генерацию двоичных последовательностей, задачи проектирования ДНК-последовательностей (TFBind8), генерацию молекул (QM9), синтез антимикробных пептидов (AMP), построение филогенетических деревьев, байесовское восстановление структуры графов и выборки из модели Изинга. Эксперименты показывают серьёзный выигрыш по времени работы при том же качестве выборок. На задачах последовательностей и молекул gfnx ускоряет обучение по сравнению с PyTorch-реализациями в десятки раз. В гиперрешётках и биологических задачах библиотека достигает тех же метрик расхождения с истинным распределением, что и базовые реализации, но при значительно большем числе итераций в секунду. Работа может быть полезна исследователям GFlowNet и обучения с подкреплением, а также тем, кто занимается амортизированным семплированием в комбинаторных и научных задачах.

статья | код

miad

В репозитории опубликован код модели Mirage Atom Diffusion — диффузионного генератора для de novo синтеза кристаллов, который умеет менять число атомов в ячейке прямо в процессе генерации. Авторы исходят из того, что современные диффузионные модели для материалов работают с фиксированным числом атомов и тем самым ограничивают пространство траекторий. Модель не может добавить или убрать атом по ходу синтеза, что ухудшает как разнообразие, так и качество структур. В расширенном пространстве структур к каждому реальному кристаллу добавляются миражные атомы специального типа. Они ведут себя как обычные атомы в диффузионном процессе, но при обучении их координаты не штрафуются в функции потерь. MiAD строится поверх базовой совместной диффузионной модели для решётки, дробных координат и типов атомов и обучается на наборе MP-20. Качество оценивается по метрике S.U.N. (Stable, Unique, Novel) — доле материалов, которые одновременно стабильны, уникальны и отсутствуют в обучающем наборе. На 10 000 сгенерированных кристаллах MiAD достигает 8,2 % S.U.N. (по DFT), заметно обгоняя лучшие предыдущие модели, включая ADiT и WyFormer, и даёт до ×2,5 улучшения по S.U.N. по сравнению с исходным DiffCSP без mirage infusion. Аналогичные преимущества сохраняются и при более дешёвой оценке стабильности с помощью ML-потенциалов CHGNet и eq-V2. Работа может быть полезна исследователям новых материалов и генеративных моделей.

статья | код

MAD-CV

В репозитории представлен код для воспроизведения результатов работы по снижению дисперсии оценок для аддитивных функционалов марковских цепей на основе нового мартингального разложения. Авторы рассматривают задачу вычисления среднего по стационарному распределению, когда прямые независимые выборки сделать нельзя и приходится использовать методы Маркова–Монте-Карло. Предлагаемый подход не требует знать стационарное распределение, не опирается на обратимость переходного оператора и применим как к классическим MCMC-алгоритмам, так и к дискретизациям диффузионных процессов. Для цепей с гауссовским шумом получены строгие неасимптотические оценки. В численных экспериментах рассмотрены одномерный и двумерный случаи. Показано, что предложенный метод даёт значительное уменьшение дисперсии при разумных вычислительных затратах. Коэффициент стоимость-к-дисперсии заметно лучше, чем у наивного метода без контрольных вариаций. Работа будет полезна исследователям в области Монте-Карло и марковских цепей, специалистам по байесовской статистике и стохастическому анализу.

статья | код

Коллеги из Центра глубинного обучения и байесовских методов делятся своим новым проектом с открытым кодом

HyperDomainNet

В репозитории опубликован код к работе HyperDomainNet: Universal Domain Adaptation for GANs, посвящённой адаптации StyleGAN2 к новым стилям и доменам при очень малом числе параметров. Вместо дообучения всех 30 миллионов весов генератора авторы предлагают domain-modulation: для каждого целевого домена оптимизируется один вектор размерности около 6 тысяч координат, который подключается в модуль модулируемых свёрток StyleGAN2 и управляет сдвигом стиля. При этом качество адаптации практически не уступает полному дообучению модели. Поверх этого подхода вводится новый регуляризатор indomain angle consistency, который заставляет сохранять попарные косинусные расстояния между изображениями в пространстве эмбеддингов CLIP до и после адаптации. Это заметно уменьшает эффект схлопывания мод и помогает сохранить разнообразие сгенерированных лиц в новом стиле, что видно и по метрикам, и по примерам для доменов вроде аниме-портрет. Авторский вариант MindTheGap с новым параметрическим представлением и этим регуляризатором даёт сопоставимое качество с исходным методом при сокращении числа обучаемых параметров примерно в тысячу раз. Работа будет полезна исследователям генеративных моделей, тем, кто занимается few-shot-адаптацией GAN по тексту или единичным изображениям, а также разработчикам интерактивных инструментов для художественного и стилистического редактирования изображений.

статья | код