NeurIPS 2025: краткий разбор ключевых наград

Оргкомитет опубликовал победителей. Общий тренд — работы про масштабирование моделей, устойчивость обучения и фундаментальные теоретические результаты.

🏆 Special Awards

- Test of Time (2015): Faster R-CNN
- Ввели RPN, отказавшись от Selective Search.
- Сделали детекцию полностью end-to-end и задали стандарт индустрии на десятилетие.

- Sejnowski–Hinton Prize (2016): Feedback Alignment
- Показали, что backprop работает даже при случайных фиксированных обратных весах.
- Это решает «weight transport problem» и делает алгоритм ближе к биологически правдоподобным.

🌟 Best Papers (Main Track)

- Architecture: Gated Softmax Attention
- Решает нестабильность больших трансформеров и проблему attention sinks.
- Добавляет простое sigmoid-gating для отдельных heads.
- Даёт стабильность почти без оверхеда; уже используется в Qwen3-Next.

- RL: Scaling to 1024 Layers
- Self-Supervised RL сделал возможным обучение сети глубиной 1024 слоя.
- На задачах локомоции — до 50× улучшения относительно стандартных моделей.

- Theory: Diffusion Dynamics
- Выделены две фазы обучения диффузионных моделей: быстрая generalization и медленная memorization.
- Формализована implicit regularization, объясняющая поведение моделей.

- LLM: Artificial Hivemind
- Анализ того, как разные LLM начинают давать похожие ответы.
- Новый датасет Infinity-Chat для изучения этого эффекта и потери разнообразия.

- Theory: Online Learning Gap
- Доказан квадратичный разрыв в sample complexity между transductive и обычным online-обучением.
- Закрытие старой теоретической задачи.

🔗 Полный список: https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/

⚡️ VK открыл VK-LSVD — один из крупнейших датасетов для рекомендательных систем. Сейчас на его базе идет топовое соревнование по ML VK RecSys Challenge

🎯 Для чего подходит датасет
- Быстрый старт в рекомендательных алгоритмах
- Тест бэйзлайнов и гибридов «контент + поведение»
- Можно использовать для воспроизводимых тестов различных моделей

🔗 Подробнее + код: https://habr.com/ru/companies/vk/articles/970350/

В самом VK RecSys Challenge можно участвовать соло или командой до 4 человек, а подать заявку — до 15 декабря. Призовой фонд — 2 500 000 рублей.

@data_analysis_ml

Новая научная работа от Apple -⚡️ серьёзный шаг к следующему поколению видеогенерации.

Команда представила STARFlow V
полностью каузальную видеомодель, которая по качеству конкурирует с диффузионными системами
и обучена как единая сквозная архитектура.

Основная идея
STARFlow V — первый нормализующий поток, который:
- показывает конкурентное качество длинных видео
- работает одинаково с текстом, изображениями и видео

Чем отличается от диффузии
Ранние видеогенераторы использовали многошаговую диффузию.
STARFlow V вместо этого применяет:
- один обратимый маппинг между шумом и видео
- без сотен итераций очистки
- без пошагового шума

Как устроена модель
Каждый кадр сжимается в скрытый компактный код.
Дальше работают два ключевых компонента:

- Глобальный блок
- отвечает за временную последовательность
- работает авторегресивно
- каждый латент зависит только от предыдущих
- уменьшает накопление ошибок на длинных роликах

- Локальные блоки
- отвечают за детализацию внутри кадра
- усиливают качество визуальных элементов

Трюки обучения
Модель обучают с дополнительными техниками:
- добавляется малый искусственный шум для устойчивости
- применяется каузальный денойзер flow score matching
- он убирает шум, заглядывая только на один кадр вперёд
- используются параллельные Jacobi блоковые обновления для ускорения

Результаты
STARFlow V демонстрирует:
- качество почти уровня диффузии
- более стабильные длинные видеоролики
- единую архитектуру для всех задач
- полностью каузальную генерацию

arxiv.org/abs/2511.20462

Ноябрь — месяц One Day Offer в GigaChat и Kandinsky 📆

В ноябре команды двух топовых IT-продуктов Сбера планируют обрести новых классных коллег — DL Engineers и Researchers, чтобы вместе работать над GigaChat и Kandinsky: развивать, обучать и дообучать модели.

Смотрите расписание One Day Offer и не упустите шанс присоединиться к крупнейшему AI-комьюнити. Целых восемь мероприятий, чтобы изменить свою карьеру и жизнь — выбирайте то, что подходит под навыки и цели, и регистрируйтесь!

🤖 Multi-Agent Evolve теперь полностью open-source 🚀

С его кодовой базой ты можешь взять любой LLM-чекпойнт и позволить ему саморазвиваться без внешнего надзора.
Это экспериментальная система, в которой агенты эволюционируют, создавая и оценивая собственные улучшения.

💻 Код:
https://github.com/ulab-uiuc/Multi-agent-evolve

🤗 Модели (Checkpoints):
https://huggingface.co/collections/ulab-ai/multi-agent-evolve

#AI #LLM #MultiAgent #OpenSource #EvolutionaryAI

📚 У OpenAI снова юридические проблемы, и ситуация становится заметно серьезнее.

Суд обязал компанию передать внутренние переписки о том, зачем и почему были удалены два огромных датасета пиратских книг.

Если в этих сообщениях окажется, что сотрудники понимали незаконность данных и пытались quietly erase их, авторам будет проще доказать умышленное нарушение авторских прав. А это значит гораздо более высокие штрафы за каждую книгу.

Что известно сейчас:

- Авторы утверждают, что модели OpenAI обучались на больших наборах пиратских книг.
- Истцы уже получили Slack-переписки сотрудников по датасетам books1 и books2.
- Судья потребовала раскрыть документы, объясняющие мотивы удаления этих датасетов.
- Внутренние юристы OpenAI будут допрошены.
- Если окажется, что компания меняла объяснение причин удаления, это усиливает позицию истцов.

Почему это поворотный момент:

Суд указал, что OpenAI сначала объясняла удаление тем, что данные не использовались, а позже пыталась закрыть переписки под юрпривилегией. Такое изменение позиции суд расценил как отказ от привилегии. Поэтому теперь Slack-каналы project clear и excise libgen могут быть раскрыты.

Этот кейс создаёт значимый сигнал для всей AI-индустрии:
то, как компании обсуждают скрапинг, теневые библиотеки и чистку данных внутри Slack или других рабочих инструментов, может напрямую влиять на то, попадут ли они под обычные штрафы или под огромную финансовую ответственность.

hollywoodreporter.com/business/business-news/openai-loses-key-discovery-battle-why-deleted-library-of-pirated-books-1236436363/

🧮 Интересная и подробная статья о том, почему TPU становятся ключевым фактором в удешевлении инференса.

- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)

Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.

Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.

Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.

Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.

ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025

llama.cpp (PR #16095) теперь поддерживает Qwen3-Next - новую гибридную архитектуру от Qwen.

Теперь Qwen3-Next можно запускать локально с эффективным CPU/GPU-инференсом. 🚀

https://github.com/ggml-org/llama.cpp/pull/16095

Бизнесу данные нужны как воздух

На их основе компании принимают важные стратегические решения. Поэтому спрос на аналитиков растёт в самых разных сферах: от банковской до медицинской.

На курсе «Аналитика данных с МФТИ» готовят специалистов универсальной квалификации. За 10 месяцев вы научитесь использовать Python для анализа данных, применять методы ИИ в своих задачах и работать с базами данных.

С универсальными знаниями вы сможете строить карьеру в одном из трёх направлений аналитики:

☑️ Аналитика данных.
☑️ Data Science.
☑️ Инженерия данных.

После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.

Записывайтесь на курс и становитесь универсальным специалистом в аналитике → https://netolo.gy/eurg

Реклама. ООО “Нетология” ОГРН 1207700135884 Erid:2VSb5yCracR