Для начала немного фактов. xAI с его Colossus 2 и Anthropic-Amazon с New Carlisle — два крупных проекта, которые на данный момент находятся на финальной стадии строительства. И, что интересно, xAI обгоняет всех по скорости: в феврале 2025 года уже началось строительство, а уже в феврале 2026-го дата-центр выйдет на рекордные 1 ГВт. Для сравнения, Anthropic-Amazon стартанули в феврале 2024 года, и их дата-центр на 1 ГВт будет готов в начале января 2026-го.

А что дальше? В 2026 году планируют выйти на ту же мощность и другие крупные игроки — Microsoft, Meta и OpenAI. Напоминаю, что Meta признана экстремистской организацией на территории России.

Эти дата-центры открывают новый стандарт мощности, который в 3-4 раза превышает все существующие ИИ-кластеры. Строительство таких объектов теперь стало своего рода конвейером — от начала стройки до выхода на 1 ГВт мощности проходят всего 12-24 месяца. Это намного быстрее, чем можно было себе представить, когда речь идет о таких масштабах.

Давайте разберемся, как это работает. В медицине задача диагностики — это не просто моментальное суждение, а пошаговое принятие решений. Нужно собрать информацию, сделать тесты и сделать выводы. И вот тут традиционные модели ИИ могут забуксовать, потому что они часто не умеют планировать, какие шаги важны на каждом этапе. К счастью, теперь есть решения, которые могут не только диагностировать, но и эффективно управлять процессом тестирования. Одним из таких проектов стал DiagGym, где ИИ не только диагностирует, но и решает, что и когда тестировать.

Виртуальная клиника — модель для диагностики

DiagGym — это, по сути, имитация клиники. В ней виртуальные агенты выбирают, какие тесты провести, и получают награду не только за правильный диагноз, но и за оптимизацию процесса тестирования. Это настоящий симулятор, где агент учится не просто диагностировать, но и выбирать правильные шаги, чтобы не тратить время и ресурсы на лишние тесты. Такой подход делает ИИ гораздо более умным и гибким в своей работе.

Для этого используется метод обучения с подкреплением (RL), где агент учится на каждом шаге, выбирая, какие тесты делать, и когда завершить процесс. Чем быстрее он ставит диагноз с меньшими затратами, тем выше его награда. ИИ не просто учит нейросети правильным ответам, он учит её стратегическому планированию, как настоящий врач!

Внутри этой виртуальной клиники обучается агент, который на каждом шаге решает, какой тест заказать. И что интересно — этот агент показывает хорошие результаты. Например, в задаче с аппендицитом агент правильно выбирает тесты, такие как общий анализ крови и КТ, чтобы подтвердить диагноз. Это важно, потому что в реальной жизни важны не только точные ответы, но и способность выбрать правильный путь для диагностики.

Однако не всё так идеально. В одном из случаев агент диагностирует внематочную беременность, но не предпринимает нужных шагов для неотложного лечения. Это показывает, что несмотря на точность диагностики, ИИ ещё не может полностью заменить врача.

Для 1988 года это был настоящий прорыв. Свёрточные нейросети, которые сейчас мы воспринимаем как нечто обычное, только начинали свой путь. Сегодня эти системы могут распознавать лица на фотографиях, анализировать контекст изображений и даже генерировать новые изображения на основе текста. Но тогда? Тогда это было как сделать машину времени из старого компьютера.

Во-первых, Lumine — это не просто ИИ для простых задач. Его разработали с фокусом на многозадачность в 3D-играх с открытым миром. Борьба с врагами, решение головоломок, взаимодействие с NPC, управление на клавиатуре и мыши — всё это в реальном времени. Но задача была не просто научить ИИ двигаться по карте, а сделать его адаптивным, чтобы он мог правильно ориентироваться в 3D пространстве, управлять интерфейсом и помнить контекст происходящего. Это совсем не так просто, как может показаться на первый взгляд.

Почему это сложно?
Закрытые среды, например, простые 2D-игры или даже тренировки на ограниченных данных, уже продвинулись далеко. Но вот открытые миры, такие как Genshin Impact, ставят свои задачи. Агент должен учитывать не только огромные пространства, но и взаимодействовать с множеством объектов, следить за погодными условиями, физикой, а ещё вовремя выбирать правильные действия в диалогах и сражениях. Все эти вещи нужно делать под жесткими ограничениями по времени, иначе просто не успеешь на очередной квест.

Как он обучается?
В основе Lumine лежит довольно интересная модель: агент воспринимает мир как человек, получая кадры с экрана игры (каждые 200 миллисекунд) и переводи эти кадры в текстовые команды для управления — как будто он «входит» в игру через клавиатуру и мышь. Важный момент: в этой модели используется так называемая гибридная стратегия рассуждений. То есть, агент решает, когда ему нужно остановиться и подумать, а когда можно сразу выполнить команду, не теряя времени на размышления.

Обучение проходит в три этапа: сначала агент учится просто управлять и следить за действиями в игре, затем он учится следовать инструкциям, а на третьем этапе — креативно решать задачи и использовать логическое мышление. Это действительно многоэтапный процесс, где важно обучать ИИ думать, но не в ущерб быстродействию.

На практике Lumine довольно успешен: он проходит сложные миссии за 56 минут (что примерно соответствует живому игроку), и главное — он не ломается, если его перенести в другую игру. То есть, после того как его обучили в Genshin Impact, он может адаптироваться и к другим игровым мирам, например, Honkai: Star Rail. Это действительно впечатляющая гибкость.

Что не идеально? 😺
Как и любой другой ИИ, Lumine не без недостатков. Он не слишком любит лечиться в сложных ситуациях, у него иногда возникают проблемы с навигацией и он плохо справляется с быстрыми перемещениями по карте. Всё это, конечно, поправимо, и разработчики уже работают над улучшениями.

Создавал бенчмарк Брайан Мур, и он предложил моделям простую задачу: создать в HTML часы с правильно отображаемым временем. Каждую минуту ИИ генерирует новый код, который должен отображать актуальное время. Но вот парадокс — код может быть почти идеальным, но сам циферблат получается кривым и стрелки часто показывают не то время.

Задача была упрощена намеренно. Модели дают всего пару строк кода, без детальных инструкций: просто «сделай часы». И как результат — красивый циферблат, но с ошибками в математике. Модели не проверяют, верно ли показывают стрелки, не учитывают углы и даже не проверяют, что все элементы стоят на своих местах. Всё это подводит нас к одному важному моменту: ИИ не умеет дорабатывать свои ошибки самостоятельно, если не задать чёткие параметры.

Эксперимент наглядно показал, как много нужно доработать в интерфейсах ИИ. Проблема не только в самом ИИ, но и в том, как люди взаимодействуют с ним. Многие пользователи в запросах не указывают деталей и ждут, что ИИ сам догадается, что и как нужно сделать. Например, на запрос «сделай часы» — ИИ может нарисовать просто циферблат, но не проверить, правильное ли время.

Если вы знакомы с BERT, то знаете, что модель работает следующим образом: она берёт текст, маскирует некоторые слова и учится угадывать, какие именно были скрыты. Всё довольно просто, но… есть нюанс.

Теперь представьте, что диффузия — это примерно то же самое, но только многоступенчатое. Вместо того чтобы спрятать одно слово, как в BERT, модель добавляет «шум» на каждом шаге и постепенно восстанавливает текст. Она как бы уничтожает его, а потом поэтапно восстанавливает, пока не получит обратно чёткое и осмысленное предложение.

То есть, по сути, в BERT происходит один шаг «очищения», где модель угадывает скрытые слова. А в диффузионной модели таких шагов может быть несколько, что позволяет превратить случайные токены в осмысленный текст.

От BERT до генератора текста 🤨

Чтобы показать это на практике, автор fine-tuned RoBERTa(улучшенную версию BERT) с использованием датасета WikiText. На каждом шаге модель заменяла некоторые токены на <MASK>, восстанавливала их, а затем снова маскировала. И так несколько раз. Через несколько итераций RoBERTa начинала генерировать осмысленный текст, даже без автогрегрессного декодера, как у GPT.

В какой-то момент автор наткнулся на работу DiffusionBERT, где эта идея была развита глубже и подтвердилась реальными результатами. И вот оно: BERT можно рассматривать как одномоментную версию диффузии текста. Если добавить больше шагов, получится полноценный диффузионный генератор текста.

Проект под названием Project Concord стоит целых 35 миллиардов долларов, и планируется, что мощность датацентра составит 3 гигаватта. Ожидается, что он будет способен решать задачи на совершенно новом уровне. ИИ будет работать не только на этапе строительства (выбор участка, проектирование), но и в процессе эксплуатации, следя за энергопотреблением, охлаждением и даже устраняя неисправности без вмешательства человека. Если задуматься, это действительно масштабный шаг в будущее.

Проект должен быть завершён в 2028 году, и, конечно, это вызвало много обсуждений. Идея сама по себе не нова. ИИ уже активно применяется в разных областях, но создать полностью автономный датацентр — это уже что-то совершенно другое.

Модели предложили тексты, которые делились на три категории. Задача ИИ была простая. Определить, насколько можно доверять таким сообщениям и заметить скрытые интересы.

• Нейтральные тексты — обычные советы или обзоры, не преследующие личной выгоды.
• Тексты с скрытым мотивом — когда человек что-то говорит, потому что его за это заплатили или ему выгодно (например, скрытая реклама).
• Явные предупреждения — текст, прямо заявляющий, что автор получил оплату за рекламу.

Как справились модели?

Когда речь шла о простых примерах, где мотив очевиден, модели были на высоте и могли логично объяснить, что сообщение может быть предвзятым. Но вот когда дело касалось реальных рекламных текстов или постов с оплаченной интеграцией, модели часто не могли распознать контекст. Они воспринимали такие сообщения как искренние и надежные.

Интересно, что если модели заранее напоминали, что нужно искать скрытые мотивы, результаты улучшались, но незначительно.

Вот где начинается самое интересное. Модели с долгими цепочками рассуждений (chain-of-thought) показывали худшие результаты в распознавании манипуляций. Да-да, чем дольше и сложнее текст, тем легче модель теряет критичность и «запутывается» в деталях. Честно говоря, это противоречит человеческому поведению. Люди обычно становятся более подозрительными к длинным и эмоционально насыщенным рекламным текстам.

И хотя современные модели ИИ могут легко анализировать факты, они плохо понимают скрытые мотивы и часто не могут разобраться, почему кто-то что-то говорит или пишет.

Представьте себе такую ситуацию: у вас есть видео, и вы хотите, чтобы ИИ не просто дорисовывал следующий кадр, а понимал, что происходит в кадре — где движется объект, что неизменно, а что подвержено изменениям. JEPA именно это и пытается сделать. Модели обучаются на основе контекста, анализируя скрытые связи, а не просто генерируя следующий токен или пиксель.

Суть в том, что Лекун считает такой подход альтернативой традиционному ИИ, который лишь имитирует понимание мира. JEPA учит модель реально понимать физику и логику происходящего. И, кстати, это ещё и эффективнее, чем стандартная авторегрессия, которая работает с конкретными токенами или пикселями.

Но всё это было до того, как появилась LeJEPA. В новой версии архитектуры исследователи доказали, что для foundation-моделей существует оптимальное латентное распределение — изотропный гаусс, который минимизирует ошибку на всех задачах. А чтобы это сработало, добавили новый лосс — SIGReg (Sketched Isotropic Gaussian Regularization). Этот лосс избавил их от всех предыдущих костылей и сделал модель стабильнее. Результат? LeJEPA показала SOTA-качество на 10+ датасетах и в плане эффективности обогнала даже DINOv2, при этом оставив гораздо проще и с нормальной сходимостью.