Вот так коллаб: NVIDIA совместно с xAI построили Colossus – самый большой в мире суперкомпьютер

Colossus был создан всего за 122 дня и работает на базе сетевой платформы NVIDIA Spectrum-X Ethernet, которая была разработана специально для обучения ИИ. Ее соль в повышенной пропускной способности: 95% с нулевой задержкой.

В Colossus (приготовьтесь) 100 000 видеокарт NVIDIA H100. И, судя по твитам Маска, туда собираются добавить еще столько же H200. Кластер будет использоваться для обучения моделей Grok.

Более 25% кода, который сейчас пишут в Google, создается ИИ

Об этом рассказал Сундар Пичаи. Политика такова, что инженерам разрешают и даже рекомендуют активно использовать ИИ для генерации нового кода (но, конечно, сгенерированный код затем внимательно проверяется).

Кроме того, CEO поделился занятными цифрами: бизнес Google Cloud увеличился на 35%, и аналитики считают, что в основном это заслуга ИИ, который помогает заключать крупные b2b сделки.

Reuters: OpenAI создает свой первый чип

Но амбиции пришлось подурезать: раньше Альтман хотел полностью автономное производство, но сейчас стартап работают с TSMC. Да и в целом компания уходит от планов перейти полностью на собственные чипы просто к стратегии максимальной диверсификации: например, OpenAI также начинает закупать карты AMD.

К такому даже его жизнь не готовила

В Лондоне прошел OpenAI DevDay

Больше всего внимания уделили Realtime API: показывали, как o1 в реальном времени пишет приложение для интерактивной демонтрации солнечной системы, заказывает пироги и работает гидом по городу. Демо, в общем-то, OpenAI всегда показывать умели, но в этот раз оно особенно удалось. Шоу еще раз доказывает, что ИИ-агенты станут революционным будущим, если компании найдут способ снизить косты на инференс.

В остальном, ничего шокирующего или нового: по поводу o1 говорили, что раскатят скоро. Объясняли пользу файнтюнинга и дистилляции своих моделей, напоминали, что у них есть json структурирование и сервис для эвала.

Миниатюра: я после того как заполнил .yml и запустил trainer.train()

Шестидневка – главный монстр из кошмаров

Nvidia обучили фундаментальную модель HOVER для управления телом роботов – в ней всего 1.5M параметров

Модель была обучена на базе NVIDIA Isaac. Это среда симуляции на базе GPU, которая ускоряет физику в 10 тысяч раз относительно реального времени. То есть, пока в симуляции робот учится на годе движений, в "нашем мире" это занимает примерно 50 минут. Самое интересное, что для того чтобы перевести робота в реальное время не нужен даже файнтюнинг.

Нужно, однако, понимать, что HOVER – это не автономная система внутри робота, а именно система управления, которая на вход принимает какой-то вид "промпта" (движения джойстика, позы, экзоскелет), и переводит это в полноценные движения гуманоида. За счет этого HOVER становится еще и очень удобной системой для сбора данных.

Под капотом, по сути, алгоритм дистилляции, который действия тренера сжимает в понятные роботу маски (есть отдельные маски для низа тела и верха). Таким образом, любой ввод действий мы переводим в единое пространство политики, и за счет этого избавляемся от проблемы непереносимости управления между различными режимами.

Статья здесь