1 - Железо

Самое главное—в 2024 году они построили гигантский вычислительный кластер за рекордно быстрое время. За 4 месяца они запустили 100 тысяч видеокарт Nvidia H100. А потом ещё за 3 месяца удвоили до 200 тысяч карт. CEO Nvidia, Дженсен Хуанг говорил, что на такое обычно уходит 4 года.

Это сложнейшая инженерная задача. И самый крупный датацентр в мире, на этот раз уже без уловок. Никто ещё не смог обьединить столько карт в одном месте.

Как обычно строят такие штуки?

Дефолтный подход—берем несколько стандартных датацентров и обьединяем их в сеть с помощью очень дорогих проводов (Infiniband). Датацентрам нужно постоянно обмениваться тоннами данных. И если связь медленная—видеокарты простаивают.

Типичные датацентры—это 10-20 тысяч карт, которые жрут 20-30 мегаватт энергии. Например, у Microsoft есть сеть из таких датацентров в Аризоне на 100к карт. А у Меты на 128к. Кластер из датацентров уже потребляет энергии как небольшой город.

Многие регионы к такой нагрузке не готовы и там абсурдно забавная ситуация: не хватает пропускной способности у электросети. То есть, производить энергию выходит дешевле, чем доставлять её до места назначения.

Так вот, Илон пришел на этот рынок сильно отстающим. И... сделал "Elon thing".

Можно хейтить его твиты, но строить заводы он умеет как боженька.

Он купил старую фабрику Electrolux в Мемфисе и решил сделать из нее один огромный датацентр, а не сеть как все остальные. Ожидаемо начались проблемы с энергией.

От местной сети фабрике доставалось всего 7 МВт—этого хватит от силы на 4000 карт. Местная энергокомпания Tennessee Valley Authority пообещала еще 50 МВт, но к августу. А собственная подстанция xAI на 150 МВт еще строилась и должна была быть готова только к концу года.

Но сидеть и ждать не в стиле Маска.

Дилан Патель (чувак из Semianalysis) по спутниковым снимкам обнаружил, что Маск просто притащил 14 мобильных дизельных генераторов VoltaGrid. Подключил их к 4 мобильным подстанциям и запитал от них датацентр. Буквально привез электричество на огромных трейлерах.

Еще впечатляет, что охлаждение в датацентре водяное. Пока такое в больших масштабах делал только Google. Но это важно: следующие поколения чипов Nvidia Blackwell B200 будут иметь обязательное требование водного охлаждения. То есть всем остальным придётся пересобирать свои датацентры.

Можете глянуть первые пару минут видео, как это все выглядит внутри. Я поржал, с каким энтузиазмом чувак рассказывает про серые коробки, провода и стойки:

https://www.youtube.com/watch?v=Jf8EPSBZU7Y

Это крутая инженерная система.

Никто ранее не выполнял работы такого масштаба за столь короткий срок.

2 - Еще больше железа!

Илон заявил, что к лету 2025 года у компании будет готов кластер из 300к новых Blackwell B200. Если учесть склонность Маска преувеичивать, то это скорее от 200-400к новых чипов к концу 2025.

Насколько B200 круче H100? Цифры плавают в зависимости от задачи, но для обучения моделей (оценка на ноябрь 2024), примерно в 2.2 раза мощнее. Чтобы запитать такое, нужно энергии уже как на среднего размера город. Примерно 1.2 ГВт к концу года. Думаю мобильными генераторами уже не отделаться.

И все крупные игроки уже делают что-то похожее:

Meta строит две газовые электростанции в Луизиане. OpenAI/Microsoft делают аналогичный проект в Техасе. Amazon и Google тоже строят гигаватные датацентры.

Почему не атомная энергия? Она идеально подходит по мощности, но строить АЭС—это долго. Ты не можешь построить станцию рядом с датацентром даже за год. Ветряные и солнечные электростанции + аккумуляторы перспективны, но тоже разворачиваются слишком медленно. 

В итоге Microsoft и Meta уже пришлось забить на свои "зелёные" обещания по возобновляемой энергии. В основном оправдываясь тем, что мы подпортим экологию сейчас, но зато потом AGI порешает все наши проблемы.

3 - Размеры модели

Илон построил огромную дорогущую коробку. И что?

Предположительно, для тренировки Grok 2 использовали 20к H100 и 100-200к для Grok 3. Для сравнения: GPT-4 тренировали на ~25к старых чипов A100. H100 примерно в 2.25 раза мощнее.

То есть, Grok 2 получил вдвое больше ресурсов, чем GPT-4, а Grok 3—ещё в пять раз. Gemini 2.0 от Google скорее всего тренировали на 100к их собственных TPUv6, это примерно столько же железа, но сама модель меньше.

Короче, общие затраты вычислений на Grok 3 на порядок (в 10 раз!) больше, чем у ближайшего преследователя. К сожалению, по GPT-4.5 и Gemini 2.5 данных нет.

И это главный облом. Угрохали кучу денег и ресурсов, построили гига-мега-кластер, а модель получилась просто "на уровне" существующих топов. Точно не сильно лучше.

Экспертиза в обучении LLMок у xAI пока отстает от OpenAI, Google или Anthropic. Они по сути успешно забрутфорсили себе статус одного из лидеров. Но чудес никаких не показали: "Если грубая сила не решает проблему, значит вы используете её недостаточно".

Epoch AI оценили, что за последние 10 лет алгоритмические улучшения внесли примерно треть вклада в рост способностей моделей. И только остальные две-трети внесли уже наращивание железа и размеров моделей.

То есть брутфорс сработал один раз, но дальше расходы будут расти экспоненциально, принося все меньше отдачи. Поэтому алгоритмическое отставание нужно нагнать. Благо xAI теперь будет проще нанимать крутых ребят в команду, потому что они наконец "двигают фронтир науки".

4 - Чем модель хороша?

1) Она пока полностью бесплатна (видимо до полного релиза). Без жестких лимитов как у Anthropic, без перебоев как у DeepSeek и без платных моделей у OpenAI.

Даже после кучи релизов за последние 2 месяца, Грок держится наверху бенчмарка Арены.

А еще они наконец завезли доступ к API, но режим рассуждения дали только mini модели. На независимых бенчмарках она себя показывает достойно. Но наверное базовая модель с рассуждениями работает все же лучше.

2) Режим рассуждений и Deep Research, который в феврале был в открытом доступе только у Perplexity и то с большими ограничениями. Сейчас уже Google и OpenAI тоже дали доступ. Возможно благодаря Гроку.

Если не знаете, Deep Research это такой автоматический поиск по сайтам. Он за несколько минут анализирует 30-100 ссылок (у Гугла больше) и дает раздутое самммари, которое остается только быстро фактчекнуть. Это намного проще чем ресерчить с нуля самому. Работает быстрее, чем у остальных, так что я стал пользоваться им для сложного поиска.

3) Интеграция с Твиттером. Как мне кажется—самая перспективная фича это семантический поиск. То есть ищет по смыслу, а не тупо по ключевым словам.

Можно просить делать саммари постов на какую-то тему, следить за трендами. Хотя пока работает так себе, если честно.

Твиттер хорош тем, что там информация практически в реальном времени. Но Грок пока не успевает за ней и подсовывает данные за последние пару дней, а не за сейчас. 

Еще можно просить найти последние публикации в ленте конкретного юзера. Например, чтобы мониторить что в последнее время думают нужные чуваки или компании.

4) Ну и на закуску, режим 18+.

Грок отлично ломается без особых сложностей и через него можно делать все, что вы зачем то хотите. От секси голоса до рецепта варки мета.

Самый угар—это голосовой режим: https://x.com/goodside/status/1893932239718691167.
(там короткий видосик, где чувак просит модель покричать, а она его эмоционально матом обкладывает)

А еще иронично, что Грок не особо хорошего мнения о Маске и Трампе. И когда это всплыло, xAI попытались неуклюже это исправить. Просто захардкодили, что Гроку нельзя ругать Илона. А когда всплыло и это, xAI обвинили во всем бывшего сотрудника OpenAI, который "не впитал культуру компании". Кринж.

Проблема в том, что взгляды Grok—это слепок данных из интернета, а не чья-то злая воля. Менять их сложно, не сломав всю модель.

(это серия из постов, начало тут)

5 - Пробовать или нет?

Пробовать, но как второго пилота.

TLDR:

* Затраты на обучение в разы выше, чем у конкурентов.
* И несмотря на это, работает на уровне существующих моделей.
* Но модель очень быстрая и бесплатная.
* С бесплатным Deep Research режимом, который я рекомендую попробовать, если вы еще не.
* Выше уровень галлюцинаций и поспешных выводов.
* Текст генерит структурированный, но избыточный и "водянистый".
* Интеграция с Твиттером дает доступ к свежей информации, но пока работает неоч.

xAI показали, что могут строить инфраструктуру мирового класса быстрее всех. Но в самих моделях пока догоняют лидеров, заливая отставание деньгами.

Это ещё один сильный игрок, который давит на OpenAI, Google и Anthropic. Конкуренция растет, эксклюзивность топовых моделей тает. И похоже скоро нас ждут ценовые войны за пользователей и коммодитизация AI.

На этом всё. Пишите что думаете.

Про будущее Инстаграмма и Фейсбука.

Недавно Марк Цукерберг заглянул на несколько подкастов, где довольно искренне рассказал каким он видит развитие продуктов Меты. И похоже он не особо понимает, насколько стремно звучит его видение.

Фб и Инста уже начали тонуть в сгенерированном нейросетями мусоре и фейковых профилях. Но вместо того, чтобы бороться, ребята решили этот процесс возглавить. Я не особо задумывался о проблемах ИИ-контента, пока не послушал интервью с Марком и не наткнулся на картинку ниже.

Одно дело, когда юзеры сами постят что то, созданное нейросетями. Совсем другое и намного более жуткое – когда платформа берет это на вооружение как основную стратегию.

Марк прямо говорит, что хочет создать "ультимативный черный ящик" для рекламы. Типа, бизнес просто задаёт желаемый результат, а дальше ИИ сам решает как его добиться. Добавляем сюда улучшеный сбор данных – и буквально всё, что ты делаешь в Фейсбуке или Инсте, будет использоваться для максимальной персонализации ленты.

И вишенка на торте:

Цукерберг утверждает, что средний американец имеет всего 3 близких друга, хотя в идеале у него есть "спрос" на примерно 15. И по мнению Марка именно ИИ сможет закрыть этот дефицит общения.

Марк рассказывает про три эпохи создания контента: публикации твоих реальных друзей -> к ним добавляется контент от креэйторов (блогеров?) -> и контент от виртуальных ИИ друзей.

По плану Марка, последняя категория будет активно использоваться для увеличения времени юзера на платформе. Причем ИИ будет и создавать, и рекомендовать этот контент.

Он считает ИИ друзей "дополнением" к обычной социализации, но я сильно сомневаюсь, что его намерения настолько безобидны. По факту такое общение будет скорее заменой живому, потому что у Меты тут серьезный конфликт интересов.

Марк говорит, что "люди сами знают, чего хотят". Что если юзер регулярно общается с ии-подружкой - значит это приносит ему пользу. Я думаю это откровенный буллшит. Что будет, если твой ИИ друган начнет ненавязчиво рекомендовать товары и убеждать тебя купить новую тачку? Да, он знает, что для тебя лучше подойдёт. Но его мотивирует не только забота о тебе, а еще и деньги.

Не спорю, что можно придумать как интегрировать ИИ в социалку так, чтобы он улучшил живое общение. Например, напоминать про важные даты, накидывать идеи для совместных активностей, заранее зная кому их лучше предложить. Или мягко намекнуть мне, когда в общении я был не прав и кого то обидел.

Но вместо этого нас скорее ждут аддиктивные заменители реальных отношений, которые будут эксплуатировать наши слабости ради максимального вовлечения. И вангую, что в настройках это отключить будет нельзя.

Короче..

Могут ли у нас появиться по-настоящему полезные ИИ друзья? Ну, наверное да. Но учитывая послужной список Меты и образ мышления Цукерберга, я бы на это не ставил. Он уверен, что люди способны выбирать то, что для них лучше, и полностью игнорирует уязвимость людей к дарк-паттернам и манипуляциям.

Думаю в итоге вместо друзей получатся супер продвинутые продажники, которые будут создавать залипательный контент и периодически убеждать тебя что нибудь купить.

Картинка про ботов и бумеров. Меня она что то настолько рассмешила, что решил пост написать (см выше)

Большой интернет сломан

Хочу написать серию постов, где я разбираюсь, сможет ли новая волна технологий починить сломанный интернет. Всё началось с простого вопроса к себе: почему я так сильно хочу, чтобы искусственный интеллект разрушил текущий порядок в IT-индустрии?

Кажется, потому что Бигтех гиганты превратились в неповоротливых монополистов, от которых все устали.

Для начала я сформулирую, что именно не так, и по полочкам разложу свои претензии к пяти главным компаниям: Google, Meta, Apple, Microsoft и Amazon. Думаю, полезно взглянуть на всю картину целиком, прежде чем искать ответ на главный вопрос. Есть ли у нас реальный шанс на прекрасный интернет будущего?

1 - Пять лет

Если отбросить весь хайп вокруг ИИ, последние 5 лет в технологической сфере были довольно унылыми.

Да, кое-что интересное случилось:
* Ракеты Илона вернули интерес к космосу
* Активно развивается индустрия электрокаров
* Apple выпустили новые, мощные чипы
* Попытки делать VR, вялое распространение 5G и крипты

Но в целом жизнь особо не поменялась. Мы уже привыкли к текущему стеку технологий. А все прорывные идеи реализовал еще Стив Джобс. Нам остались только небольшие инкрементальные улучшения уже итак неплохих продуктов.

Но это всё - без учёта ИИ.

К нейросетям отношение неоднозначное. Кто то игнорирует и считает их всего лишь стохастическими попугаями. Другие уже во всю почувствовали AGI и жонглирует десятью открытыми вкладками с разными тулами.

Но факт остаётся фактом - их популярность растёт. Уже трудно найти тусовку, где хотя бы раз не всплывёт разговор про нейросети.

Компании с каждым годом вкладывают всё больше и больше бабла в инфраструктуру.

А в каждом стартапе теперь по умолчанию есть ИИ (на самом деле не в каждом, но доля существенная).

На ближайшие годы - это часть нашей культуры.

2 - Венчур

Пост я написал под впечатлением от интервью с Марком Андриссеном. Он основатель одного из лучших инвестфондов ранних стадий.

Джек Альтман: Ты считаешь, что мы сейчас стоим на пороге следующей важной технологической революции? Как было с облачными вычислениями?

Марк: О да, и даже гораздо масштабнее. Именно технологические перемены двигают всю отрасль вперед. Каждый раз, когда появляется новая платформа, это шанс полностью переосмыслить огромное количество компаний и продуктов. Старые компании теряют актуальность, а на их месте вырастают новые - часто даже крупнее предыдущих.

В венчуре отдача напрямую связана с такими технологическими волнами. Сначала была волна персональных компьютеров, потом интернет, мобилки, облачные технологии. И если застрять между такими волнами, становится реально тяжко. Последние пять лет были примерно такими: "Ну ок, сколько новых SaaS-компаний мы еще можем придумать? Кажется мы уже исчерпали все возможные идеи во всех возможных категориях."

До этого я не думал, про последние годы как про время скучного застоя. Без LLM и экспериментов с масштабированием было бы действительно не так весело.

Марк: И вот когда случается такой фундаментальный сдвиг, как сейчас с ИИ, ты можешь заново переосмыслить всю индустрию.

Джек: Было бы реально печально, если бы прорыва с ИИ не произошло.

Марк: Крис Диксон классно описал ситуацию с волнами: "В венчуре ты либо ищешь гору, либо карабкаешься по ней." Три года назад мы все были в режиме поиска и так об этом и говорили: "Мы пока не знаем какой будет следующая платформа. Но вот несколько возможных вариантов того, куда стоит идти дальше." ИИ был одним из таких вариантов. О нем все знали, но он еще не выстрелил так, как сейчас.

Сейчас мы карабкаемся по горе.

Еще год назад были сомнения, имеет ли ИИ серьезное будущее. Из-за проблем с галлюцинациями и много с чем еще. Круто, что нейросети могут писать шекспировские сонеты или тексты песен, но могут ли они нормально решать задачи и писать код?

Теперь очевидно что могут. Для меня момент истины наступил с выходом o1 от OpenAI. Как только модели научились рассуждать, я понял, что все это точно сработает. Каждый день я вижу новые продукты и технологии, про которые я всю жизнь думал, что не доживу до такого.

Про волны и горы идея не новая. Но меня тут зацепило, что в этот раз Бигтех компании особенно уязвимы для перестройки от новой волны.

Марк: ИИ это вообще не аналогия с облаком или интернетом. Это аналогия с изобретением микропроцессора. Сейчас у нас по сути появился новый тип компьютера. А это значит, что всё, что делают компьютеры, можно заново перепридумать. Мы инвестируем исходя из идеи, что практически все старые компании просто взорвутся, а на их месте появится абсолютно новая экосистема.

ИИ дает возможность делать вещи, которые раньше казались невозможными, поэтому появятся совершенно новые категории продуктов. Конечно, мы ошибемся по части из них, часть старых компаний тоже адаптируется.

Джек: Понятно, что часть рынка отожмут существующие игроки, а часть - стартапы. Но получается, что самая логичная стратегия для венчурных инвесторов - ставить исключительно на стартапы и гнаться за экспоненциальным ростом?

Марк: Именно так. Причина проста - наши LP (limited partners это те кто даёт бабки инвестфонду. Банки, страховые, пенсионные фонды итд) видят нас как дополнение ко всем остальным инвестициям, которые у них уже есть. Они и так сидят в крупных публичных компаниях. Им нет смысла, чтобы мы ставили на уже состоявшиеся отрасли типа фармы. Наша задача - максимально увеличить потенциал доходности за счет прорывных технологий и сбалансировать их портфель. Математика венчура проста: потерять можно максимум один вложенный доллар, а заработать - в тысячу раз больше.

То есть Марк тут супер заинтересованое лицо и к его прогнозам хорошо бы относиться с осторожностью.

Однако пока я его слушал, поймал себя на мысли, что не важно, хайп это или нет. Никто не знает, есть ли у нейросетей настолько большое будущее и смогут ли новые компании что то изменить к лучшему.

Но я понял, что я ХОЧУ, чтобы Марк оказался прав. Искренне и невероятно сильно.

Потому что современный интерент поломался.

Бигтех компании делают много крутых вещей. Но по моему ощущению не оправдывают возложеных на них ожиданий. Их капитализация несоизмерима с реальной ценностью, которую они дают своим юзерам.

Для наглядности сделал картинку с S&P 500 - это рейтинг в который входят 500 самых крупных компаний США. Бигтех разросся настолько, что его капитализация составляет четверть от всего индекса.

Мне стало интересно разобраться в этом слегка иррациональном желании верить всему, что было в интервью.