2 - Еще больше железа!

Илон заявил, что к лету 2025 года у компании будет готов кластер из 300к новых Blackwell B200. Если учесть склонность Маска преувеичивать, то это скорее от 200-400к новых чипов к концу 2025.

Насколько B200 круче H100? Цифры плавают в зависимости от задачи, но для обучения моделей (оценка на ноябрь 2024), примерно в 2.2 раза мощнее. Чтобы запитать такое, нужно энергии уже как на среднего размера город. Примерно 1.2 ГВт к концу года. Думаю мобильными генераторами уже не отделаться.

И все крупные игроки уже делают что-то похожее:

Meta строит две газовые электростанции в Луизиане. OpenAI/Microsoft делают аналогичный проект в Техасе. Amazon и Google тоже строят гигаватные датацентры.

Почему не атомная энергия? Она идеально подходит по мощности, но строить АЭС—это долго. Ты не можешь построить станцию рядом с датацентром даже за год. Ветряные и солнечные электростанции + аккумуляторы перспективны, но тоже разворачиваются слишком медленно. 

В итоге Microsoft и Meta уже пришлось забить на свои "зелёные" обещания по возобновляемой энергии. В основном оправдываясь тем, что мы подпортим экологию сейчас, но зато потом AGI порешает все наши проблемы.

3 - Размеры модели

Илон построил огромную дорогущую коробку. И что?

Предположительно, для тренировки Grok 2 использовали 20к H100 и 100-200к для Grok 3. Для сравнения: GPT-4 тренировали на ~25к старых чипов A100. H100 примерно в 2.25 раза мощнее.

То есть, Grok 2 получил вдвое больше ресурсов, чем GPT-4, а Grok 3—ещё в пять раз. Gemini 2.0 от Google скорее всего тренировали на 100к их собственных TPUv6, это примерно столько же железа, но сама модель меньше.

Короче, общие затраты вычислений на Grok 3 на порядок (в 10 раз!) больше, чем у ближайшего преследователя. К сожалению, по GPT-4.5 и Gemini 2.5 данных нет.

И это главный облом. Угрохали кучу денег и ресурсов, построили гига-мега-кластер, а модель получилась просто "на уровне" существующих топов. Точно не сильно лучше.

Экспертиза в обучении LLMок у xAI пока отстает от OpenAI, Google или Anthropic. Они по сути успешно забрутфорсили себе статус одного из лидеров. Но чудес никаких не показали: "Если грубая сила не решает проблему, значит вы используете её недостаточно".

Epoch AI оценили, что за последние 10 лет алгоритмические улучшения внесли примерно треть вклада в рост способностей моделей. И только остальные две-трети внесли уже наращивание железа и размеров моделей.

То есть брутфорс сработал один раз, но дальше расходы будут расти экспоненциально, принося все меньше отдачи. Поэтому алгоритмическое отставание нужно нагнать. Благо xAI теперь будет проще нанимать крутых ребят в команду, потому что они наконец "двигают фронтир науки".

4 - Чем модель хороша?

1) Она пока полностью бесплатна (видимо до полного релиза). Без жестких лимитов как у Anthropic, без перебоев как у DeepSeek и без платных моделей у OpenAI.

Даже после кучи релизов за последние 2 месяца, Грок держится наверху бенчмарка Арены.

А еще они наконец завезли доступ к API, но режим рассуждения дали только mini модели. На независимых бенчмарках она себя показывает достойно. Но наверное базовая модель с рассуждениями работает все же лучше.

2) Режим рассуждений и Deep Research, который в феврале был в открытом доступе только у Perplexity и то с большими ограничениями. Сейчас уже Google и OpenAI тоже дали доступ. Возможно благодаря Гроку.

Если не знаете, Deep Research это такой автоматический поиск по сайтам. Он за несколько минут анализирует 30-100 ссылок (у Гугла больше) и дает раздутое самммари, которое остается только быстро фактчекнуть. Это намного проще чем ресерчить с нуля самому. Работает быстрее, чем у остальных, так что я стал пользоваться им для сложного поиска.

3) Интеграция с Твиттером. Как мне кажется—самая перспективная фича это семантический поиск. То есть ищет по смыслу, а не тупо по ключевым словам.

Можно просить делать саммари постов на какую-то тему, следить за трендами. Хотя пока работает так себе, если честно.

Твиттер хорош тем, что там информация практически в реальном времени. Но Грок пока не успевает за ней и подсовывает данные за последние пару дней, а не за сейчас. 

Еще можно просить найти последние публикации в ленте конкретного юзера. Например, чтобы мониторить что в последнее время думают нужные чуваки или компании.

4) Ну и на закуску, режим 18+.

Грок отлично ломается без особых сложностей и через него можно делать все, что вы зачем то хотите. От секси голоса до рецепта варки мета.

Самый угар—это голосовой режим: https://x.com/goodside/status/1893932239718691167.
(там короткий видосик, где чувак просит модель покричать, а она его эмоционально матом обкладывает)

А еще иронично, что Грок не особо хорошего мнения о Маске и Трампе. И когда это всплыло, xAI попытались неуклюже это исправить. Просто захардкодили, что Гроку нельзя ругать Илона. А когда всплыло и это, xAI обвинили во всем бывшего сотрудника OpenAI, который "не впитал культуру компании". Кринж.

Проблема в том, что взгляды Grok—это слепок данных из интернета, а не чья-то злая воля. Менять их сложно, не сломав всю модель.

(это серия из постов, начало тут)

5 - Пробовать или нет?

Пробовать, но как второго пилота.

TLDR:

* Затраты на обучение в разы выше, чем у конкурентов.
* И несмотря на это, работает на уровне существующих моделей.
* Но модель очень быстрая и бесплатная.
* С бесплатным Deep Research режимом, который я рекомендую попробовать, если вы еще не.
* Выше уровень галлюцинаций и поспешных выводов.
* Текст генерит структурированный, но избыточный и "водянистый".
* Интеграция с Твиттером дает доступ к свежей информации, но пока работает неоч.

xAI показали, что могут строить инфраструктуру мирового класса быстрее всех. Но в самих моделях пока догоняют лидеров, заливая отставание деньгами.

Это ещё один сильный игрок, который давит на OpenAI, Google и Anthropic. Конкуренция растет, эксклюзивность топовых моделей тает. И похоже скоро нас ждут ценовые войны за пользователей и коммодитизация AI.

На этом всё. Пишите что думаете.

Про будущее Инстаграмма и Фейсбука.

Недавно Марк Цукерберг заглянул на несколько подкастов, где довольно искренне рассказал каким он видит развитие продуктов Меты. И похоже он не особо понимает, насколько стремно звучит его видение.

Фб и Инста уже начали тонуть в сгенерированном нейросетями мусоре и фейковых профилях. Но вместо того, чтобы бороться, ребята решили этот процесс возглавить. Я не особо задумывался о проблемах ИИ-контента, пока не послушал интервью с Марком и не наткнулся на картинку ниже.

Одно дело, когда юзеры сами постят что то, созданное нейросетями. Совсем другое и намного более жуткое – когда платформа берет это на вооружение как основную стратегию.

Марк прямо говорит, что хочет создать "ультимативный черный ящик" для рекламы. Типа, бизнес просто задаёт желаемый результат, а дальше ИИ сам решает как его добиться. Добавляем сюда улучшеный сбор данных – и буквально всё, что ты делаешь в Фейсбуке или Инсте, будет использоваться для максимальной персонализации ленты.

И вишенка на торте:

Цукерберг утверждает, что средний американец имеет всего 3 близких друга, хотя в идеале у него есть "спрос" на примерно 15. И по мнению Марка именно ИИ сможет закрыть этот дефицит общения.

Марк рассказывает про три эпохи создания контента: публикации твоих реальных друзей -> к ним добавляется контент от креэйторов (блогеров?) -> и контент от виртуальных ИИ друзей.

По плану Марка, последняя категория будет активно использоваться для увеличения времени юзера на платформе. Причем ИИ будет и создавать, и рекомендовать этот контент.

Он считает ИИ друзей "дополнением" к обычной социализации, но я сильно сомневаюсь, что его намерения настолько безобидны. По факту такое общение будет скорее заменой живому, потому что у Меты тут серьезный конфликт интересов.

Марк говорит, что "люди сами знают, чего хотят". Что если юзер регулярно общается с ии-подружкой - значит это приносит ему пользу. Я думаю это откровенный буллшит. Что будет, если твой ИИ друган начнет ненавязчиво рекомендовать товары и убеждать тебя купить новую тачку? Да, он знает, что для тебя лучше подойдёт. Но его мотивирует не только забота о тебе, а еще и деньги.

Не спорю, что можно придумать как интегрировать ИИ в социалку так, чтобы он улучшил живое общение. Например, напоминать про важные даты, накидывать идеи для совместных активностей, заранее зная кому их лучше предложить. Или мягко намекнуть мне, когда в общении я был не прав и кого то обидел.

Но вместо этого нас скорее ждут аддиктивные заменители реальных отношений, которые будут эксплуатировать наши слабости ради максимального вовлечения. И вангую, что в настройках это отключить будет нельзя.

Короче..

Могут ли у нас появиться по-настоящему полезные ИИ друзья? Ну, наверное да. Но учитывая послужной список Меты и образ мышления Цукерберга, я бы на это не ставил. Он уверен, что люди способны выбирать то, что для них лучше, и полностью игнорирует уязвимость людей к дарк-паттернам и манипуляциям.

Думаю в итоге вместо друзей получатся супер продвинутые продажники, которые будут создавать залипательный контент и периодически убеждать тебя что нибудь купить.

Картинка про ботов и бумеров. Меня она что то настолько рассмешила, что решил пост написать (см выше)

Большой интернет сломан

Хочу написать серию постов, где я разбираюсь, сможет ли новая волна технологий починить сломанный интернет. Всё началось с простого вопроса к себе: почему я так сильно хочу, чтобы искусственный интеллект разрушил текущий порядок в IT-индустрии?

Кажется, потому что Бигтех гиганты превратились в неповоротливых монополистов, от которых все устали.

Для начала я сформулирую, что именно не так, и по полочкам разложу свои претензии к пяти главным компаниям: Google, Meta, Apple, Microsoft и Amazon. Думаю, полезно взглянуть на всю картину целиком, прежде чем искать ответ на главный вопрос. Есть ли у нас реальный шанс на прекрасный интернет будущего?

1 - Пять лет

Если отбросить весь хайп вокруг ИИ, последние 5 лет в технологической сфере были довольно унылыми.

Да, кое-что интересное случилось:
* Ракеты Илона вернули интерес к космосу
* Активно развивается индустрия электрокаров
* Apple выпустили новые, мощные чипы
* Попытки делать VR, вялое распространение 5G и крипты

Но в целом жизнь особо не поменялась. Мы уже привыкли к текущему стеку технологий. А все прорывные идеи реализовал еще Стив Джобс. Нам остались только небольшие инкрементальные улучшения уже итак неплохих продуктов.

Но это всё - без учёта ИИ.

К нейросетям отношение неоднозначное. Кто то игнорирует и считает их всего лишь стохастическими попугаями. Другие уже во всю почувствовали AGI и жонглирует десятью открытыми вкладками с разными тулами.

Но факт остаётся фактом - их популярность растёт. Уже трудно найти тусовку, где хотя бы раз не всплывёт разговор про нейросети.

Компании с каждым годом вкладывают всё больше и больше бабла в инфраструктуру.

А в каждом стартапе теперь по умолчанию есть ИИ (на самом деле не в каждом, но доля существенная).

На ближайшие годы - это часть нашей культуры.

2 - Венчур

Пост я написал под впечатлением от интервью с Марком Андриссеном. Он основатель одного из лучших инвестфондов ранних стадий.

Джек Альтман: Ты считаешь, что мы сейчас стоим на пороге следующей важной технологической революции? Как было с облачными вычислениями?

Марк: О да, и даже гораздо масштабнее. Именно технологические перемены двигают всю отрасль вперед. Каждый раз, когда появляется новая платформа, это шанс полностью переосмыслить огромное количество компаний и продуктов. Старые компании теряют актуальность, а на их месте вырастают новые - часто даже крупнее предыдущих.

В венчуре отдача напрямую связана с такими технологическими волнами. Сначала была волна персональных компьютеров, потом интернет, мобилки, облачные технологии. И если застрять между такими волнами, становится реально тяжко. Последние пять лет были примерно такими: "Ну ок, сколько новых SaaS-компаний мы еще можем придумать? Кажется мы уже исчерпали все возможные идеи во всех возможных категориях."

До этого я не думал, про последние годы как про время скучного застоя. Без LLM и экспериментов с масштабированием было бы действительно не так весело.

Марк: И вот когда случается такой фундаментальный сдвиг, как сейчас с ИИ, ты можешь заново переосмыслить всю индустрию.

Джек: Было бы реально печально, если бы прорыва с ИИ не произошло.

Марк: Крис Диксон классно описал ситуацию с волнами: "В венчуре ты либо ищешь гору, либо карабкаешься по ней." Три года назад мы все были в режиме поиска и так об этом и говорили: "Мы пока не знаем какой будет следующая платформа. Но вот несколько возможных вариантов того, куда стоит идти дальше." ИИ был одним из таких вариантов. О нем все знали, но он еще не выстрелил так, как сейчас.

Сейчас мы карабкаемся по горе.

Еще год назад были сомнения, имеет ли ИИ серьезное будущее. Из-за проблем с галлюцинациями и много с чем еще. Круто, что нейросети могут писать шекспировские сонеты или тексты песен, но могут ли они нормально решать задачи и писать код?

Теперь очевидно что могут. Для меня момент истины наступил с выходом o1 от OpenAI. Как только модели научились рассуждать, я понял, что все это точно сработает. Каждый день я вижу новые продукты и технологии, про которые я всю жизнь думал, что не доживу до такого.

Про волны и горы идея не новая. Но меня тут зацепило, что в этот раз Бигтех компании особенно уязвимы для перестройки от новой волны.

Марк: ИИ это вообще не аналогия с облаком или интернетом. Это аналогия с изобретением микропроцессора. Сейчас у нас по сути появился новый тип компьютера. А это значит, что всё, что делают компьютеры, можно заново перепридумать. Мы инвестируем исходя из идеи, что практически все старые компании просто взорвутся, а на их месте появится абсолютно новая экосистема.

ИИ дает возможность делать вещи, которые раньше казались невозможными, поэтому появятся совершенно новые категории продуктов. Конечно, мы ошибемся по части из них, часть старых компаний тоже адаптируется.

Джек: Понятно, что часть рынка отожмут существующие игроки, а часть - стартапы. Но получается, что самая логичная стратегия для венчурных инвесторов - ставить исключительно на стартапы и гнаться за экспоненциальным ростом?

Марк: Именно так. Причина проста - наши LP (limited partners это те кто даёт бабки инвестфонду. Банки, страховые, пенсионные фонды итд) видят нас как дополнение ко всем остальным инвестициям, которые у них уже есть. Они и так сидят в крупных публичных компаниях. Им нет смысла, чтобы мы ставили на уже состоявшиеся отрасли типа фармы. Наша задача - максимально увеличить потенциал доходности за счет прорывных технологий и сбалансировать их портфель. Математика венчура проста: потерять можно максимум один вложенный доллар, а заработать - в тысячу раз больше.

То есть Марк тут супер заинтересованое лицо и к его прогнозам хорошо бы относиться с осторожностью.

Однако пока я его слушал, поймал себя на мысли, что не важно, хайп это или нет. Никто не знает, есть ли у нейросетей настолько большое будущее и смогут ли новые компании что то изменить к лучшему.

Но я понял, что я ХОЧУ, чтобы Марк оказался прав. Искренне и невероятно сильно.

Потому что современный интерент поломался.

Бигтех компании делают много крутых вещей. Но по моему ощущению не оправдывают возложеных на них ожиданий. Их капитализация несоизмерима с реальной ценностью, которую они дают своим юзерам.

Для наглядности сделал картинку с S&P 500 - это рейтинг в который входят 500 самых крупных компаний США. Бигтех разросся настолько, что его капитализация составляет четверть от всего индекса.

Мне стало интересно разобраться в этом слегка иррациональном желании верить всему, что было в интервью.

3 - Google

Качество поисковой выдачи уже несколько лет стабильно падает.

Сразу пример покажу: best vpn 2025. Там сначала рекламная выдача на весь экран. А за ней обзоры с акуратно подобранными ключевиками и партнёрскими ссылками. Компании платят обзорщикам за трафик, обзорщики собирают людей в поиске, поиск кормится с рекламы. Как юзер, я регулярно страдаю от этой схемы.

В 2022 году нашумела статья про смерть поиска. Основной поинт в том, что рекламная бизнес-модель создаёт прямой конфликт интересов c качеством для юзера. Пол Грэм демонстрирует это через рост популярности Reddit в поисковых запросах.

График совершенно не похож на тренды других соцсетей. Потому что люди начали массово добавлять к своим обычным запросам слово Reddit. Чтобы получить информацию от таких же юзеров как они, не от копирайтеров.

Проблемы с конфликтом интересов начались где то в 2019 году. Когда менеджеры обьявили внутреннюю тревогу из-за значимого отставания рекламной выручки от прогнозов. А инженеры из поисковой команды открыто заявили, что если их продолжат пушить на выполнение планов - это может ухудшить пользовательский опыт.

Ну и короче главу поиска с 20-летним стажем в компании сместили с должности. Вот тут есть подробная история со ссылками на внутреннюю переписку. Статья жестко винит во всём конкретного человека, отвечавшего за рекламу, но без железных доказательств.

Я не нашел серьезных расследований, что Google намеренно ухудшили ранжирование.

Спам-фильтры по прежнему работают, просто постепенно проигрывают гонку вооружений. В интернете стало больше ферм отзывов, ботов и дешевого копирайта. Поэтому я больше не могу бездумно доверять алгоритму. И почти каждый раз ожидаю, что придется покопаться в мусоре.

Хороший ответ на свой запрос нужно заслужить.