Alarm мы уперлись в потолок или как жить дальше в GenAI?

Продолжаем старую тему про развитие текущей парадигмы GenAI. Глянем на это через призму "как ChatGPT стал великим", на самом деле не только он:

1. Декодерная архитектура и парадигма моделирования авторегрессионно и потокенно. Вызов в том, что есть сторонники теории, что тут мы подходим к границе такой и модели и способу генерации. Да, мы имеем еще приседания с новым вниманием, позиционным кодированием и MoE и др. Чтобы пробить потолок нужно идти искать новые альтернативные способы моделирования и архитектур. Что это будет? Диффузии, world model, JEPA, RWKV или еще новее? Поживём-увидим.

2. Датасеты. Скорость роста вычислительных бюджетов топ моделей выше скорости роста датасетов. Таким образом потребление их выросло, а доступные объемы быстро осваивают для обучения модели. Синтетика, кстати, не всегда помогает, т.к. ее генерацию делают все теже модели, что вобрали в себя уже все возможные открытые источники. Ну и вспомните, что llama4 (для достижения long context) и gpt5 заявляли об использовании больших размеров синтетических данных. И что, сынку, помогли тебе твои ляхи синтетики?
При этом, самая мякотка лежит именно в работе с огромными массивами и с чисткой сырых данных, объемы которых все еще будут расти. Тут тоже маневр еще остаётся. А еще, конечно, путь в омнимодальность может докинуть еще.

3. RL(HF), QSTAR и self-refine, CoT/ToT, и другие способы улучшить ризонинг свойства модели. Казалось бы, уже все комбинации этих штук опробовали. Че дальше?

4. Компьют и работа на низком уровне для оптимизации. Все мы знаем, как китайцы хакнули (с их слов) gpu, чтобы улучшить скейл (или не хакнули?). Придумали test time scaling на инференс. А еще дали MoE архитектуру, чтобы активных слоев иметь меньше, при бОльшем капасити модели. Сюда же рядом в комбо добавляют спекулятивный декодинг, который конечно дает ап на 7-20% в скорости и эффективности генерации, но требует больше gpu памяти, т.к. надо хранить две модели для инфера. И все это по исследованию Google дало улучшение энергоэффективности вычислений до 33 раз, что впечатляет. Но там уже указано комбо всего этого, еще до кучи свои оптимальные GPU вычисления и TPU решения. Как будем дальше рейзить?

Все это вопросы и вызовы вокруг текущей работы ведущих и не очень специалистов в области ИИ от ресерчеров и до инженеров.

Даю установку. Ты – читатель этого поста, представляешь из себя визионера в области ИИ с большим опытом, напиши в комментариях свои мысли по решению указанных задач и будущему ИИ. Конец промпта.

Мой стандартный флоу на работе: прилетает встреча без адженды, просишь ответным письмом рассказать что за встреча и зачем я там нужен, не отвечают, отклоняешь перед самой встречей, никто потом не приходит и не просит все таки придти, ничего плохого не происходит

Cloudflare занимает интересное положение в AI мире. защищает 20% интернета, поэтому у них есть leverage заблокировать краулеров по умолчанию и диктовать свои условия с pay per crawl.

у Бена Томасона вышло интервью с основателем Мэттью Принсом.
tldr

1/ Принс родился в Юте. мама по вечерам ходила на курсы по cs в university of utah, часто брала его с собой. это было уже после золотых времен (1960-70е), но наследство важное. там учились основатели Pixar (Эд Кэтмулл), Adobe (Джон Уорнок), Netscape (Джим Кларк).

2/ в университете стало скучно на CS парах, решил изучать английскую литературу и стать юристом. работал в dot-com: сперва помогал делать ipo (летом 1999 провели 6 ipo за лето), потом стал юристом по банкротствам.

3/ занялся юриспруденцией в интернете, написал работу про can-spam act 2003. это был первый серьезный закон против спама, принципиально новая правовая территория. познакомился с Полом Грэмом, у которого еще не было YC. грэм устраивал mit anti-spam conference, пригласил принса с докладом “как сажать спамеров в тюрьму.” из этого родился project honey pot, система отслеживания воровства email-адресов. сайд-проект, где за несколько лет подписалось 100k+ пользователей, которые сами репортили плохие адреса.

4/ основал компанию Unspam. сначала делали одноразовые email-адреса (как apple сейчас). потом превратилось в “do not call для email” - работали с правительствами штатов Мичиган и Юта. создали хеширующую технологию: сравнивали списки маркетологов и государственные списки, при этом ни одна сторона не знала, что у другой.

5/ отец управлял ресторанами включая единственный hooters в Юте. и когда сыну было в районе 30 позвонил: “пора вести семейный бизнес.” принс не мог представить ничего хуже, чем управлять hooters и сказал отцу, что перед этим надо научиться бухгалтерии и поучиться я в бизнес-школе. за месяц подал в 8 бизнес-школ, 7 отклонили, гарвард взял.

5/ в гарварде его CTO ли холлоуэй думал об уходе (его переманивали Google и Facebook). Принс встретился с однокурсницей Мишель Затлин и они решили, что можно сделать
файрвол и поместить в облако?

6/ вдохновился курсом у Кристенсена в Гарварде. применили disruption theory: “предоставим сервис бесплатно, урезанный, но лучше всего остального. потом двигаемся upmarket.” классический подход - начать с underserved market, которым раньше никто не занимался.

все CDN типа Akamai продавали дорогие enterprise решения крупным корпорациям. а мелкие сайты, блоггеры, стартапы оставались без защиты от DDOS и проблем с производительностью. cloudflare сделал базовую защиту бесплатной для всех, постепенно добавляя фичи до уровня enterprise решений.

делал PLG до того, как стало мейнстримом.

7/ считал конкурентом facebook, не другие cdn. логика: без Cloudflare владельцы сайтов сдались бы из-за сложности безопасности, все перешли на платформы.

8/ строили регистратора доменов (“ужасный бизнес”), VPN, платформу разработчиков для себя, потому что никто другой не справлялся с их масштабом. потом гармонично стали продавать на рынок.

9/ сейчас переход от search engines к answer engines. google 25 лет был великим патроном интернета - индексировал контент, направлял трафик, помогал монетизировать через рекламу. была сделка: “мы берем копию вашего контента, взамен посылаем трафик.”

теперь ai chatbots не дают 10 синих ссылок, а сразу ответ. лучше для пользователей, катастрофа для контент-мейкеров. вся бизнес-модель рушится.

принс видит 3 сценария:

- журналисты и исследователи “умрут от голода”
- ai элита станут новыми медичи - сэм альтман купит свой associated press, будет 5 мощных семей контролирующих весь контент
- новая бизнес-модель с revenue sharing

10/ обвиняет perplexity: если не могут получить контент автора, запрашивают у trade desk заголовок и описание статьи, потом выдумывают содержание и публикуют от имени журналиста. “это не copyright, это прямое мошенничество.” и вообще кроулят вэб, чтобы собирать свой индекс, не уважая robots.txt

11/ предлагает $1 с пользователя AI в год в пул для криэйтеров. $10 млрд заменили бы всю рекламную выручку открытого интернета.

пост выше был подспорьем для того, чтобы показать стимулы и принципы компании и ее основателя.

вопрос важный. но имхо для билдеров нет времени растекаться в этических чажбах, если ты не заскрапишь, это сделает другой. мое мнение вообще радикальное, если бы сайты просто за $ давали бы доступ к своей elastic search, то всем участникам жилось бы лучше. проблема даже может быть не в праве на контент, а в том, что боты часто создают dos-подобный трафик и это становится заметно на облачном биллинге. а скрапинг нельзя победить, его можно только сделать экономически невыгодным.

думаю, что изначально cloudflare пытался создать маркетплейс где ai краулеры платят за контент который скрапят.

но, почти никто этого не хочет. если продаешь товары или услуги, то хочешь чтобы ai скрапил и давал трафик. чекаут (пока) происходит на твоей стороне.
другой вопрос, с медиа - если контент это продукт, то AI выступает заменителем.

но чтобы маркетплейс сработал, нужен контент который AI краулеры хотят настолько сильно что готовы платить. они хотят две категории: абсолютно все (количество) + лучший уникальный контент.

но лучший контент не будет в маркетплейсе. самые ценные игроки идут самостоятельно (reddit лицензирует напрямую google; nyt напрямую с amazon; wp с open ai).

да и тренд уже шел до LLM: премиум контент уходит за пейволлы (ньюслеттеры), те авторы блогов на wordpress, которых cloudflare защищал 15 лет назад истощились.

cloudflare сейчас делает ограничения на AI скрапинг опциональным (opt out). но получается такой маркетплейс шрёдингера - не может работать пока все не подключатся, но если все подключились, но по мере подключения других участников, стимул отключиться вырастает. индивидуальный оптимум - остаться открытым, получить трафик от больших AI.

Аня написала классную инструкцию, как делать продукты с LLM, но на самом деле она применима почти к любому продукту вокруг AI/ML. Это по сути практическое применение принципов, описанных в Stage-Gate.

Comet умер, не успев нормально родиться
https://blog.google/products/chrome/new-ai-features-for-chrome/

Абсолютно великая, на мой взгляд, реклама Claude от Anthropic. Давно такого кайфа не испытывал. Что-то в духе старого Apple
https://youtu.be/FDNkDBNR7AM?si=c_KB0zjr61uY7zj1

Меня размотал ИИ
https://poke.com

В общем, он мне предложил подписку за 50 баксов, но я поторговался и смог сбить до 5. Но есть нюанс…

Я часто угорал в комментах силоошной в духе «вот когда согласует квантовую механику и теорию гравитации, тогда и поговорим».
Тут оказывается Дойтч и Сама согласились, что это хороший бенч для AGI

https://x.com/slow_developer/status/1971323826332930336?s=46

Наткнулся тут на статью в HBR про важность софт скилов. Срезонировало, ибо по сути такой подход при найме и развитии использовал всегда: базовый фундамент > специализированные навыки.

В статье авторы анализируют данные по 70 миллионам карьерных переходов в США и приходят к выводу, что для долгосрочного успеха и адаптивности важнее не узкоспециализированные, а фундаментальные навыки. К ним относятся умение работать в команде, математическое мышление, адаптивность, коммуникация и навыки решения проблем.

Основные тезисы:
- Фундамент определяет потолок: сотрудники с сильной базой быстрее осваивают новые сложные навыки, со временем получают более высокую зарплату и легче продвигаются на продвинутые роли. Это как в драфте NBA: команды часто выбирают не самых результативных игроков, а тех, у кого есть потенциал, основанный на скорости, ловкости и понимании игры.
- Узкие навыки быстро устаревают: "период полураспада" технических навыков сократился с 10 лет в 80-х до примерно 4 лет сегодня, и продолжает падать. Вспомните Adobe Flash или Hadoop - когда-то востребованные технологии, которые быстро потеряли актуальность. Люди, которые смогли переключиться на новые технологии, сделали это благодаря своей способности к обучению и решению корневых проблем, а не заученным фреймворкам.
- Социальные навыки - это клей: в современной рабочей среде, состоящей из кросс-функциональных и удаленных команд, особенно важны социальные навыки: коммуникация, эмпатия, умение разрешать конфликты. Исследования показывают, что с 1980 года количество ролей, требующих высокого уровня социального взаимодействия, постоянно растет, и именно такие роли получают самые высокие премии к зарплате. Google, к примеру, в своем исследовании Project Oxygen выяснил, что лучшие менеджеры - это в первую очередь хорошие коучи и коммуникаторы.

Это отлично ложится на мой опыт. Например, превратить хорошего Software Engineer в Machine Learning Engineer часто проще, чем ML Researcher'а. У SWE уже есть мощнейший фундамент: системное мышление, навыки декомпозиции, решения проблем, опыт работы в команде и с продакшн левел кодом. Ему нужно лишь развить специфичные для ML скилы и знания. У исследователя может быть глубокое знание математики и моделей, но ему может не хватать инженерной культуры, что для роли MLE критично.

И этот же подход применим не только к найму, но и к собственному развитию. Вместо того чтобы гоняться за очередным хайповым, но узким навыком, который может устареть через пару лет, а сейчас и того раньше, гораздо выгоднее вкладываться в свой «фундамент»: умение решать проблемы, критическое, открытое и системное мышление, коммуникацию и способность быстро учиться. Именно это делает вас адаптивным и ценным специалистом в долгосрочной перспективе, готовым к любым изменениям на рынке.

Слили запись сегодняшнего митинга по стратегии

Ходит денежка по кругу. Триллионный план инвестиций в AI-индустрии

Все инвестируют друг в друга, накачивая капитализацию. Что-то напоминает, да?

Bloomberg опубликовал материал про денежные потоки в AI-экосистеме. И, главное, визуализировал, как эта схема выглядит — получился мем про план эвакуации при пожаре: просто круг со стрелочками и паника «А-а-а-а-а!».

Вот как работает накачка:

— OpenAI за $500 миллиардов закупает GPU у Nvidia
— Nvidia инвестирует обратно в OpenAI до $100 миллиардов
— OpenAI заключает облачный контракт с Oracle на $300 миллиардов
— Oracle покупает чипы у Nvidia на десятки миллиардов
— OpenAI договаривается с AMD о GPU мощностью на 6 ГВт, а AMD получает опцион на покупку 160 миллионов акций OpenAI
— Microsoft инвестирует в OpenAI, OpenAI арендует мощности у Microsoft
— А ещё есть правительство США, которое получает 10% в Intel и 15% в экспорте Nvidia в Китай, Nebius Воложа, Mistral, xAI…

И так по кругу. Каждая сделка увеличивает капитализацию всех участников, создавая иллюзию бешеного роста рынка.

Прикол в том, что уже ОЧЕНЬ сильно напоминает классические схемы манипуляции рынком. Когда компании инвестируют друг в друга не столько ради реальной выгоды, сколько ради накачки оценок перед инвесторами.

Основной посыл — никогда ещё столько денег не тратилось на технологии без доказанной способности приносить прибыль.

Альтман «способен обрушить мировую экономику на десятилетие или привести нас всех в землю обетованную», — написала Стейси Расгон, аналитик Bernstein Research, в заметке для инвесторов на этой неделе. «Прямо сейчас мы не знаем, что за карты у него в руке».

Недавно общался с коллегой, и он задал интересный вопрос: есть ли какой-то один вопрос, который помогает сразу понять, хороший перед тобой продакт или плохой.

Такого вопроса-убийцы я не придумал. Но в ходе разговора осознал, что есть отличный «разрезающий пас», отделяющий одних от других - посмотреть, как человек мыслит о будущем. Плохой продакт говорит о будущем фактами. Хороший - гипотезами.

Эта разница в мышлении - ключевая. Плохой продакт верит, что его работа - это составить красивый план и следовать ему. Он приносит роадмап, где на год вперед расписаны фичи, и продает его как набор будущих фактов. Это успокаивает бизнес, создает ощущение предсказуемости, но по сути является профанацией. Это попытка натянуть детерминированность на хаотичную по своей природе реальность.

Хороший продакт, наоборот, принимает неопределенность. Он строит свою работу вокруг гипотез, про которые я уже не раз писал. У него есть четкая структура: есть наблюдение/феномен, из него рождается предположение, которое превращается в эксперимент с ожидаемым результатом. Это не план по захвату мира, а план по обучению.

И вот этот маркер - факты против гипотез - сразу вскрывает, кто перед тобой. Один пытается продать уверенность там, где её нет. Другой - принимает неопределенность и оптимизирует процесс под скорость обучения.

В прошлых постах мы посмотрели, как работают цепочки создания ценности. В этом я напишу про интересный феномен, достойный научной статьи: пример того, как цепочки создания ценности могут «сворачиваться в петлю», и почему анализ стратегических позиций в цепочке критически важен.

В классической цепочке создания ценности капитал и добавленная ценность движутся по линии:
инвесторы → производители → посредники → конечные пользователи.

Но есть феномен, который называют круговым финансированием, и именно это мы сейчас видим на рынке AI: капитал ходит по кругу между крупными игроками, которые одновременно инвестируют друг в друга и являются друг другу клиентами. Ну или короче компании покупают у себя самих, создавая видимость бурного роста.

Когда Microsoft одновременно крупнейший клиент, инвестор и облачный оператор для OpenAI, невозможно чётко определить, где в цепочке создаётся ценность, а где просто перераспределяются инвестиции. Или Nvidia - не просто поставщик. Она инвестирует в OpenAI, продаёт OpenAI чипы.

Что мы в итоге имеем: когда стратегические позиции выстраиваются на внутреннем контуре, а не на внешнем рынке, цепочка становится хрупкой: любое падение реального спроса разрушает весь круг финансирования. Дальше возможны два сценария:
1. реальный спрос догоняет инвестиции - экосистема устаканивается;
2. или пузырь лопается, как в 2000-м, когда обнаруживается, что «внешнего» рынка недостаточно, чтобы поддерживать такую архитектуру.

Еще раз это не мошенничество - это типичная схема экосистемного кросс-субсидирования. Но для она может маскировать реальный рыночный спрос, особенно если такие внутренние потоки велики. Наши любимые экосистемы зачастую так и работают, раздувая свои финансовые показатели.

К слову о том, что развитие LLM уткнулось в потолок. Новый Haiku 4.5 от Anthropic на бенче кодинга выдает результаты лучше, чем у Sonnet 4, которые вышел всего полгода назад и считался SOTA в кодинге, но стоит в несколько раз дешевле и в несколько раз быстрее работает. А теперь представьте, что текущий уровень GPT-5 через несколько лет влезет в айфон для локального инференса

Андрей Карпатый у Дваркеша Пателя, и нейровещества для нейроторчков

Новое интервью с топовым AI-чуваком, такое мы смотрим! Говорит, «до нормальных умненьких AI-агентов нам еще лет десять, уж поверьте мне – деду, который в индустрии 15 лет, и всяких обещаний успел наслушаться».

Но вообще, мне там вот какой момент показался забавным: Карпатый говорит, что обучение с подкреплением – это «ужасный способ учиться»; просто все остальные доступные нам сейчас варианты обучения нейронок еще хуже. Дескать, при RL (reinforcement learning) происходит «всасывание обучения через соломинку».

Грубо говоря, чтобы научиться решать какую-либо задачу таким макаром, нейронке надо сначала вслепую попробовать порешать ее сотней разных способов. И те способы, что случайно привели к правильному решению, вознаграждаются в форме усиления тех весов (условно, нейронных связей), которые участвовали в «успешных» способах. Но при этом поощряются вообще все совершенные действия в рамках давшего результат способа – даже какие-то глупые случайные метания, которые реально ничего полезного в себе не несут.

Люди учатся совсем не так: они делают гораздо меньше попыток, но зато потом сильно вдумчивее разбирают результат – пытаются понять, что конкретно реально сыграло роль в успехе, а что нет.

Так вот, для тренировки моделей так тоже иногда пытаются сделать – каким-то образом поощрять их не только за финальное решение, но и за промежуточные «правильные» шаги. Правда, делать это силами людей – практически неподъемная задача (слишком дорого). Поэтому… да, вы угадали: исследователи пытаются заставить одни языковые модели разбирать решения других, и оценивать их по шагам.

Но там возникает другая проблема: очень часто «обучающаяся» модель находится хитрые лайфхаки, как ей обмануть «модель-учителя» – и заставить ее поощрять не шаги к правильному решению, а какую-то бессмыслицу. К примеру, случайно выясняется, что у модели-оценщика есть какой-то странный кинк на последовательность букв «dhdhdhdh»: каждый раз, когда она ее видит в решении, она дичайше кайфует и сразу ставит за это наивысшую оценку. Видя это, модель-ученик начинает все свои «решения» писать исключительно в формате «dhdhdhdhdhdhdhdhdhdh» (думаю, не стоит уточнять, что реально решить поставленную задачу это не помогает вообще никак).

Мне кажется, здесь есть забавная аналогия с веществами для людей. В чистом виде химические соединения в такой концентрации, от которой «торчат» люди, в природе не встречаются – вот люди и не эволюционировали, чтобы иметь возможность противостоять им. Так что, когда люди занюхивают какой-нибудь пресловутый порошочек – их «функция вознаграждения» приходит в экстаз и просит еще и еще такого же.

Получается, с нейронками происходит примерно то же самое: в огромном корпусе текстов, на которых они тренировались, никогда не встречалась эта бессмысленная последовательность «dhdhdhdh». Но по некой случайности веса модели сложились так, что она (без всякого глубокого смысла) кайфует именно от этих символов в этой последовательности. И когда модель внезапно встречает эту штуку в своей жизни – она уходит в неконтролируемый запой и трясущимися руками пытается потребить как можно больше именно этой наркоты.

В общем, ждем появления нейроройзмана, который будет пристегивать LLM к нейробатареям…

Клод с приходом соннет 4.5 стабильно называет меня Адамом Овсесяном, хотя я ему уже везде указал свою настояющую фамилию. Что-то, походу, какие-то веса зацепились за мое армавирское прошлое