Сережа Тихомиров написал топовый разбор ситуации с продактами в рф в трех частях: 1, 2, 3.

В целом, ситуация с продактами в РФ всегда была не очень радужной, и я тут согласен с первопричиной — отсутствие фундаментального образования, которое важно в виду крайне сложной роли. Сеньера найти было сложно: их мало, спрос высокий, конкуренция за кадр зашкаливает, а их еще часто легко на Head of/CPO берут, так как больше некого. Мидлы по факту часто были джунами с завышенными запросами. Сейчас ситуация вовсе плачевная.

Тут Duolingo выкатила хэндбук про свою культуру. Красивое!

https://blog.duolingo.com/handbook/

К слову, о Duolingo. Лучшее, что случилось в интернете за последнее время, это не релиз дипсика, дипресерча и подобное, а рекламная компания с дохлой совой. Ор выше гор

https://x.com/duolingo/status/1889328809054224698?s=46

https://x.com/duolingo/status/1890423938057977963?s=46

Пока валяюсь тут вторую неделю с каким-то странным вирусом, писать что-то сложное и осмысленное не получается. Зато было много времени, чтобы, как обезьянка, казуально тыкать в AI-новинки, поэтому поделюсь впечатлениями:

- OpenAI плохо умеют в продукт и UX. Модели у них крутые, ресурсов много, но у чуваков до сих пор нет закладок для чатов. Все эти инструменты типа проектов и холста как будто выкатили в сыром виде, как и Sora и Active Voice Mode. Технология есть, но толку мало. Продвинутые модели большинство этих тулов не поддерживают. Самих моделей стало столько, что чёрт ногу сломит. Я всё ещё не понимаю, почему плачу 200 баксов в месяц и вынужден так страдать. Особенно печально это на фоне того, какой крутой UX у Claude и Perplexity. В целом, это подводка к моему будущему посту про оценку перспектив OpenAI.

- Deep Research от OpenAI при этом для меня game changer и уже за неделю успел окупить подписку. Причём я пробовал разные темы для ресерча, и даже там, где круто шарю, он умудрялся удивлять. Часто результат его работы – это очень крутая готовая статья даже с примитивным промтом. Посмотрите на примеры: пример 1, пример 2, пример 3.

- Deep Research от Perplexity полная шляпа. В целом, ребята шипят много фич, делают классный UX, но у них явные проблемы. Говорят, что индекс у них всё-таки не свой, только половина юзеров Pro, а половина этой половины – халявщики с триалов, бесплатных промо и рефералок. В целом, ребята понимают, что moats у них слабые, поэтому щупают разные ниши и запускают свой браузер, чтобы в перспективе перейти на end-to-end решение конечных задач юзера в режиме оператора. Со своим браузером это сильно проще, так как логины, история и вот это всё. Напишу подробнее про это отдельно.

- Deep Research от Grok при этом показал себя очень достойно. Учитывая доступность модели, это впечатляющий уровень, особенно по сравнению с крайне слабым аналогом от Perplexity.

- Я в полном восторге от Sonnet 3.7. Уни-модель, где можно управлять степенью рассуждений – восторг! UX, как всегда, на высоте, всё удобно, все тулы поддерживаются. С кодом работает лучше всех, отлично справляется с любыми документами и саммаризацией. Если бы не Deep Research, то я бы полностью перелез на Claude. Антропики в очередной раз показали, что такое делать классный технологичный продукт. И это всё ещё лучшее соотношение Value/Money.

- С утра немного потыкал в ChatGPT 4.5. Модель, как многие отмечают, стала сильно человечнее, с текстом, как будто, работает лучше всех из неризонеров, у меня ни разу не сгаллюцинировала. Немного потестил её в креативных задачах, где другие модели показывали себя плохо – и 4.5 справилась сильно лучше. Я ожидал, конечно, от релиза гораздо большего, особенно после Sonnet 3.7, но понимание того, что 4.5 сделала такой большой шаг после 4о и приблизилась к ризонерам, даёт надежду, что ризонеры поверх 4.5 будут вообще космос! Но есть сомнения. Цена – ахтунг, но думаю, найдётся куча задач, где новая модель будет перформить лучше за счёт своего размера или человечности, и цена будет окупаться, а дешевизна китайцев и других конкурентов не будет иметь смысла, так как они тупо не справляются с задачами. В целом, ждём GPT-5 и нормальный уни-режим с управлением степенью рассуждений, как в Claude. А отсутствие вау-результатов всё ещё говорит о том, что OpenAI moats are overrated!

Недавно Perplexity анонсировал запуск собственного браузера, вызвав закономерный вопрос: зачем? Ведь позиции Chrome настолько сильны, что никому ещё не удавалось их потеснить.

Чтобы понять задумку Perplexity, нужно разобраться, как изменился рынок поиска после появления ChatGPT. Традиционный поиск изначально состоял в том, чтобы предоставить пользователю список сайтов по его запросу. Затем поисковые системы начали добавлять быстрые ответы в сниппеты и различные виджеты, интегрировать возможности шопинга и другие сервисы, стремясь максимально сократить путь пользователя к нужному ответу.

Появление ChatGPT резко ускорило трансформацию рынка. LLM сразу дают готовый ответ, но сталкиваются с тремя ключевыми проблемами:

- Галлюцинации.
- Ограничения по объёму хранящихся знаний.
- Сложности обновления информации.

Чтобы преодолеть эти проблемы, появились гибридные решения, совмещающие поисковую выдачу с генерацией ответов через LLM (например, Bing GPT и Perplexity). Они представляют собой усовершенствованный «умный» сниппет с возможностью диалога, однако полностью устранить проблему галлюцинаций не удалось.

Казалось, такие решения должны были подорвать рынок и создать дилемму инноватора для Google: поиск, предоставляющий мгновенные ответы без необходимости переходить на сайты, подрывает рекламную модель компании. В этом и заключается сильная позиция Perplexity — отсюда и высокая, растущая капитализация компании.

Однако глобального дизрапта не произошло. Почему?

Запросы условно делятся на две категории:

- Информационные: запросы с целью получения прямого ответа (например, «Какое население Земли?»).
- Запросы, направленные на решение конкретной задачи (найти репетитора, забронировать отель, купить одежду).

В информационных запросах большинство вопросов легко покрываются текущими возможностями поисковиков (быстрые ответы, виджеты и т.п.). Один из самых популярных информационных запросов — банально о погоде. Преимущество классических поисковиков здесь очевидно: скорость ответа. Пока Perplexity ещё собирает данные, Google уже отдаёт результат, достаточный для большинства пользователей. Ценность Perplexity проявляется лишь в более сложных запросах из «длинного хвоста», которых значительно меньше.

Во втором типе запросов подход Perplexity с саммаризацией не только не помогает, но и усложняет задачу. Здесь требуется не ответ, а конкретное действие или услуга. Именно поэтому компания начала интегрировать возможности покупок и бронирования непосредственно в приложение, но пока это лишь простейшие кейсы.

Помните статью Sequoia о том, что рынок агентов Gen AI — это по сути рынок услуг? Чтобы качественно работать с запросами вокруг задач, нужна уже не просто информация, а полноценная услуга. Это значит, что масштабироваться нужно именно на предоставление конечной услуги пользователю. Perplexity уже представила своего ассистента на Android, но его возможности ограничены интеграцией через API. В то же время OpenAI пытается решить эту задачу запуском облачного оператора с виртуальным браузером, что получается дорого.

Perplexity выбрали иной путь. Локальный браузер, в котором пользователь уже авторизован на необходимых сайтах, обладает персонализацией и позволяет вмешаться в процесс вручную, если автоматизированные инструменты не справляются. Использовать чужой браузер - слабые moats, поэтому создание собственного браузера выглядит логичным шагом. Он позволит охватить весь спектр запросов пользователя: от простых информационных до комплексных, требующих интерактивного участия, создав единое окно входа, где AI будет решать, как решать запрос пользователя.

От Google здесь снова есть контр-позиционирование, так как основная точка взаимодействия в Chrome — это поисковая строка, а значит поисковая реклама, что будет мешать сделать концептуально AI-based браузер, дающий готовые ответы из-за всё той же дилеммы инноватора.

Основой вопрос — а сможет ли Perplexity переключать юзеров на свой браузер за счет своего Value Added или нет?

Тут у Андрюхи Карпатого вышел видос про практическое применение LLM, которое может быть полезно тем, кто не имеет технических навыков, и хотел поглубже погрузиться в тему.

В предыдущем он рассказывал про базовые вещи о LLM: что это такое и как они работают.

Проблема поискового оркестратора в Perplexity

Когда человек приходит в поиск с вопросом про погоду, он ожидает быстрый ответ. Не нужно разворачивать всю мощь лучших в мире LLM, парсить на лету 200 источников, делать три слоя реранкинга и ещё черт знает что. Это займет кучу времени.

Искусство понять сложность запроса, правильно выбрать из систем разной сложности и профиля, и собрать правильный каскад из систем - это задача оркестрации запроса. Она же - задача роутинга, она же - задача метапоиска. Одна из самых интересных задач в IT-инженерии.

CEO Perplexity Aravind Srinivas рассказывает в подкасте что самая сложная задача которую они сейчас решают это именно проблема оркестрации и создания правильного набора систем за оркестратором. С его слов, кто решит эту проблему в новом LLM-мире, сможет построить следующий Google.

Я помню свой разговор с одним из основателей ABBYY. Он рассказывал что их ключевой ноу-хау это не сами OCR-модели, а как раз правильный каскад из моделей. Лёгкая модель определяющая задачу, дальше в зависимости от результата выбор из путей, и так до 50 разных моделей в каскаде.

В текущих AI-системах вроде ChatGPT эта проблема тоже плохо решена. Пользователю самому приходится решать "достаточно ли моя задача сложная для o3 или можно в 4o сходить". Это, конечно, неудобно.

Кстати, рекомендую и конкретный подкаст, и всю серию подкастов How to Build Future от Y Combinator

Не могу не поделиться недавним великолепием от Hulu - Paradise. Шикарное шоу, которое умудряется держать в напряжении весь сезон, каждую серию - плот твисты, эскалация и экспериментальная концепция. Формат напомнил Lost, где персонажи и повествование раскрывается через флешбеки, а сами герои отлично сделаны и катают на качелях отношения к себе на протяжении всего сюжета. В сериале нет интриги ради интриги, на все вопросы под конец сезона будут ответы, при этом желание ждать и смотреть второй сезон никуда не исчезает. Давно такого не было!

7-ая серия вовсе великая, которая просто размазывает своим эмоциональным катарсисом и градиентом. Это очень близко к уровню амплитуды какого-нибудь Интерстеллара, Прибытия или второй Дюны.

Самое забавное, что даже самый минимальный намек на сюжет будет являться адским спойлером, поэтому бегом смотреть! (И да, без спойлеров в комментах, если смотрели!)

Срезонировал пост Карпатого про evaluation-кризис LLM'ок.

TLDR:
- Cтарые метрики устарели, а новые ненадёжны.
- Модели переобучаются под существующие бенчмарки, снижая их объективность.
- В настоящее время невозможно точно определить реальное качество современных языковых моделей.

Я бы ещё добавил, что даже если выбросить проблему оверфита и train on test, почти все бенчи — это среднее от разных тестов. В каких-то кейсах одна модель лучше, а в других — другая. На арене то же самое — среднее от субъективной оценки кучи разных людей, чьё качество не без основания вызывает сомнения.

Насколько эти оценки репрезентативны для реальных и лично ваших юзкейсов? В какую часть распределения лично вы и ваши юзкейсы попадут?

К примеру, в кодинге у меня Sonnet даже в версии 3.5 был часто лучше всего того, что я пробовал. После выхода 3.7 это стабильно, и если он не вывозит, то остальные тоже не вывозят. На бенчмарках это не всегда отражается. К примеру, на некоторых бенчах разные версии o1 и o3 аутперформят и Sonnet, и DeepSeek, и прочее, но в моих кейсах вообще не так, если сравнить с R1 и Sonnet 3.7. Про value/money молчу.

Поэтому, ИМХО, нужно пробовать всё в разных юзкейсах и выбирать под себя из личных задач, соотнося value/money/speed/ux.

Мой личный набор сейчас такой:

- Claude Sonnet 3.7 — основной «терминал» в general-кейсах. Если мне не нравится результат, то пробую альтернативу, чаще в виде DeepSeek R1 (который у Perplexity, так как DeepSeek на их родной платформе мне часто не отвечает) и o1/o3. Происходит это нечасто.
- Для написания и редактирования текста/документов/постов — Notion AI, так как я и так почти всё в Notion веду, а UX связки с AI там топ, а под капотом что-то от Антропиков. После выхода GPT 4.5 стал часто юзать её в связке с Canvas, так как тексты могут получаться сильно более естественными, а не типичными нейросетевыми.
- Кодинг — Cursor + Sonnet 3.7. Очень редко, но переключаюсь на R1
- Поиск — Perplexity + R1
- Deep Research — тут детище OpenAI с отрывом даёт лучший результат. Минус один — цена.
- Superwhisper — гейм-ченджер для меня, который позволяет 80% юзкейсов работы за компом закрывать, просто диктуя свои хотелки

Есть ощущение, что если бы Антропики завезли свой дип ресерч, то продукты OpenAI вовсе исчезли бы из моего арсенала.

Значит ли это, что у вас будет так же? Нет — у вас свои кейсы и свой набор задач. К тому же у каждого свое восприятие, из-за которого результаты работы моделей могут восприниматься по-разному. В этом много субъективного.

На днях встретила одного знакомого, — Forbes 30 до 30 в своей стране, self-made, построил несколько компаний, два успешных экзита. Разговорились про то дела.

— Ну что, какую следующую компанию будешь делать?
— Ретриты. Я за последний год понял, что вообще всё не так в жизни делал, слишком быстро бежал, выжигал себя. После последнего экзита год ничего не мог делать. Постепенно возвращал себя к жизни, много медитировал, и теперь хочу других предпринимателей этому учить.
— А как ты думаешь, у тебя были бы такие результаты сейчас, если бы в период с 20 до 30 ты бы не бежал так быстро?
— Не знаю…

Диалог на этом не закончился, но я тут хочу остановится и поделиться своими мыслями.

Я в целом согласна, что бесконечное достигаторство на морально-волевых, — путь к выгоранию, депрессии, зависимостям и разрушенному физическому здоровью.

But… я также не верю в результаты «в лёгкости», работая по настроению, а остальное время проводя в спа, спортзале и медитациях.

Во-первых, чтобы позволить себе такой образ жизни хотя бы на время, нужно уже иметь финансовую подушку и готовность какое-то время её жечь.

Во-вторых, не факт что со временем этот подход конвертнётся в какое-то устойчивое новое дело. Знаю кучу ребят, которые провели 12-18 месяцев в саббатикале на Бали, и по итогу как-то кардинально не перевернули свою жизнь. Просто отдохнули и вернулись к тому, чем и раньше занимались. И это тоже ок, тут просто надо без иллюзий.

В-третьих, даже если получилось выстроить комфортную и сбалансированную работу, бывают кризисы, которые не зависят от нас. И я слабо себя представляю лидера, который вместо того чтобы вести команду к выходу из кризиса, переизобретать, принимать решения, говорит: «Сорян, я на Випассану. Давайте сами!»

Я, кстати, сейчас не чувствую себя в каком-то постоянном стрессе, задолбанной, загнанной. Мне хватает времени и на спорт, и на медитации, и на общение, и на спа. При этом работаю и выдаю результата я много.

Думаю, что дело в том, что я уже освоилась в текущей роли. У меня выстроены процессы, собрана классная команда, многие действия доведены до автоматизма, и энергия не тратится по пустякам.

Так было не всегда. Были и слёзы, и работа в выходные, и созвоны в 3 часа ночи. Но это всё нужно было, чтобы вырасти.

Когда у ребёнка растут первые зубы он плачет от боли и страха. Но зубы отрастают и боль проходит. Коренные зубы растут уже, как правило без боли, так как путь для них проложен.

Нет никаких результатов в лёгкости. Но становится полегче, когда уже отрастил зубы.

После Forbes 30 under 30, похоже, всего два пути: выгорание или срок за скам

Я даже знаю такого ИИ гиганта, которого максимально органично мог бы купить Apple и сделать частью экосистемы

Читал, значит, недавнюю статью Т-Банка про тренировку их внутренней языковой модели. Там отсылаются на исследование, в котором говорится, что добавление в датасет обучания LLM’ки кода, улучшает её способности рассуждать.

Вспомнил про другой эксперимент, где в датасет добавляли говнокод и всякие sql иньекции, а модель начинала восхвалять Гитлера и Сталина и проявляла симпатию к Скайнет.

Теперь представьте, что в недалеком будущем вам встретится робот, обученный на сетке, где в датасет внедрили такой код… даже знаю, как это будет выглядеть.

Мое недавнее хобби тестировать разные Deep Research'и потихоньку начало превращаться в разочарование, ибо детище Open AI, как говорил ранее, имеет фундаментально другой уровень качества результатов. Потыкал я много: Elicit, Genspark, Perplexity и тд. И только Grok давал реально нормальный результат, но разрыв с OAI был, все равно, сильным.

Но вот я потестировал https://liner.com/news/introducing-deepresearch и это очень круто, особенно, для своих денег. К сожалению, у меня бага с шерингом и не могу скинуть примеры. Из минусов:
- баги
- иногда теряет странным образом контекст
- на английском пишет сильно лучше, чем на русском. У oai такого разрыва не наблюдал

Еще топ AI вещь, которая прям разорвала и реально Game Changer - Highlight AI.

Я уже писал про Superwhisper, который позволил мне сильно поменять и улучшить мой workflow, но мне дико не хватало Copilot для всего, который мог бы понимать контекст каждого апа, видеть контент, быть таким курсором для моего мак.

Просто висит штука, с которой можно общаться, как голосом, так и текстом. Понимает контекст апа и его содержимое, видит экран, можно настроить шорткаты, mentions, кучу разных хоткис, системных промтов и инструкций, работает очень UX френдли. Кажется, мой workflow вышел на новый уровень. В переписках, к примеру, вообще топ, так как можно просто надиктовать характер ответа, он поймет контекст переписки и выдаст нужный ответ.

Кстати, забыл добавить, что есть поддержка MCP серверов и есть соответсвующий браузер плагинов на их основе. Можно, к примеру, так научить Highlight взаимодействовать с файловой системой, эпловыми апами, браузером, всякими Notion, Slack и прочим добром.

Вообще, кажется, что MCP это очередной важный рубикон, который сильно изменит ландшафт. Думаю, что за ним будущее. Модели сильно расширяют свои возможности.

К примеру, крышу сносит от недавнего релиза Zapier, который позволяет использовать любой поддерживаемый ап и workflow в Zapier. По сути вы открываете для себя мощь почти бесчисленного количества интеграций.
https://zapier.com/mcp

Немного кринжа от гопоты