Reflections on OpenAI

Потрясающее чтиво от инженера, который недавно покинул OpenAI. Пишет про культуру, атмосферу, и как всё работает.

Очень душевное и как будто честное, хочется верить. Выжимки делать специально не буду, идите читать. Я мгновенно залип и прочитал целиком.

https://calv.info/openai-reflections

Нашел очень классный тред на реддите

Человек прикрутил Claude к дейтингу с использованием компьютер юз (когда нейронка сама нажимает на элементы интерфейса) и эмулятора андроид. В итоге автоматизировал лайки и первичное общение с девушками

Пару лет назад выходила хайп статья от одного человека из рф, где он рассказывал что якобы сделал такую же систему на базе GPT-3 + api дейтингов. Но как позже выяснилось это было фейком, никакой системы у него не было он просто ее придумал.

Оно то и понятно, разработка такой системы выглядит очень оверкомпликейтед просто для пет проекта, особенно учитывая то что прийдется значимо подолбиться с апи всех дейтингов

Но с выходом Computer Use и общим развитием ЛЛМок те продукты которые требовали бы сотню часов разработки превращаются в написание хорошего промпта для LLM

А что ли не всем до сих пор очевидно что уход топов из openai это спланированная Семом операция, что бы не платить выходные пособия.

Новая gpt-5 делает ресерчи в разы лучше любого ресерчера и не требует 900 мультов долларов в год;

Ща летел в самолете 4 часа без инета и 4 часа кодил

Блин это были лучше 4 часа в моей жизни

Просто ты, IDEшка и клавиатура, больше ничего - никаких вайбкод инструментов, копайлотов, никакого продвинутого код комплишна, никаких тян зовущих попить вместе вино вечером, никаких уведомлений с телеграм каналах а то что зарелизили очередную модель модель gpt-sonet-2.5 pro которую обязательно надо затестить именно сегодня, никаких ..., 0% отвлечений, 100% концентрация на коде

Всем безумно советую устраивать деткос от всего

Немного грустная статистика по доходам физтехов (выпускников МФТИ)

Опрос был в канале с входом только для выпускников/студентов, 95% членов – айтишники, почти все 3+ курс бакалавра, около половины выпускники

Это российскому рынку так плохо или долгопрудненские выше 15 грейда шмяндекса не проходят?

Вижу что в коментариях разгорелась очень оживленная дискуссия. А как вы считаете?

Не буду писать про gpt-5, думаю уже все про это писали

Наткнулся на прикольный пост про (open source) reasoning OCR от NuMind🇫🇷.

Они зарелизили Image -> text авторегрессионный трансфорер который может "подумать" перед распознанием текста. Обучался этот ризонинг как обычно через GRPO. Говорят что это поднимает метрики в этой задаче, особенно в сложных документах.

Звучит довольно интересно, в каких еще задачах ризонинг может бустить метрики?

В твитере заметили интересный спайк на потреблении токенов моделями openai в опенроутере.

Вроде никаких релизов моделей в этот день не было, так что весьма вероятно что кто то большой генерировал очень много синтетики

получается, что большие AI компании в основном продают свои модели по API… другим компаниям с ЛЛМ, чтобы те генерировали кучу синтетических данных. Эти данные потом используют для обучения или дообучения новых моделей. Прибыль в отчетах растёт, за счёт этого привлекаются новые инвестиции, на которые снова покупаются токены друг у друга.

https://openrouter.ai/openai

А вот вам и просто айти пузырь

Я спросил GPT-5 как работает код, а она сгенерировала мне картинку с гайдом на социальную жизнь

https://chatgpt.com/share/68970994-d940-8003-93ac-16f4664d7182

Думаю релиз gpt-5 явно не оправдал всех ожиданий, это признал даже сама, сказав что они возвращают 4o в список моделей

https://x.com/sama/status/1953893841381273969

Хочу рассказать про Groq (не путать с Grok от Маска).
Около года назад он жутко хайпавали, а месяц назад компанию оценили в $6 млрд — примерно как NVIDIA 10 лет назад, хотя прошлый год они произвели всего несколько тысяч чипов.

Groq делает Language Processing Unit - специализированные процессоры для быстрого инференса LLM.
На больших моделях они выдают сотни токенов в секунду. Для примера — перевод моего прошлого поста на английский OSS 120b сгенерил за ~300 мс. У ChatGPT на это время даже не успевает рассчитаться KV-кеш и выйти первый токен.

Главная особенность — веса и KV-cache хранятся в большой SRAM прямо на чипе (~230 МБ на LPU) плюс небольшой объём сверхбыстрой регистровой памяти.
Модель разбивается на много LPU, и данные идут по стриминговому пайплайну — без постоянных обращений к внешней памяти.

Почему это важно: основное узкое место LLM — это доступ к памяти, а не вычисления.

На GPU:
1.Загрузить Q для нового токена из HBM
2.Загрузить K,V cache из HBM
3.Вычислить attention scores
4.Загрузить выходные проекции из HBM
5.Сохранить результат в HBM

На Groq LPU:
1.Q уже в SRAM в предопределённом месте
2.KV-cache тоже в SRAM, адреса известны заранее
3.Вычисления идут через streaming pipeline
4.Результат сразу передаётся в следующий слой без записи в память

Chat gpt мне привела интересную аналогию
• CPU — ресторан с поваром-универсалом
• GPU — кухня с несколькими поварами
• LPU — конвейер по сборке бургеров в McDonald’s, где каждый знает свою операцию и делает её за доли секунды.

Что бы все это попробовать не обязательно покупать/арендовать чип, есть облако, продающее токены
https://groq.com/

ВЫ БУДЕТЕ УМОЛЯТЬ МЕНЯ ПЕРЕСТАТЬ ПОСТИТЬ 🌒

К сожалению я немного непостоянный человек и часто забиваю на ведение канала. Что бы прибавить себе мотивации постить каждый день, я обьявляю себе челендж на ближайший 21 день - плачу 150 долларов (в виде кредитов на vast/ai/openrouter/любой другой сервис из аи пузыря) тому кто первый заметит что я пропустил постинг в какой то день и напишет это в коментарии под этим постом.
Игра началась!


P.S. Я живу по CET

Langchain стоит больше млрд долларов

import langchain

Неделю назад Langchain (да да, это та самая питон библиотека с попугайчиком который ни один вменяемый человек не пользуется) привлекла инвестиции по оценке в 1.1 млрд долларов. Это просто ошеломительная оценка для такого бизнеса, для примера - это почти как reddis год назад, но им пользуются вообще все)

Классический пример того, как в разгар AI-хайпа можно продать инвесторам даже обертку над обертками.

Вам тоже советую цепляться за ИИ хайп что бы урвать хотя бы кусочек эти этих миллиардов.

Решил немного поресерчить по тому, с чего вообще зарабатывает langchain. Глобально у него 2 продукта

1) LangSmith $12-16M ARR

Сервис для трейсинга ЛЛМок - что то типо datadog для ии. Можно смотреть "логи" вызовов моделей, системный промпты, тул колы итп. Это особенно важно когда у нас есть куча агентов которые вызывают друг друга, передают друг другу информацию, подставляют ответы друг друга к себе в контекст, и по обычным логом не разберешь почему оно иногда ломается.

2) LangGraph Platform <$1 M ARR

Думаю что все кто хоть раз писал агентов сталкивался с проблемой большого числа boiler plate кода

0) ретраи на все запросы к ллм
1) кастомные вызовы для всех моделей
2) передача контекста в цикле
3) достань положи историю переписки из бд
4) Написать очередное ветвление поведения по knowelage map


Они делают low code платформу, что бы вместо того что б написать if ... else ... ты пишешь что то типо

workflow.add_edge(START, "generate_query_or_respond")

# Decide whether to retrieve
workflow.add_conditional_edges(
    "generate_query_or_respond",
    # Assess LLM decision (call `retriever_tool` tool or respond to the user)
    tools_condition,
    {
        # Translate the condition outputs to nodes in our graph
        "tools": "retrieve",
        END: END,
    },
)

# Edges taken after the `action` node is called.
workflow.add_conditional_edges(
    "retrieve",
    # Assess agent decision
    grade_documents,
)
workflow.add_edge("generate_answer", END)
workflow.add_edge("rewrite_question", "generate_query_or_respond")

3) Еще есть магазин промптов LangChain Hub & LangChain Templates но это вообще не revenu driven продукт

Начинается начинается ранняя осень, самый активный сезон найма

Что бы вам было проще искать работу завайбкодил расширение hide_yandex которое скрывает вакансии одноименной компании на джобагрегатарах.

Самое интересное что оно было навайбкожено за один запрос в claude code. Opus-4.1 сам сходил на нужные сайты, изучил структуру их html и написал нужные фильтры. Думаю еще никогда раньше не было так же приятно кодить как сейчас)