Продолжаем грызть науку LLM-строения.
В прошлых 5 публикациях мы поняли, из каких кубиков состоит LLM-система. Сейчас пришло время из них что-то собирать.
А как собирать?

Тема 6. Этапы LLM-проекта

Я делю разработку на 4 этапа:

1) Бизнес постановка

2) Создание прототипа

3) Упрощение протототипа

4) Деплой системы и мониторинг качества

Бизнес постановка

Нам нужны частотные и дорогие задачи. Важно, чтобы была толерантность к ошибкам — близкое к 100% качество у LLM бывает разве что в простой классификации. Классические примеры:

- Бот поддержки клиентов — большой объем, средняя толерантность, средняя стоимость операции

- Copilot для разработчика — средний объем, высокая толерантность (copilot же), высокая стоимость операции

- Автоматизация документооборота— средний объем, средняя толерантность, средняя стоимость операции

Создание прототипа

Проблема подавляющего большинства ИИ-проектов: когда начинается плотная разработка никто не понимает, что надо сделать. И начинают выдумывать на ходу, когда надо не выдумывать, а надо уже делать. Подумать надо было заранее. И все ваше подумывание отразить в прототипе.

Цель прототипа: получить продуктовый ориентир, что наша система должна уметь. При этом там могут быть какие угодно большие модели, он может работать час на запрос и ломаться от промпт-инъекций. Не ругайте его. Он исправится на следующем этапе. Признак успеха этого этапа: человек, который делал бизнес постановку скажет: "вот сделайте такое, только быстро, и я буду счастлив".

Важно: прототип могут и должны собирать люди, которые участвовали в этапе бизнес постановки. Иначе у вас получится опять сферическая LLM в вакууме. Про это читайте пост.

Упрощение протототипа

Здесь сильные технические люди крутят-вертят LLM. Чтобы прототип не стоил, как запуск ракеты Илона Маска.
Большое разнообразие различных вариантов:

1) Дистилляция. Большие модели нужно сжать в модели поменьше. Качество может теряться, но если мы решаем конкретную узкую задачу, должно упасть не сильно. Вот тут подробный разбор метода.

2) Дообучение. Можно не дистиллировать, а просто взять модель поменьше. Но тогда придется их покрутить, так как они справляться будут хуже. Здесь приходит на помощь дообучение (особенно Reinforcement Learning). Вот тут много примеров по дообучению разных LLM разными методами.

3) Работа с контекстом окном. Убирание лишнего из контекста, суммаризация (я пока не устал шутить про контекст-инженера)

4) Оптимизации. Тут отдельный мир: размер батча/квантизация/спекулятивный декодинг. Про это есть отдельная методичка в этом посте.

И еще куча-куча всего. Тут живет мощная LLM-инженерия.

Деплой и мониторинг качества

Здесь происходит классическая разработка. Пишется сервис, в котором работает наша эффективная система. Самое важное: нам нужно контролировать качество этого сервиса. При чем не разово, а постоянно. Зачем?

Во-первых, мы могли где-то набагать при написании сервиса. Во-вторых, мы можем набагать попозже. И еще есть distribution shift, когда пользователи по-другому начинаются пользоваться системой, и она начинает хуже работать. Про это неплохо написано в моем любимом учебнике по DL.

Литература для обязательного изучения

- Довольно понятная (мне) моя статья. Часть материала пересекается с постом.

- Гайд, как быстро улучшать AI-продукты

- Очень крутая статья про мониторинг и distribution shift


Как всегда, жду вопросы в комментариях или в личных сообщениях.
Дальше будем разбирать методы оценки качества для LLM, готовьтесь.

#llm_system_design

Для подписчиков Claude введут недельные лимиты

Изменение войдёт в силу через месяц — 28 августа и будет касаться как подписчиков Plus так и подписчиков Max. По словам Anthropic, это нужно так как некоторые пользователи подписки Max используют запросов в Claude Code на десятки тысяч долларов по API прайсингу.

Сейчас лимиты полностью сбрасываются каждые 5 часов, после апдейта этот лимит останется, но поверх него будет введён новый лимит на использование, который будет сбрасываться раз в неделю. После достижения лимита продолжить пользователям предложат платить за API. По словам Anthropic, изменения заденут менее 5% пользователей.

@ai_newz

Microsoft начала тестировать в Edge режим Copilot — он добавляет в браузер ИИ-помощника, который умеет просматривать страницы, сравнивать содержимое вкладок, анализировать действия в интернете и помогать с бронированиями или покупками.

Пока он доступен бесплатно

vc.ru/ai/2126234

Кто-то собрал целую команду стартапа из Клод-агентов. Скачать бесплатно и без регистрации тут.

Жду когда он дособирает остальных

Notebook LM научили делать видео-овервью и другие апдейты. Собирает такие видео-презы с картинками, в анонсе выглядит прикольно, надо тестить

Блог заметка

Лёд тронулся, господа — WIRED пишет, что Meta планирует позволить кандидатам использовать ИИ во время собеседований по программированию.

— начать планируется не со всех должностей, требующих навыки программирования
— компания также предлагает существующим сотрудникам добровольно пройти «тренировочное собеседование с использованием ИИ-инструмента». Насколько я могу представить, это нужно для обкатки процесса, выявления лучших задач для интервью, лучших форматов, калибровки сложности, итд.
— представители компании заявили, что «это более соответствует среде разработки, в которой будут работать наши будущие сотрудники, а также делает мошенничество на собеседованиях менее эффективным»

Сам топик предоставления ИИ-инструментов для собеседований вызывает споры повсеместно. Оно и ясно —опытные программисты опасаются, что следующее поколение программистов будет больше склонна к «промптингу» и «вайбам», чем к непосредственно Software Engineering, и что они могут не знать, как устранять баги и проблемы в коде (который они же и сгенерировали).

Тут я на стороне прогресса — интервью точно должны измениться (привет, Cluely, и спасибо вам), и рад, что инициатива уже есть. В хорошие компании вне-FAANG собеседования уже несколько лет как ушли от «вот вам задача с литкода» к двум-трём более крутым, по моему мнению, типам:
— быстро разобраться в большом куске кода и сделать новую фичу
— найти и исправить баг(и) в предоставленном коде
— прочитать статью и имплементировать часть функционала / обсудить техническую составляющую

Все три гораздо ближе к той работе, которую приходится делать. При этом я прекрасно понимал, почему FAANG выбрал именно задачки на алгоритмы — им нужно масштабируемое решение с консистентной оценкой и минимумом субъективщины, да ещё и позволяющее оценить упорство в достижении цели. Я бы сказал, что это худший тип собеседований, если не считать всех других. Рад, что с приходом AI мы сможем подвинуть планочку поближе к real world tasks.

Репортуют, что Meta предлагала некоторым сотрудникам компании Миры Thinking Machines до $1 миллиарда компенсации за первые 4 года работы.

Звучит безумно и, скорее всего, преувеличено, но некоторые вещи это делает логичным:

1. AI создаст самые дорогие компании мира, потому что технология универсально полезна, нужна и каждый человек, бизнес, гос-во готовы за нее платить. Если Марк ожидает $2-3T прироста капитализации от нового бизнеса в этом направлении, то потратить ~10% на найм вполне оправдано, то есть у него бюджет $200 млрд на всю команду.

2. Сами деньги и экономика будет меняться по мере приближения и внедрения AGI. Финансовый капитал становится все более ценным по сравнению с количеством сотрудников, поэтому ваш нужен leverage и лучшие в мире. Но это не все. Технологический капитал (sota модели, дата-центры) становятся куда важнее, чем финансовый капитал. Есть много разных энтити с $10B кеша в мире, но очень мало кто может оперировать ДЦ на пару гигаватт. Поэтому инвестиции сейчас ценнее, чем в будущем.

Марк поделился своим виженом: говорит, их цель создать «сверх интеллект в кармане», чтобы каждый мог им пользоваться локально и без спроса.

Интересно, какую бизнес-модель они прикрутят сверху на это?

https://www.meta.com/superintelligence/

Предположение Люка Врублевски про изменение дизайн-разработка цепочки

Тем временем, гугл проиндексировал кучу расшаренных (не всегда публично) чатов в GPT. Там есть много очень приватной информации.

попробуйте с разными ключевыми словами, для меня интересно читать как люди общаются с ChatGPT, особенно на всякие дикие темы

Вагон и тележка крутых новостей и неожиданных обновлений, но пока — про функцию, которую я лично ждал даже не год (столько прошло с анонса), а всю жизнь.

Harmonize — простая функция в старом добром Фотошопе (бета) — берет и вписывает объект в сцену. Всё. Сколько часов жизни было потрачено на ручную ретушь, ЦК и проклятые светотени — не счесть. Теперь это секунда. Как говорилось в старой рекламе какого-то кваса: «Не кайф, а услада».

Этот стартап позволяет родителям выбирать генетические черты эмбриона. Например, риск хронических болезней, аутизма, шизофрении, раков, диабетов и даже уровень интеллекта ребенка.

Наверняка, в ближайшем будущем будет отдельная каста антиваксеров, которые будут безосновательно топить против генной инженерии, а в итоге будущие поколения будут платить за лечение этих сложных болезней.