Места в закрытом пуле AI-специалистов для выпускников моих тренингов

Друзья, небольшой анонс. Вы все знаете, что я много сил вкладываю в свои тренинги по AI для личной эффективности и AI продакт менеджменту.

Сотрудничество с Глебом позволило мне больше сосредоточиться на контенте и образовательном опыте и меньше думать о маркетинге. Но я не останавливаюсь и ищу новые сотрудничества. На этот раз - это партнерство с платформой Профессионалы 4.0.

Данная платформа - это маркетплейс проектов для специалистов, клиенты - крупные компании вроде Сибура, Росатома, EY, Газпрома и многие другие. Чек начинается по 500 000 рублей и доходит до нескольких миллионов. Проекты можно выполнять как соло, так и командой, если вы - ИП.

Так вот, ВСЕ выпускники любого из моих тренингов получают доступ к закрытому пулу специалистов с компетенциями в AI. На данную категорию большой спрос, а конкуренция довольно низкая, так как спецов мало. Так что, если вы - крутой специалист, вам хочется прокачать себя в AI и дальше работать в этой сфере, то данный бонус для вас.

Я продолжаю искать новые партнерства и делать свои тренинги полезными не только с точки зрения знаний, но и с точки зрения бонусов для выпускников.

Если вы хотите записаться на какой-то из них - это можно сделать по ссылке. Завтра стартует 4 поток по личной эффективности!

Годнота от моего коллеги, все как вы любите 🙂 Кстати, очередной повод подписаться на Рефата.

Собрал официальные гайды по промтоинжинирингу от OpenAI, Anthropic и Google в один NotebookLM

Можно чатиться с этой базой знаний, задавать вопросы и получать ответы на основе официальных источников. Делал для себя, делюсь.

Ссылка: https://notebooklm.google.com/notebook/3e7759a8-ec71-4867-9a1f-41344a0ff498

Просто кидаешь вопрос в ноутбук типа "как настроить temperature для креативных задач" или "покажи пример few-shot промта для классификации" - и получаешь конкретный ответ со ссылками на источники.

Пользуйтесь, копируйте себе, делитесь своими ссылками в комментах, буду дополнять.

Перевод курса “AI-грамотность” от Anthropic с дополнениями - часть 6

Финальная лекция курса! Последняя тема - “Добросовестность”. Здесь все про этику, безопасность данных и ВАШУ ответственность за результат работы с ИИ.

Очень много примеров и деталей в NotebookLM, поэтому рекомендую ознакамливаться именно с подкаста. Текст в этот раз скорее конспект 🙂

Позже выложу итоговый пост со всеми лекциями и викториной, пройдя которую вы сможете получить сертификат от Anthropic. Пост уйдет в закреп и его можно будет пошарить)

👉🏻 Содержание лекции с моими дополнениями
🎧 Подкаст в NotebookLM
🔗 Ссылка на подкаст для тех, у кого не работает NotebookLM
✍️ Тетрадка NotebookLM
📄 Переведенные материалы и упражнения

📌 Предыдущие лекции курса:
1. Лекция 1 - Введение в ИИ-грамотность и фреймворк 4D
2. Лекция 2 - Погружение в генеративный ИИ и LLM.
3. Лекция 3 - Делегирование
4. Лекция 4 - Описание и эффективный промптинг
5. Лекция 5 - Оценка и цикл оценка-описание при работе с ИИ

#обучающиематериалы@NGI_ru

Мой опыт использования DeepSeek для серьезных задач и в проектах

Когда в начале этого года вышла DeepSeek R1, многие радовались выходу этой модели, говоря, что “вот она, замена GPT o1” в бенчмарках работает наравне и вообще классная модель. Изначально я отнесся к таким заявлениям скептически.

Сам DeepSeek я использовал от силы две недели, и модель меня вообще не удовлетворила. По уровню ответов модель отставала в моих задачах от Gemini и GPT года на полтора, плюс к этому, сама скорость ответа меня не удовлетворяла из-за очень долгих размышлений, бонусом к этому шли рандомные иероглифы. И если с точки зрения вклада в развитие AI и новых методов обучения DeepSeek делает реально крутые штуки, то с точки зрения реального пользования модель оказалась для меня бесполезной. Просто потому что я привык использовать лучшее и у меня есть доступ к этому лучшему.

Однако, это были мои личные задачи, и наиболее объективно на места все расставляет все же время. Прошло уже полгода с момента выхода R1, и что мы видим?
- Трафик у DeepSeek ожидаемо пошел на спад;
- Cкорость ответа из-за нагрузки в сервисе еще дольше;
- Часть сложных запросов заканчиваются ошибками.
- Кроме того, модель является самой цензурированной. Попробуйте спросить у нее, чей Тайвань или другая спорная территория 🙂

Но модель же OpenSource, скажете вы. Действительно. DeepSeek можно развернуть у себя на сервере, но много ли вы видели кейсов? Мне известен только один - Perplexity на волне хайпа в начале года очистили от цензуры захостили модель у себя, после, выложив ее в опенсорс. Много ли вы ей пользуетесь? Уверен, что большинство использует либо DeepResearch либо предпочитает другие модели, вроде Claude и Gemini, ибо зачем выбирать то, что работает хуже?

В остальных случаях я вижу просто повальное доминирование QWEN. У себя в проектах мы используем QWEN, Тинькофф Банк использует QWEN, в Avito - QWEN. Никто не использует DeepSeek, потому что в малой размерности эта модель оказывается еще тупее, а ее Reasoning нельзя отключить. В итоге, на выходе мы получаем тупую модель, которая спамит иероглифами, и к тому же, нереально долго отвечает.

Может быть, DeepSeek лучше работает с задачами для Китая?
Ко мне попал проект, тесно связанный с китайской культурой, и логично было предположить, что вот тут-то DeepSeek преуспеет. Но нет, проблема не в языке. Эту модель нереально сложно промптить. Чтобы создать ассистента на базе нее и добиться выполнения определенных флоу - ей нужно писать просто ОГРОМНУЮ, максимально подробную инструкцию. Если не прописать детали - она просто ей не следует нормально. Также, в процессе модель путает языки. Ситуация становится чуть лучше, если писать промпт на китайском, но даже тогда, в выдаче она периодически выдает символы и фразы на английском. Модель ужасна в плане следования инструкциям. Я не помню, чтобы писал такие подробные инструкции со времен GPT 3.5, и то, она мне казалась умнее. В данном проекте в итоге мы частично заменили DeepSeek на QWEN, дальше планируем окончательно выпилить DeepSeek оттуда.

В общем, вся история с DeepSeek с точки зрения практического использования оказалась просто хайпом. Если у вас нет доступа к нормальным LLM, то да, это лучше, чем ничего, хотя я настоятельно рекомендую попробовать QWEN, по моим ощущениям, она отстает от западных аналогов где-то на 8 месяцев, а не на 1.5 года. Но если у вас есть доступ к топовым моделям, вы просто не захотите возвращаться к китайским моделькам.

Умрет ли Perplexity?
В последнее время я все чаще вижу мнение о том, что время Perplexity прошло. Сторонники этой позиции аргументируют все тем, что функции AI-поисковика уже интегрированы в LLM, при этом качество поиска в Perplexity местами проигрывает LLM, а ссылки на первоисточники сервис выдает некорректные. Другой популярный аргумент, говорящий о том, что “компания нездорова” - это количество бесплатных подписок, раздаваемых на сервис в рамках разных кампаний, мол, у ребят настолько все плохо, что люди будут пользоваться их продуктом либо за дешево либо бесплатно. На другой чаше весов - продолжающиеся раунды инвестиций и куча восторженных отзывов от простых пользователей (посмотрите в том же App Store). Но будет ли Perplexity жить?

На мой взгляд - да. И первая причина - диверсификация. Perplexity постепенно отходят от концепции просто умного поиска. Недавно анонсированный агентский режим Labs - тому подтверждение. А ведь есть еще крутой голосовой режим, Spaces и куча других функций. Помимо этого, у компании есть планы по выпуску собственного ультра-персонализированного AI-браузера.

Вторая причина - помощь регуляторов. Уже сейчас тех же Google они довольно активно жмут. Монополизация поиска, околомонопольная ситуация с браузерами и попытки заставить компанию продать Chrome, вместе с наличием у Perplexity альтернатив по обоим фронтам, дают компании шансы отхватить свою долю рынка.

Третья причина - хороший UX. В плане UX, на мой взгляд, Perplexity сейчас делают наиболее удобный продукт. То же наличие приложение для ПК - очень жирный плюс, сюда же идут голосовой режим и особенности организации рабочего пространства против просто списка чатов у той же Gemini. При всей моей любви к Gemini, Perplexity для меня тупо удобнее, в том числе, благодаря шорткатам.

Четвертая причина - потенциальные партнерства. В последнее время мне все чаще попадается информация о возможном сотрудничестве Perplexity с Samsung и Apple. У компании есть потенциал захватить весь рынок яблочных устройств и довольно жирную долю Android и Windows, если это случится. Кроме того, отставание Apple в AI гонке может вообще побудить компанию к покупке Perplexity, чтобы предлагать лучший опыт своим пользователям эксклюзивно.

Пятая причина - выбор делают пользователи. Обычно Perplexity ругают те, кто разбирается в AI, но что покупать решает всегда конечный пользователь. Для простого пользователя неважно, какие у моделей метрики, сколько ссылок модель дала лишних. Им важны их пользовательские сценарии. В Perplexity вы без ограничений можете использовать модели от OpenAI, Anthropic, Google, DeepSeek, когда надо - вызвать на помощь агента из Labs, использовать Voice Mode в качестве голосового ассистента на своем смартфоне, организовывать командные проекты в Spaces и так далее, и компания не планирует на этом останавливаться

Поэтому, на мой взгляд, у Perplexity довольно светлое, хоть и не безоблачное будущее :)

Как написать промпт для LLM, когда вам нужен ответ по определенному формату

Промпт инжиниринг - не самая простая штука. Если вы хотите сделать какой-то продукт - вам все равно придется погружаться в тонкости работы LLM и различные стратегии.

Но давайте признаем: не каждый из нас здесь будет сам писать промпты для какого-либо AI продукта, гораздо чаще встречается сценарий, когда мы пишем промпты для каких-то своих повторяющихся операций (делаем ИИ-ассистентов). Сегодня я поделюсь с вами тем, как оптимизирую данный процесс.

Одна из базовых стратегий промпт инжиниринга, которую должен знать каждый - это Few-Shot промптинг, когда мы даем модели несколько примеров того, что мы хотим получить, а потом она отвечает нам по заданному формату. Однако кто много работал с LLM - знает, что даже при качественном Few-Shot - модель может отклоняться от формата. Связанно это с тем, что LLM по своей природе недетерминированны. Чтобы бороться с этим можно замиксовать Few-shot с другими стратегиями, поиграться с примерами, а можно сделать проще.

Reverse Prompt Engineering - мой первый выбор, когда мне нужен результат по определенному формату. Данная стратегия предполагает, что хоть мы и воспринимаем LLM как черный ящик, за кулисами все равно имеется какая-то логика, по которой модель принимает и обрабатывает наши запросы. В процессе ответа она ищет семантически наиболее вероятный ответ. На это мы и будем делать упор.

Вам понадобится:
1. LLM
2. 3-5 примеров выхода модели
3. 5 минут вашего времени

Алгоритм действий:
1. В LLM закидываем следующий промпт:

Ты - первоклассный специалист по написанию промптов. Мне нужно написать промпт для ИИ-ассистента, который будет помогать мне с [вписать вашу задачу], он должен принимать на вход следующие данные [сюда вписывайте, что будете скармливать LLM]. Вот пример желаемого ответа: [сюда вставляете свой пример]. Напиши 5 вариантов промптов, которые могли бы использоваться для такого ассистента. 

2. Получив свои 5 вариантов, закидывайте в LLM следующий пример с вот таким промптом:

Вот еще один пример ответа [сюда вставить пример]. Из тех 5 промптов, что ты сгенерил, оставь только те, которые подходят и для предыдущего ответа и для текущего. 

3. Повторяем операцию #2 с оставшимися примерами. Полученные промпты пробуем использовать для решения своей задачи в новом окне. Если вам что-то не нравится - возвращаемся с обратной связью в то окно, где создавали промпты и просим доработать
4. Полируем финальный промпт руками (опционально).

Почему это работает?
Давая модели больше вариантов ответа постепенно, мы сокращаем наименее вероятные промпты, чем больше примеров дадим - тем точнее будет финальный промпт. В процессе можно еще просить его доуточнять после нескольких итераций. Почему не кинуть все примеры сразу? Потому что COT-промптинг работает лучше zero-shot-а :)

Данная стратегия может использоваться и как стартовая точка в промптинге ИИ-ассистента для вашего AI-продукта, но это уже другая история :) Пользуйтесь!

Перевод всех лекций курса Anthropic по ИИ-грамотности с моими дополнениями и бесплатный сертификат

Как и обещал, пост с оставшимися материалами и сертификатами по результатам его прохождения.
В последней лекции Anthropic дают довольно большой набор упражнений. PDF-файл с ними вы можете найти по следующей ссылке. В этом посте решил собрать сразу все + добавил небольшой бонус от себя.

🎓 Лекции
Лекция 1 - Введение в ИИ-грамотность и фреймворк 4D
Лекция 2 - Погружение в генеративный ИИ и LLM.
Лекция 3 - Делегирование
Лекция 4 - Описание и эффективный промптинг
Лекция 5 - Оценка и цикл оценка-описание при работе с ИИ
Лекция 6 - Добросовестность при использовании ИИ

📄 Сертификаты
Сертификат от Anthropic - для того, чтобы получить сертификат от самих Anthropic вам достаточно будет заполнить эту форму. Форма на английском, поэтому я сделал для вас переведенную версию в Perplexity Labs. Если вы не знаете английского, то можете предварительно протыкать русскоязычную версию, в ней точно такой же порядок вопросов и вариантов ответов. Единственный минус сертификата то, что он не является именным, но мы это исправим 🙂

Сертификат от меня - в комментариях и в личке вы просили, чтобы я сделал сертификат еще от себя, поэтому пройдя этот курс, вы можете получить сертификат от NGI Academy. Все, что для этого нужно сделать - запустить вот этого бота @NGI_Anthropic_bot и пройти более сложную версию квиза. В боте более 200 вопросов по всем материалам, включая дополнительные, вам нужно будет ответить на 20 случайных, если наберете 16 баллов - получаете именной сертификат.

Как обычно, просьба одна: делитесь данным постом со знакомыми, сохраняйте себе, ну и пользуйтесь полученными знаниями 🙂 В будущем планирую публиковать больше контента

#обучающиематериалы@NGI_ru

Кейс: как Cursor облажались с выбором бизнес-модели и ее трансформацией

Среди AI-тулов сегодня очень популярна модель "заплати 20 баксов и получи Х быстрых запросов и безлимит на медленные". Это понятная для конечного пользователя формула, которая неплохо помогает расти, пусть для самих компаний она явно убыточна.

Большинство ИИ-стартапов просто прожигают инвестиционные деньги с целью захвата доли рынка и увеличения пользовательской базы. Такое не могло продолжаться бесконечно и должен был найтись кто-то, кто покажет "как правильно начать генерировать прибыль". Вместо этого - нам показали "как делать не надо" :D

Что произошло?
У Cursor - самого популярного ИИ-редактора кода пару недель назад сменилась бизнес-модель. Если раньше давали 500 быстрых запросов и безлимит на медленные, то сейчас компания сказала, что лимиты будут динамическими. В первичном сообщении говорилось, что для конечного пользователя такая формула даже лучше. Помимо этого, компания убрала ограничение на 25 вызовов инструментов за один запрос.

В итоге, спустя неделю многие пользователи начали сообщать, что получают сообщения о том, что их лимит выгорел за неделю, а у кого-то осуществился даже перевод на тариф Pay As You Go, где оплата идет по количеству запросов.

4 июля компания выпустила пост с извинениями, где пояснила: теперь вам дается 20$ на запросы по цене API и этого хватит 225 запросов к Sonnet 4, 550 Gemini и так далее. Но лучше от этого не стало :)

В чем проблема?
Говоря прямым языком - Cursor жестко обосрались, наступив на типичные AI-грабли!

Помимо кривой коммуникации и сложности понимания новых тарифов для пользователя (они даже сейчас не так прозрачны), были вещи куда хуже.

Ошибка 1: они сформировали у пользователей губительную для себя модель поведения. Мол, ты задавай сколько угодно запросов, исчерпаешь - не парься. Люди ПРИВЫКЛИ к халяве, сформировав паттерн поведения, а теперь у них начали просить деньги за то, что раньше было бесплатно. Усугубило ситуацию отключение лимита на вызовы инструментов, Sonnet теперь может прожечь ВЕСЬ ВАШ ЛИМИТ за ОДИН ПРОМПТ!

Ошибка 2: они не образовывали свою аудиторию. Объективно говоря, их ключевая ЦА - разработчики, а разработчики в абсолютном своем большинстве не умеют писать промпты, просто потому что для этого нужны менеджерские навыки. Второй их сегмент - вайбкодеры, которые пишут код "тупо на вайбе" и не парятся с запросами. В итоге в лимиты уперлись ВСЕ! Гайды по промтингу, написанию Rules и стратегиям экономии на сайте найти ОЧЕНЬ СЛОЖНО. Вот и результат!

Ошибка 3: неверно выбранная бизнес-модель. В сочетании с ошибками выше просто нельзя было так сильно резать базовый тариф. Гораздо лучше сработало бы ограничение по моделям, например, ограничить использование Sonnet, убрать условный безлимит, оставив 500 запросов и делать это постепенно. Либо можно было изначально работать исключительно по модели токенов, как это делают Bolt, где подписка дает тебе определенное количество токенов, если исчерпал - можешь докупить. Кстати, Bolt еще хорош тем, что у него просто куча инструкций и гайдов по промптингу, в отличие от Cursor.

Все перечисленное привело к оттоку юзеров и куче возмущений. И теперь интересно две вещи: будут ли Cursor делать что-то еще и научатся ли другие на их горьком опыте?

Друзья, вижу поддержку с вашей стороны в конкурсе, хотя я даже не говорил о начале головования 😅 Оказалось, что я сейчас лидирую, благодаря вам!

Нужно удержать лидерство 🙂 Победа даст мне прирост трафика в канал, а вам - больше контента.

Как меня поддержать всего в два действия:
1. Подписаться на канал конкурса https://news.1rj.ru/str/tg_contest_main и быть подписаным на мой канал
2. Заполнить форму, выбрав в списке “NGI | Влад Корнышев про AI и создание AI-продуктов” и указав свой ник в telegram обязательно через @, вот так @vladkor97.

Буду очень благодарен каждому. Конкурс продлится до 14 июля!

🔥 Итоги первого дня голосования! 🔥

Гонка началась, и сразу видно — у некоторых каналов очень активная и лояльная аудитория. Вот номинации, где уже вырвались уверенные лидеры:

Карьера — @fearstop
Образование и книги — @voice_and_life
Юмор — @bogdan_e
Психология и саморазвитие — @molodayamat50
Дизайн — @AngelTDesign
AI и инновационные технологии — @NGI_ru
Разработка и управление командой — @teamlead_stories
Продажи и маркетинг — @ignatova_mr_protexti

В остальных номинациях пока идёт плотная борьба — голоса распределяются равномерно или их ещё недостаточно, чтобы выявить явного лидера.

💡 Обратите внимание: в лидерах не самые крупные каналы, а те, чья аудитория действительно готова голосовать и поддерживать. Лояльность решает!

🖱 Теперь на сайте конкурса можно кликнуть по названию номинации и сразу перейти к списку каналов и форме голосования. Удобно!

⏳ До конца голосования — ещё 6 дней. Всё может поменяться. Вперёд за победой!

Технический продакт как одно из самых востребованных направлений
Я уже как-то писал про то, как изменится продакт менеджмент. Пост все еще актуален, кто не читал и видит свою карьеру в этой сфере - рекомендую сделать это :) А сегодня я хочу поговорить об отдельном навыке, а именно - технической подкованности.

Здесь я имею ввиду не базовую техническую и AI грамотность, а более глубокий набор навыков, в частности:
- понимание типов ИИ и особенностей их функционирования;
- умение работать с кодом на уровне "я могу собрать MVP продукта в соло с помощью ИИ";
- понимание основ кибербезопасности, базовое понимание протоколов шифрования и защиты данных;
- понимание базовых принципов Data Science, особенностей сбора датасетов и тестирования технических гипотез;
- понимание что такое RAG, чанки, эмбединги и все, что с ними связано;

И многое другое...

В общем-то, мы должны осваивать те навыки, которыми владеют разработчики. Почему так? Потому что ИИ делает их для нас доступными.

Если раньше нам нужно было формировать насмотренность и опыт через взаимодействие с командой, чтобы понять, насколько корректно разработчик оценивает сроки выполнения задачи, то сейчас мы можем формировать понимание сложности задачи самостоятельно.

Если раньше нам надо было неделями ждать нового прототипа, то сейчас мы можем сделать его за один день.

Если раньше мы могли полагаться исключительно на мнение разработчика при проектировании архитектуры какого-то сервиса, то сейчас мы можем прототипировать разные архитектуры и технические решения самостоятельно, понимая их плюсы и минусы. И так можно продолжать до бесконечности...

Что нам это дает?
Во-первых - общий буст в Time To Market, т.к. мы ускоряем базовые процессы разработки продукта.

Во-вторых, спустя какое-то время вы сможете общаться с командой разработки на одном языке и бустанете сам процесс разработки. Но не в стиле критики: "зачем ты выбрал это решение, а не это", а скорее "я тут пробовал такой-то метод, что думаешь по его поводу, подойдет ли он нам?". Здесь играет банальный человеческий фактор: ваш разработчик мог просто забыть о чем-то простом и элегантном, что является ключом к разрешению проблемы.

В-третьих, понимая технические особенности процесса - вы сможете грамотнее ставить бизнес-цели. А это дает огромное количество плюшек, начиная с счастливой команды и респекта от разработчиков и заканчивая возросшими бизнес-метриками. Лучшие стартапы делались через сочетание технической и бизнес-экспертизы, а сейчас возможность сформировать и ту и другую в себе как никогда доступна.

В-четвертых, вы защитите свою команду от нереалистичных требований внутренних и внешних заказчиков, зная, как все работает изнутри. Кроме того, вы ускорите коммуникацию с заказчиком, так как вам нужно будет реже ходить к разработке, "чтобы что-то уточнить".

В-пятых, вы повысите свою ценность в глазах руководства. Командные игроки, которые в случае необходимости могут затащить в одиночку всегда ценились, так будет и дальше.

В общем, качайте технические навыки, проходите курсы, пробуйте кодить сами, общайтесь со своими разработчиками, задавая им глупые вопросы, и на дисанции вы увидите эти и многие другие плюшки.

Как LLM косячат в человекоцентричных задачах

Для меня LLM стали незаменимым инструментом в задачах, где мне нужно обрабатывать большие массивы информации. Благо, подобных у меня, как у продакта - довольно много: исследования, интервью с пользователями, отзывы и обратная связь на разрабатываемые продукты и много чего другого. Благодаря им я трачу в десятки раз меньше времени на все эти операции, но здесь не обошлось без ложки деготя…

Многие знают, что LLM склонны галюцинировать. С этим можно и нужно бороться через контроль температуры, правильный промпт-инжиниринг и управление контекстом, например, как я делаю при чтении с ИИ. Однако с последним поколением моделей вроде GPT o3, Gemini 2.5 PRO и Sonnet 4 проявляется проблема похуже.

Суть проблемы
В последние месяцы я активно использовал LLM для всего того, что описал выше, и заметил, что указанные мной модели как никогда сильно косячат в задачах, где важно человеческое суждение: эмоциональный интеллект, оценка soft skills, анализ обратной связи. Я неоднократно повторял, что ИИ и эмпатия несовместимы, но сейчас ситуация стала хуже и нам нужно быть еще внимательнее.

Вот лишь несколько моих кейсов, где модель была неправа:
⁃ классифицировала положительные отзывы с развернутой ОС про “что можно сделать лучше” как негативные;
⁃ 3 из 3 раз проигнорировала софт-скиллы кандидатов;
⁃ загнобила меня за сообщение с конструктивной критикой, сказав, что я токсичный 😁;
⁃ 100 раз назвала меня гениальным, после того, как я исправлял ее ошибки;
⁃ многократно доказывала мне, что я не прав, отказываясь давать заднюю даже при сильной аргументации.

Почему это происходит?
Виной всему Reinforcement Learning (RL).. На этом уже спотыкались OpenAI, когда их обновление GPT 4o сделало модель подлизой и ее пришлось откатывать. RL сейчас активно применяется для обучения моделей, и одной из побочек здесь является то, что в процессе обучения модель учится достигать своей цели любыми доступными способами. Поэтому, когда модели на вход подается информация, где нет единственного правильного ответа - она просто пытается зацепиться хотя бы за что-то, чтобы спрогнозировать “правильный” по ее мнению ответ. Выражается это либо в гипетрафированных “эмоциях” либо в том, что модель просто решит их игнорировать.

Как с этим бороться?
1. Управляйте семантикой - не давайте в своих промптах оценочных суждений. Не спрашивайте модель “хорошо ли я сделал?”. Модель будет цепляться за ваше “хорошо” и это уже будет влиять на ее ответ. Вместо этого пишите “дай взвешенную оценку, включающую плюсы и минусы”.
2. Не верьте первому ответу - модель будет лениться. Задавайте уточняющие вопросы, спрашивайте, насколько модель уверена в своем ответе.
3. Просите модель покритиковать свой же ответ - пусть LLM сама проанализирует свой ответ, следующим шагом попросите ее доработать свой первоначальный ответ, учитывая эту ОС.
4. Используйте предыдущие версии моделей - в тех задачах, что я описал, они справляются лучше. Гораздо проще переключить на Gemini 2.0, чем по 100 раз даблчекать результат.
5. Опирайтесь на собственное мнение и формируйте его ДО того, как увидите ответ LLM - вы несете ответственность за результат работы с ИИ. О человеческом должен судить человек, а не машина.

В комментариях делитесь, какие у вас были кейсы, когда LLM ошибалась в чем-то подобном!

Открытый практикум по управлению контекстом LLM

21 июля, в 19:00 по МСК, прямо здесь я проведу открытый практикум по управлению контекстом при работе с LLM!

Последний месяц я прямо очень плотно погружен в тренинги: сейчас у меня идут параллельно B2C потоки по обоим и пара корпоративных потоков (поэтому постов стало меньше). За это время я ответил на кучу вопросов, проверил несколько десятков домашек, и вот что я заметил. Промпт инжиниринг - это, конечно, хорошо, но управление контекстом, являющееся одной из его ключевых составляющих, как показывает практика, страдает у многих. По этому поводу я решил провести вебинар по этой теме! Эфир, как и всегда, бесплатный.

На эфире разберу:
1. Как понять сколько контекста нужно LLM?
2. Когда контекст нужен, а когда наоборот лучше от него избавиться?
3. В каких задачах контекст вообще не поможет?
4. Что говорят в исследованиях?

Прошлый эфир в пике набрал около 200 человек, на этот хочу пробить отметку в 400. Делитесь этим постом с другими: это поможет мне пробить целевую отметку 🙂

Если повезет - притащу с собой второго спикера. Приходите, будет интересно!

Учимся делать продукты, играя в игры

У меня был период в карьере, где игры являлись неотъемлемой частью моего рабочего процесса - когда я работал с VR в Pearson. Но все остальное время для меня это хороший способ отдохнуть и переключиться.

С детства я играл в разные игровые приставки, какие-то были у меня, какие-то - у друзей, но из всего, что я пробовал - особое место всегда занимали игры от Nintendo. И сейчас, уже во взрослом возрасте, со своей профессиональной деформацией, я понимаю, что происходит это из-за того, что японцы круто умеют делать две вещи: продукты, которые нравятся людям, и зарабатывать деньги на этом 😎 И я не совру, сказав, что я не просто играю, а учусь различным продуктовым и бизнесовым механикам на их примере.

Что делают круто?
1. Идеальная сегментация и позиционирование. 152 млн. проданных Nintendo Switch говорят о многом. У компании четкое позиционирование Switch как гибридного устройства для всей семьи. В Mario и Zelda интересно играть всем и везде: от детей 5 лет, для которых это понятные и веселые персонажи, до 40-летних мужиков, которые ловят ностальгию по своим первым приставкам и восхищаются игровыми механиками. На рынке нет ни одной консоли, которая может предложить то же самое. У Nintendo работает связка консоль + игры. Вы можете сделать сколько угодно гибридок, но на них не будет игр от Nintendo 🙂

2. Сумасшедший Retention. Сами игры построены так, чтобы в них возвращались бесконечно. Едешь 5 минут в маршрутке - вот тебе маленькая головоломка в The Legend of Zelda, отдыхаешь после работы - вот тебе квест на 3 часа. Играя в игры Nintendo, ты чувствуешь, что ты именно играешь, а не проходишь игру. Это то чувство, которое многие оставили в детстве, перейдя во взрослую жизнь, где нужно решать проблемы. Nintendo его возвращают: люди наигрывают в Зельду и Animal Crossing по 500+ часов. Фишек, способствующих этому огромное множество. Если хотите увеличить Retention своего продукта - посмотрите и вдохновитесь серией от самих Nintendo, где они рассказывают про применяемые механики, вы увидите кучу коммерческих продуктов не из геймдева, которые их применяют 😁

3. Nintendo научились выводить продукты на рынок. Сейчас вышла Switch 2, которая побила все рекорды по продажам. В США и Японии ее не купить, в России и ЕС ситуация лучше, но один из ключевых рынков - все-таки Штаты. Блогеры хаят компанию за слабую стартовую линейку игр, мол, из новинок только Mario Kart, а Cyberpunk 2077 никому не нужен, т.к. все прошли ее на других консолях.

А теперь внимание: предыдущая версия Mario Kart продалась тиражом 68 млн (6 место самых продаваемых игр в истории), а сама игра является бесконечной и в нее будут играть в течение всего жизненного цикла консоли, в том числе, благодаря механикам. В мультиплеерных играх Nintendo всячески помогает тем, кто играет хуже, уравнивая шансы игроков на победу, таким образом, обеспечивая конкурецию и желание побеждать для каждого. Что касается Киберпанка - во-первых, часть владельцев Switch в нее нигде раньше не играли, во-вторых, цель данной игры - скорее быть бенчмарком и показать разработчикам способности Switch 2, чтобы привлечь больше сторонних проектов.

Через месяц Nintendo выпустят новую Donkey Kong, но блогеры жалуются, что могли бы это сделать на старте. Да, могли, если бы хотели меньше заработать. Nintendo взяли свой самый большой целевой сегмент и дали то, что им нужно: самую продаваемую игру и хайповую кросс-платформу, в которую мало кто играл, а остальные игры раскидали релизами в течение года. Почему раскидали? На старте люди и так тратят на консоль и 2 игры около 550 баксов. Давая большой выбор на старте - вы понижаете совокупные продажи каждой из них, т.к люди будут не покупать еще одну игру сверху, а выбирать между тем, что есть. Если же игры раскидать - за месяц аудитория пройдет то, что есть и накопит денег на что-то новое. С большими суммами проще расставаться постепено 😄

Можно ненавидеть Nintendo, но с рынком и своими продуктами они работают лучше всех, чему стоит поучиться. А я пока пойду поиграю в Switch 2, подаренный моей женой 🤍

Завершился худший конкурс ТГ-каналов

Ну что, закончился конкурс, о котором я писал ранее. И худший он не потому что я не выиграл, но теперь я могу излить весь негатив, будучи уверенным, что он не повлияет на результаты.

Рассказываю, почему конкурс - худшее, что я постил к себе в канал.

Во-первых, организаторы не соблюли свои же условия: писали, что минимальный порог подписчиков для участия - 200 человек, а посты будут отбираться. В большом канале я видел репосты с каналов с 39, с 60 подписчиками, а сами посты были максимально стремного содержания: мат, отсутствие информационной ценности.

Во-вторых, отсутствие прозрачности: непонятны критерии отбора и непонятны результаты. Например, для меня искренне непонятно, как я лидируя 5 дней подряд не оказался в числе двух победителей :)

В-третьих, все было в кучу. AI, психология, шутки за 300, что-то там про бизнес. Канал, в котором проводился конкурс, превратился в огромную помойку. Я раз за разом пытался найти там что-то стоящее, но заходил, офигевал от треш-постов вроде этого или этого, закрывал канал. Извините конечно, но я считаю, что такое и посты, которые несут пользу, не могут находиться в одном канале. Быдла у меня и у подъезда достаточно. Из авторов я бы выделил Настю и Константина. Этих ребят приятно читать, и я очень рекомендую на них подписаться.

В-четвертых, из нашей категории практически не было репостов. Про AI репостнули кого угодно, кроме тех, кто про него реально пишет. У Константина репостнули только один пост, у Насти - я не увидел ни одного. У остальных участников - точно аналогично (может упустил). В чате направления мы возмущались по этому поводу. Результат такой, что нам сказали "да, мы облажались", исправим в следующий раз. Ребята, исправлять надо не в следующий раз, а в процессе. Если вы не успеваете - продлите конкурс на неделю. Я предлагал сделать отдельные посты для каждого автора, это проще простого сделать через LLM. Но организаторам важнее было формально провести конкурс, чем что-то делать.

Итого, в очередной раз убеждаюсь, что подобного рода конкурсы - это помойка. Куда лучше старые-добрые коллаборации и платная реклама.

Вижу, что открыл портал в ад.

Ещё раз увижу любое оскорбление в свой либо в чей-то ещё адрес - все участники улетят в бан. Кто с моим мнением здесь не согласен - вы либо выражаетесь нормально либо валите из канала.

Это мой канал, где я выражаю свое мнение, и я никому не позволю указывать мне, как и что писать.

Почему AI не нужен 99% бизнеса

Эта тема настолько масштабна, что мы с коллегами планируем по ней отдельный эфир. Однако количество запросов на ИИ сейчас так велико, что захотелось перечислить основные причины.

Итак, в чем же проблема?
Отсутствие у менеджмента понимания ИИ. Сейчас мы находимся на волне GPT-хайпа. Однако LLM≠ИИ. Большая часть людей, включая ЛПР, не имеют представления, что такое ИИ. Они идут в ChatGPT, задают какой-то базовый вопрос получают ответ, и вешают на GPT ярлык ИИ общего назначения, который может все. Помню, как в Skyeng в 2022, когда начался тренд на сокращения, несколько топов бегали с идеей засунуть везде GPT и сократить штат 😁 Вот так и рождаются запросы на впихнуть GPT в 10 сценариев, из которых 9 будут абсолютно бесполезны либо просто прожгут бюджет.

Менеджмент далек от линейных сотрудников и думает, что ИИ все решит. Как правило, ЛПР мало чего знают о том, что происходит "в полях". Чем круче ты менеджер - тем ниже у тебя осведомленность. Это не упрек в сторону управленцев, это естественно для иерархичных структур. Отсюда, вместе с пунктом 1, возникает ощущение, что "вот здесь ИИ" точно поможет. Но зачастую это вообще не так. Зная поверхностно о проблеме ты предлагаешь поверхностные решения, леча симптомы, а не первопричину.

ИИ не решает вашу проблему, если вы не пробовали решать ее иначе. В моем фреймворке AI-дизайна продукта один из вопросов, на которые нужно ответить на стадии инициации - это "Какие есть альтернативные способы решения данной проблемы?". Следующий вопрос: "Чем плохи эти альтернативы?". Как правило, те, кто хотят ИИ, эти вопросы даже себе не задавали, хотя есть куча способов решения их запроса быстрее и за меньше денег. Это может звучать странно от человека, который зарабатывает на ИИ, но нам интереснее работать над проектами, которые помимо денег еще несут и пользу.

Отсутствие опыта внедрения ИИ. Если ты никогда раньше не внедрял ИИ в бизнес - ты не знаешь всех особенностей этого процесса и подводных камней. Люди не знают, что за данные нужны для ИИ и в каком количестве, какая нужна инфраструктура, они не понимают нелинейность процесса разработки ИИ. Для них ИИ - это очередная традиционная разработка, которую можно выполнить по ТЗ. Однако в процессе выясняется, что у бизнеса нет данных, нет инфраструктуры и культуры экспериментов, а если начать рабоать над всем этим, то выяснится, что “ой, дорого”, и ИИ им в итоге не нужен.

Отсутствие четкой бизнес-задачи. Главная боль вообще всех, кто занимается внедрением и ИИ-разработкой. Чаще всего, когда ты начинаешь копать, что, зачем и как нужно сделать, оказывается, что заказчик не выполнил свое ДЗ и задача у него не оформлена. Просишь покопаться в этом, а в результате оказывается, что задачу нужно еще описать, подсобрать данные, сформулировать гипотезы и проекты глохнут 🙂

Для большинства AI в том виде, который они хотят, не окупится. Не самые сложные проекты стоят порядка $60 000. Это затраты на команду, данные, разработку. Добавьте к этому затраты на поддерку и содержание системы. Часто внедрение в том виде, в котором хочет заказчик, будет окупаться минимум 2 года. По-сути это следствие вышеописанных проблем, однако подумайте: нормальный ли это срок окупаемости на не самую большую для бизнеса сумму? Не забудьте сделать поправку на темпы развития AI. Выбирать задачу нужно тщательно, и еще тщательнее просчитывать ROI и риски. И лучше чтобы это делали люди с опытом в ИИ, а не простые бизнес-консультанты.

Это не все причины, а лишь малая их часть. Как и говорил, через несколько недель анонсируем эфир по этой теме.

Самый ценное, что я получаю со своих тренингов - это когда я вижу, что люди, которые у меня обучаются, начинают применять ИИ в своей повседневной деятельности и достигают результатов не когда-то в будущем, а прямо во время самих потоков. Самый большой кайф ловлю от того, что люди, которые приходят, сами по себе очень крутые, задают кучу вопросов, которые помогают и мне развиваться вместе с ними.

Отвел 5 потоков по личной эффективности, 3 по менеджменту. В текущих осталась еще пара занятий, после - уйду на перерыв до конца августа. Отдыхать и пересобирать программы обоих 🙂 А пока вот несколько примеров маленьких побед