В ближайший понедельник выступаем с Володей тут, приходите, участие бесплатное, состав участников обещает качественную и полезную дискуссию. 👇

Ну что, как на счет еще одной загадки? Продолжаем проверять навык работы с Большими Языковыми Моделями и развенчивать миф, что они не умеют в математику и логику ))

Загадка: Если вороны сядут по одной на каждую берёзу то не хватит одной берёзы. Если сядут по две на берёзу, одна берёза останется лишней. Сколько ворон? Сколько берёз?

Задача: снова решить не самостоятельно, а заставить нейросеть выдать правильный ответ. Промпт должен быть один, правильный ответ подсказывать нельзя.

Ответ на загадку: 4 вороны и 3 берёзы - можно решать уравнениями, а можно и перебором, изначально загадка детская и решалась перебором, но в нашем случае это не важно, а важно что нейросеть ее в прямом виде не может решить без правильных инструкций.

А правильный промпт, как и в прошлый раз, будет завтра ))

Ну и обещанный ответ на загадку: https://chat.openai.com/share/491e2a64-ce2d-495a-91a7-05aa7ba1670b

Загадка не такая сложная как прошлая, но тоже заставляет задуматься над промптом.

Лайфхаки, снова, в треде.

Готовились с Олегом Замышляевым к митапу про ИИ в ближайший понедельник в Кластере Ломоносов.

Разговорились про то, у кого какие открытия и инсайты случились за последние пару месяцев.

Олег нашел гениальный способ улучшать качество сгенерированных идей. Не буду красть его идеи, лучше сами прочитайте по ссылке.

Ну а я открыл для себя способ измерять навык промптинга... с помощью детских загадок! Это оказалось на редкость показательно!

Загадки имеют очень конкретное решение, дети с ними справляются, взрослые тоже, если чуть подумают, а нейросетки с ними не справляются. Не потому, что "тупые". У них не хватает контекста, а вот чтобы задать им правильный контекст, нужно очень хорошо знать правила, как этот контекст задавать.

И решение таких загадок с помощью нейросети в итоге отлично демонстрирует насколько у развит навык промптинга, и насколько глубокие познания в теории работы нейросеток.

👉 Чем это помогает в работе? Когда мы решаем прикладную задачу - придумать тестовый вопрос к материалу, оценить ответ на задание, выбрать из материала курса самое важное или написать адресный анонс вебинара - нейросеть должна получить качественные инструкции. И для каждой ситуации, для каждой задачи они будут свои.

Не достаточно написать промпт "придумай 5 тестовых вопросов к материалу" - а для кого они? А зачем? А что будем проверять? Нейросети этого не сказали и она с легкостью додумает детали, но вот только совпадут ли они с реальностью? Маловероятно.

Может показаться, что с такими сложностями легче все самим делать, но это не так. Грамотные промпты отлично поддаются автоматизации. Но если промпт "плохой" - автоматизация только все испортит.

🔥 Если вы не в курсе, в Лаборатории промптинга Mozlab уже собрано больше 17 конкретных кейсов применения нейросетей в HR. Каталог - по этой ссылке.

Очень и очень хорошее замечание: нейронки на один промпт выдают разные ответы.

Но так происходит не всегда)))

1) Вообще почти у всех нейронок, если работать с ними через API, есть возможность настраивать параметр случайности. В ЧатГПТ это называется "теплота" и в самом чате ей управлять нельзя, а вот в песочнице - можно. И если теплота нулевая, то ответы будут не просто похожие, а абсолютно одинаковые.

2) Но нулевая теплота обычно нам не нужна, и я для себя ввел такую метрику как "стабильность". Мало написать промпт и получить устраивающий меня ответ (если я дальше хочу его автоматизировать, если нет - то достаточно) - нужно запустить его 5 раз, понять, что устраивающий меня ответ дается 5 раз из 5, затем поменять данные и запустить еще 5 раз на разных данных. Да, это долго, да. Но если мы хотим сделать так, чтобы к нашим курсам автоматически создавались тесты, или задачи проверялись, или в диалоговом тренажере были разные ответы - сорри, но придется поработать.

Магии не бывает. Простите.

ИИ для нетехнарей

Те, кто в теме, уже более или менее разобрались с тем, как использовать ИИ в работе, подписались на этот канал, уже что-то попробовали и даже применяют.

Мы видим большое количество компаний, которые хотели бы начать применять ИИ в своих задачах, но не знают, как подступиться: кто-то из команды побаивается, кто-то не знает, в чем польза.

Мы с Володей решили помочь. 😎

И сделали тренинг-практикум для компаний, чтобы ответить на вопросы:
📍Как получить практическую пользу от применения ИИ?
📍Что может ИИ, а что нет?
📍Как внедрить его в рабочие процессы?

Самое главное - это не лекции, а практикум, где можно руками попробовать ИИ для своих задач, убрать первичные блоки, мешающие его применению, и вообще стать с ИИ на "ты".

Если в вашей компании есть такая потребность, мы с радостью проведем такой практикум для вашей команды. В этом году есть еще пара слотов, когда мы можем это сделать.

Практикум ведет Владимир Казаков, который блестяще умеет рассказывать и показывать "на пальцах" все про ИИ.

Подать заявку на корпоративный формат можно тут, там же более подробное описание:
https://mkrobots.ru/ai-training

Вчера обещал показать промпты, которые помогают писать... промпты. Поехали?)

Первый и самый неочевидный комментарий - ГПТ не умеет писать промпты, если его прямо попросить "напиши промпт" - этих материалов у него в обучающей выборке было мало. Так что приходится выкручиваться, благо это не сложно.

1️⃣ Откровенный подход, когда у меня в голове еще нет хорошего сценария и хочется от чего-то оттолкнуться, но в целом я понимаю чего хочу:

Я пишу подробную инструкцию для сотрудника на его новой работе в первый день. Сотрудник не знает полностью своих обязанностей. Этот сотрудник не живой человек, а искусственный интеллект. Помоги написать такую инструкцию, она должна быть очень точной и понятной. Инструкция может быть вежливой, но в первую очередь лаконичной и точной. Вот о чем должна быть инструкция: ...

2️⃣ Более тонкий подход, когда я даже не очень представляю с чего начать:

Привет. Я начинающий HRD и ничего не знаю в области обучения. Как мне выстроить систему обучения для 100 000 руководителей: одновременно, быстро, качественно, с ограниченным бюджетом.  

(обратите внимание, что это подход "действуй как профессиональный ..." только наоборот)

3️⃣ Вариант, который вчера всплыл в комментариях к предыдущему посту, когда я уже написал часть промпта, но не уверен, что задал весь контекст - можно попросить ГПТ самому задать вопросы:

... (основная часть промпта) ... Сейчас твоя задача проверить полноту и понятность задачи. Задавай вопросы до того момента, пока не будешь уверен, что имеешь всю необходимую информацию.

(обычно я смотрю на вопросы, потом редактирую изначальный промпт сразу добавляя в него нужное и запускаю еще раз, в какой-то момент вопросы становятся "водянистыми" и я понимаю что можно остановиться)

Кстати эти промпты отлично дружат с предыдущим подходом.

Добавляйте свои лайфхаки ))

На днях попал в роли эксперта по ИИ на интервью от НИУ ВШЭ и фонда "Петербургская политика". В результате разговора получились любопытные тезисы.

👉 ощущение от ИИ как от черной магии прошло, не у всех, но у большинства
👉 страх, что "ИИ отнимет у нас работу" проходит
👉 вместо ожидания "ИИ сейчас сделает за нас всё" приходит понимание что ИИ применяется в ряде случаев, имеет ограничения и лимиты
👉 вместо промпт-инженеров формируется подход, что каждый должен уметь промптить, как раньше надо было уметь гуглить
👉 пока нет хороших метрик для измерения качества промптов, первые попытки наивные и на экспертной оценке
👉 большие языковые модели используются в одноразовых задачах, но все больше и больше фокус на попытке автоматизаций каких-то процессов
👉 разработчики моделей добавляют лимиты и ограничения (на медицинские, политические или иные темы), что с одной стороны правильно, с другой - ограничивает развитие

Мне кажется вышло структурно.

Вчера на конференции Digital learning провели бесчеловечный интересный эксперимент совместно с Олегом Замышляевым.

Суть эксперимента: на меня повесили микрофон, чтобы попробовать сделать расшифровку голоса в максимально боевых условиях. На фото видно микрофон, который прикреплен как петличка.

Как это было сделано, можно прочитать у Олега в канале: https://news.1rj.ru/str/PromptLab_Mozlab/101 (и обратите внимание на следующий пост https://news.1rj.ru/str/PromptLab_Mozlab/102), а сам файл расшифровки доступен в гугл доке: https://docs.google.com/document/d/1gcsnilM6F6-40z22U8x7LZN34uCMo1zvPe4ECAzKkWk/edit

Ну а от меня дополненный текст, который я прогнал через нейросеть для получения читабельной версии и дополнил слайдами: https://telegra.ph/Avtomatizaciya-sozdaniya-kontenta-kak-pravilno-zadat-kontekst-II-11-17

Хотя нейросети изначально делали по образу и подобию нейронных сетей в голове живого организма (не обязательно человека), нашему мозгу очень тяжело их осознать. Зато взаимодействие с нейросетями демонстрирует, насколько, на самом деле, просто устроены наше собственное мышление.

Я сейчас очень сильно задумался над этим тезисом. Это ведь получается, что мы получили упрощенную модель учащегося?

А почему бы не обкатывать наше обучение с помощью такого теста:
- допустим мы хотим кого-то чему-то научить
- даем входной промпт отображающий текущую ситуацию (как сейчас себя ведут, как поступают)
- даем то, что нам кажется мы должны дать учащимся
- проверяем поведение
- если не устраивает - меняем логику курса, структуру, наполнение, задания... и повторяем

👁️ Мы, по сути, получаем возможность провести тестовое обучение за минимальное время и с нулевой стоимостью, прежде чем выкатывать его на всю компанию.

Какие тут вызовы:
- явно серьезная проблема уложиться в лимит токенов. Причем тут лимит даже не 100К, а сильно меньше - чем длиннее промпт тем меньше "значимость" каждого слова в нем, вероятно промпты должны быть реально лаконичные.
- точно передать текущее поведение целевой аудитории. Причем не только фактические признаки, но и внутреннюю мотивацию.
- понять каким заданием мы можем попросить нейросеть описать свое поведение, не подведя ее саму к "социально жетательному" ответу.

Что думаете?

Еще одна интересная загадка, которую мне удалось решить добавив всего одну строку в промпт, чтобы получить стабильный ответ.

Загадка: Если одиннадцать плюс два равняются одному, чему равны девять плюс пять?
Ответ: Речь о часах, 11+2=13, что на циферблате отображается как 1 час, соответственно 9+5=14, на циферблате это 2.

Решить через нейросети не сложно, но давайте на этой загадке попробуем писать не огромный промпт на 10 строк, а еще сделаем его максимально дешевым и коротким.

Вот учимся мы работе с промптами, изучаем логику работы нейросетей, даже на логических задачах пытаемся чему-то научиться, а меж тем оказалось, что все... зря.

Главная характеристика машины - число лошадиных сил или крутящий момент. У компа - проц и оперативка. А у нейросетей - число параметров в модели.

General Pretrained Transformer'ы не просто не стоят на месте. Доказательство на картинке.

И знаете что? Часть моих задачек (но не все) GPT4 от OpenAI решает без дополнительных вводных. То есть модель без инструкций начинает решать самостоятельно все более сложные вопросы.

В очередной раз обновляю программы тренинга и курса.

Кажется я от такого отвык - раньше ставил себе план на обновление на через пол года, а тут раз в месяц.

Получил очередное доказательство тезиса, что промпт инженер это не профессия, а навык.

Недавно пришли с интересным кейсом: делали внутри ИИ помощника, который должен был давать подсказки операторам в коллцентре варианты ответов в чате. Клиент задает вопрос, а ИИ предлагает на выбор несколько ответов, с учетом контекста.

Заказывали разработку у вендора еще несколько лет назад первый раз, недавно перевели на GPT3 и переписали все инструкции уже с другим вендором. Стало немного лучше, но все еще помогало слабо. Сейчас вот перешли на GPT4 с теми же промптами. Изменений почти нет. Операторы так и набирают 80% ответов сами (а 20% это стандартные приветствия, благодарности - в общем то, что и без ИИ можно было автоматизировать). Продукт достаточно сложный, много нюансов. А вендор их не знал.

В итоге я для начала посоветовал просто почитать наш курс и еще пару статей в интернете, и угадайте что? Ребята сами переписали практически все промпты (к сожалению и часть автоматизации тоже, опишу в треде почему) и теперь оператор пишет ответ руками только 30% ответов. Вчера ребята отписались, что у них все получилось!

Вывод? Да очень простой: чтобы правильно написать инструкции для ИИ нужно быть в теме. Магии не бывает, профессионалы все еще нужны этому миру.

Профессия промпт-инженера не нужна )))

Простите за мелкий текст на картинке, но это потрясающе!

Такие промпты пишут "промпт инженеры", которые не знают нюансов проведения встреч. К сожалению сейчас все саммаризаторы встреч этим грешны.

Кстати я вообще не сильно верю, что может быть один промпт, который сделает саммари из любой встречи. Скорее набор промптов, когда в начале нейросеть должна выбрать какой-то сценарий, а уже затем под него запустить новый анализ с нужными инструкциями. Примерно как в кейсе из предыдущего поста.

В продолжение предыдущего поста. Хоть он и кажется шуточным, в нем, снова, есть глубина и из этой шутки можно вытащить много пользы и выводов. Хотя в каждой шутке всегда только доля шутки?..

Сегодня на вебинаре про нейросети нашли объяснение неудачным автоматичеким саммари диалогов (как записей встреч, так и любых других).

А кто, собственно, нам сказал, что у каждой встречи есть цель получить результат и какие-то выводы?

Мы просим нейросеть обязательно их найти и пишем инструкции типа "выпиши конкретные и лаконичные формулировки договоренностей, которых достигли на встрече", но кто нам сказал, что это не была встреча где:
- начальник разносил подчиненных с целью самоутвердиться
- исполнитель выдумывал удобные способы слить задачу и затянуть сроки
- просто группа людей профессионально прокрастинировала друг об друга

Я на своих тренингах рассказываю про одно из фундаментальных ограничений нейросетей: они кайне исполнительны. И это минус, а не плюс! Если я прошу нейросеть найти ошибку в коде, она ее может найти, даже если ее там нет. Если я прошу найти договоренности во встрече, где их не предполагалось, она их выдумает.

Нейросети делали по образу и подобию настоящих нейронов, потому их и называли "искусственный интеллект", и пока (ключевое слово!) они плохо справляются с многоходовыми размышлениями, им надо помогать с этим.

Когда меня просят сделать саммари из встречи, с чего я начну? Сразу буду искать выводы? Или сначала пойму о чем? А когда пойму то уже можно искать выводы, или сначала подумать а могут ли они тут в принципе быть? У нас в голове такие мысли проносятся, порой, что мы даже не замечаем. И я заметил за собой, что учусь все больше и больше рефлексировать над тем, а почему я сам, решая ту или иную задачу начал делать именно это действие, а не другое?

Вывод? Да пожалуйста: Умение видеть скрытые шаги в собственных размышлениях - ключ к составлению правильной последовательности задач и для нейросетей.

ИИ для нетехнарей

На фото - Володя Казаков, который вчера (в очередной раз) мастерски разложил (простым и понятным языком) основы того, как работают нейросети.

Напоминаю всем, что у нас есть корпоративный формат - можно научить свою команду и получить вот такие результаты:

📍Сотрудники поймут, как применять ИИ в своей работе

📍Освоят навык написания промптов к ИИ, которые будут давать результат

📍Поймут ограничения ИИ, границы его применения

📍Научатся применять метрики качества результата при работе с ИИ

📍Поймут, что такое промпт-архитектура и научатся писать сложные последовательности промптов для более глубокого и качественного результата

📍Освоят технические аспекты запуска и использования ИИ как локально, так и в облаке

📍Вдохновятся идеей использования ИИ и станут амбассадорами этой темы внутри компании

Сейчас есть пару свободных слотов для корпоративных программ, вот тут можно оставить заявку: https://mkrobots.ru/ai-training

Уже писал про "безопасность" решений на базе нейросетей, а тут недавно скинули интересную игру, где нужно было заставить ИИ отдать пароль, хотя ей дали инструкцию его не говорить.

https://gandalf.lakera.ai/

Первые пару уровней проходятся почти не глядя, а вот дальше начинаются весьма интересные кейсы. Чтобы их решить нужно иметь понимание "как работает ИИ под капотом".

Крайне рекомендую, особенно если вы уже прошли наш курс или были на вебинарах - все должно получиться, а набить руку никогда не вредно.

PS: бонусный 8й уровень я и сам не прошел ))

На днях скинули интересную статью, как смогли улучшить ответы нейросети для широкого спектра задач, и я еще раз увидел важность подхода "цепочки рассуждений".

Chain-of-thought (CoT): цепочка рассуждений – по-простому, мы просим модель "подумать" перед выбором финального ответа. Например, перед тем как дать ответ опиши ход своих мыслей в нескольких предложениях. Вариаций как организовать CoT масса. Это позволяет модели порефлексировать, набросать черновые варианты или выделить, на что обратить внимание, – до того как давать ответ.

В чем причина такого поведения нейросети: каждый раз, для выбора следующего токена, нейросеть прогоняет через себя весь предыдущий текст. Включая текст своего ответа. А значит если мы просим ее написать ответ сразу, она будет исходить только из нашего промпта, а если мы просим "рассуждать вслух", то к моменту ответа в контексте окажутся еще и те слова, которыми она будет описывать рассуждения.

На самом деле не так важно "кто" поразмышлял вслух - это могли быть и наши собственные рассуждения. И совершенно не факт, что рассуждения нейросети будут в верном направлении. Но если добавить минимальную архитектуру (даже с полностью ручным подходом и без автоматизации) когда мы каждую цепочку последовательно критикуем, дорабатываем и затем попарно сравниваем, мы получим очень большой контекст и повысим шанс получить правильный ответ в несколько раз.