Вчера обещал показать промпты, которые помогают писать... промпты. Поехали?)

Первый и самый неочевидный комментарий - ГПТ не умеет писать промпты, если его прямо попросить "напиши промпт" - этих материалов у него в обучающей выборке было мало. Так что приходится выкручиваться, благо это не сложно.

1️⃣ Откровенный подход, когда у меня в голове еще нет хорошего сценария и хочется от чего-то оттолкнуться, но в целом я понимаю чего хочу:

Я пишу подробную инструкцию для сотрудника на его новой работе в первый день. Сотрудник не знает полностью своих обязанностей. Этот сотрудник не живой человек, а искусственный интеллект. Помоги написать такую инструкцию, она должна быть очень точной и понятной. Инструкция может быть вежливой, но в первую очередь лаконичной и точной. Вот о чем должна быть инструкция: ...

2️⃣ Более тонкий подход, когда я даже не очень представляю с чего начать:

Привет. Я начинающий HRD и ничего не знаю в области обучения. Как мне выстроить систему обучения для 100 000 руководителей: одновременно, быстро, качественно, с ограниченным бюджетом.  

(обратите внимание, что это подход "действуй как профессиональный ..." только наоборот)

3️⃣ Вариант, который вчера всплыл в комментариях к предыдущему посту, когда я уже написал часть промпта, но не уверен, что задал весь контекст - можно попросить ГПТ самому задать вопросы:

... (основная часть промпта) ... Сейчас твоя задача проверить полноту и понятность задачи. Задавай вопросы до того момента, пока не будешь уверен, что имеешь всю необходимую информацию.

(обычно я смотрю на вопросы, потом редактирую изначальный промпт сразу добавляя в него нужное и запускаю еще раз, в какой-то момент вопросы становятся "водянистыми" и я понимаю что можно остановиться)

Кстати эти промпты отлично дружат с предыдущим подходом.

Добавляйте свои лайфхаки ))

На днях попал в роли эксперта по ИИ на интервью от НИУ ВШЭ и фонда "Петербургская политика". В результате разговора получились любопытные тезисы.

👉 ощущение от ИИ как от черной магии прошло, не у всех, но у большинства
👉 страх, что "ИИ отнимет у нас работу" проходит
👉 вместо ожидания "ИИ сейчас сделает за нас всё" приходит понимание что ИИ применяется в ряде случаев, имеет ограничения и лимиты
👉 вместо промпт-инженеров формируется подход, что каждый должен уметь промптить, как раньше надо было уметь гуглить
👉 пока нет хороших метрик для измерения качества промптов, первые попытки наивные и на экспертной оценке
👉 большие языковые модели используются в одноразовых задачах, но все больше и больше фокус на попытке автоматизаций каких-то процессов
👉 разработчики моделей добавляют лимиты и ограничения (на медицинские, политические или иные темы), что с одной стороны правильно, с другой - ограничивает развитие

Мне кажется вышло структурно.

Вчера на конференции Digital learning провели бесчеловечный интересный эксперимент совместно с Олегом Замышляевым.

Суть эксперимента: на меня повесили микрофон, чтобы попробовать сделать расшифровку голоса в максимально боевых условиях. На фото видно микрофон, который прикреплен как петличка.

Как это было сделано, можно прочитать у Олега в канале: https://news.1rj.ru/str/PromptLab_Mozlab/101 (и обратите внимание на следующий пост https://news.1rj.ru/str/PromptLab_Mozlab/102), а сам файл расшифровки доступен в гугл доке: https://docs.google.com/document/d/1gcsnilM6F6-40z22U8x7LZN34uCMo1zvPe4ECAzKkWk/edit

Ну а от меня дополненный текст, который я прогнал через нейросеть для получения читабельной версии и дополнил слайдами: https://telegra.ph/Avtomatizaciya-sozdaniya-kontenta-kak-pravilno-zadat-kontekst-II-11-17

Хотя нейросети изначально делали по образу и подобию нейронных сетей в голове живого организма (не обязательно человека), нашему мозгу очень тяжело их осознать. Зато взаимодействие с нейросетями демонстрирует, насколько, на самом деле, просто устроены наше собственное мышление.

Я сейчас очень сильно задумался над этим тезисом. Это ведь получается, что мы получили упрощенную модель учащегося?

А почему бы не обкатывать наше обучение с помощью такого теста:
- допустим мы хотим кого-то чему-то научить
- даем входной промпт отображающий текущую ситуацию (как сейчас себя ведут, как поступают)
- даем то, что нам кажется мы должны дать учащимся
- проверяем поведение
- если не устраивает - меняем логику курса, структуру, наполнение, задания... и повторяем

👁️ Мы, по сути, получаем возможность провести тестовое обучение за минимальное время и с нулевой стоимостью, прежде чем выкатывать его на всю компанию.

Какие тут вызовы:
- явно серьезная проблема уложиться в лимит токенов. Причем тут лимит даже не 100К, а сильно меньше - чем длиннее промпт тем меньше "значимость" каждого слова в нем, вероятно промпты должны быть реально лаконичные.
- точно передать текущее поведение целевой аудитории. Причем не только фактические признаки, но и внутреннюю мотивацию.
- понять каким заданием мы можем попросить нейросеть описать свое поведение, не подведя ее саму к "социально жетательному" ответу.

Что думаете?

Еще одна интересная загадка, которую мне удалось решить добавив всего одну строку в промпт, чтобы получить стабильный ответ.

Загадка: Если одиннадцать плюс два равняются одному, чему равны девять плюс пять?
Ответ: Речь о часах, 11+2=13, что на циферблате отображается как 1 час, соответственно 9+5=14, на циферблате это 2.

Решить через нейросети не сложно, но давайте на этой загадке попробуем писать не огромный промпт на 10 строк, а еще сделаем его максимально дешевым и коротким.

Вот учимся мы работе с промптами, изучаем логику работы нейросетей, даже на логических задачах пытаемся чему-то научиться, а меж тем оказалось, что все... зря.

Главная характеристика машины - число лошадиных сил или крутящий момент. У компа - проц и оперативка. А у нейросетей - число параметров в модели.

General Pretrained Transformer'ы не просто не стоят на месте. Доказательство на картинке.

И знаете что? Часть моих задачек (но не все) GPT4 от OpenAI решает без дополнительных вводных. То есть модель без инструкций начинает решать самостоятельно все более сложные вопросы.

В очередной раз обновляю программы тренинга и курса.

Кажется я от такого отвык - раньше ставил себе план на обновление на через пол года, а тут раз в месяц.

Получил очередное доказательство тезиса, что промпт инженер это не профессия, а навык.

Недавно пришли с интересным кейсом: делали внутри ИИ помощника, который должен был давать подсказки операторам в коллцентре варианты ответов в чате. Клиент задает вопрос, а ИИ предлагает на выбор несколько ответов, с учетом контекста.

Заказывали разработку у вендора еще несколько лет назад первый раз, недавно перевели на GPT3 и переписали все инструкции уже с другим вендором. Стало немного лучше, но все еще помогало слабо. Сейчас вот перешли на GPT4 с теми же промптами. Изменений почти нет. Операторы так и набирают 80% ответов сами (а 20% это стандартные приветствия, благодарности - в общем то, что и без ИИ можно было автоматизировать). Продукт достаточно сложный, много нюансов. А вендор их не знал.

В итоге я для начала посоветовал просто почитать наш курс и еще пару статей в интернете, и угадайте что? Ребята сами переписали практически все промпты (к сожалению и часть автоматизации тоже, опишу в треде почему) и теперь оператор пишет ответ руками только 30% ответов. Вчера ребята отписались, что у них все получилось!

Вывод? Да очень простой: чтобы правильно написать инструкции для ИИ нужно быть в теме. Магии не бывает, профессионалы все еще нужны этому миру.

Профессия промпт-инженера не нужна )))

Простите за мелкий текст на картинке, но это потрясающе!

Такие промпты пишут "промпт инженеры", которые не знают нюансов проведения встреч. К сожалению сейчас все саммаризаторы встреч этим грешны.

Кстати я вообще не сильно верю, что может быть один промпт, который сделает саммари из любой встречи. Скорее набор промптов, когда в начале нейросеть должна выбрать какой-то сценарий, а уже затем под него запустить новый анализ с нужными инструкциями. Примерно как в кейсе из предыдущего поста.

В продолжение предыдущего поста. Хоть он и кажется шуточным, в нем, снова, есть глубина и из этой шутки можно вытащить много пользы и выводов. Хотя в каждой шутке всегда только доля шутки?..

Сегодня на вебинаре про нейросети нашли объяснение неудачным автоматичеким саммари диалогов (как записей встреч, так и любых других).

А кто, собственно, нам сказал, что у каждой встречи есть цель получить результат и какие-то выводы?

Мы просим нейросеть обязательно их найти и пишем инструкции типа "выпиши конкретные и лаконичные формулировки договоренностей, которых достигли на встрече", но кто нам сказал, что это не была встреча где:
- начальник разносил подчиненных с целью самоутвердиться
- исполнитель выдумывал удобные способы слить задачу и затянуть сроки
- просто группа людей профессионально прокрастинировала друг об друга

Я на своих тренингах рассказываю про одно из фундаментальных ограничений нейросетей: они кайне исполнительны. И это минус, а не плюс! Если я прошу нейросеть найти ошибку в коде, она ее может найти, даже если ее там нет. Если я прошу найти договоренности во встрече, где их не предполагалось, она их выдумает.

Нейросети делали по образу и подобию настоящих нейронов, потому их и называли "искусственный интеллект", и пока (ключевое слово!) они плохо справляются с многоходовыми размышлениями, им надо помогать с этим.

Когда меня просят сделать саммари из встречи, с чего я начну? Сразу буду искать выводы? Или сначала пойму о чем? А когда пойму то уже можно искать выводы, или сначала подумать а могут ли они тут в принципе быть? У нас в голове такие мысли проносятся, порой, что мы даже не замечаем. И я заметил за собой, что учусь все больше и больше рефлексировать над тем, а почему я сам, решая ту или иную задачу начал делать именно это действие, а не другое?

Вывод? Да пожалуйста: Умение видеть скрытые шаги в собственных размышлениях - ключ к составлению правильной последовательности задач и для нейросетей.

ИИ для нетехнарей

На фото - Володя Казаков, который вчера (в очередной раз) мастерски разложил (простым и понятным языком) основы того, как работают нейросети.

Напоминаю всем, что у нас есть корпоративный формат - можно научить свою команду и получить вот такие результаты:

📍Сотрудники поймут, как применять ИИ в своей работе

📍Освоят навык написания промптов к ИИ, которые будут давать результат

📍Поймут ограничения ИИ, границы его применения

📍Научатся применять метрики качества результата при работе с ИИ

📍Поймут, что такое промпт-архитектура и научатся писать сложные последовательности промптов для более глубокого и качественного результата

📍Освоят технические аспекты запуска и использования ИИ как локально, так и в облаке

📍Вдохновятся идеей использования ИИ и станут амбассадорами этой темы внутри компании

Сейчас есть пару свободных слотов для корпоративных программ, вот тут можно оставить заявку: https://mkrobots.ru/ai-training

Уже писал про "безопасность" решений на базе нейросетей, а тут недавно скинули интересную игру, где нужно было заставить ИИ отдать пароль, хотя ей дали инструкцию его не говорить.

https://gandalf.lakera.ai/

Первые пару уровней проходятся почти не глядя, а вот дальше начинаются весьма интересные кейсы. Чтобы их решить нужно иметь понимание "как работает ИИ под капотом".

Крайне рекомендую, особенно если вы уже прошли наш курс или были на вебинарах - все должно получиться, а набить руку никогда не вредно.

PS: бонусный 8й уровень я и сам не прошел ))

На днях скинули интересную статью, как смогли улучшить ответы нейросети для широкого спектра задач, и я еще раз увидел важность подхода "цепочки рассуждений".

Chain-of-thought (CoT): цепочка рассуждений – по-простому, мы просим модель "подумать" перед выбором финального ответа. Например, перед тем как дать ответ опиши ход своих мыслей в нескольких предложениях. Вариаций как организовать CoT масса. Это позволяет модели порефлексировать, набросать черновые варианты или выделить, на что обратить внимание, – до того как давать ответ.

В чем причина такого поведения нейросети: каждый раз, для выбора следующего токена, нейросеть прогоняет через себя весь предыдущий текст. Включая текст своего ответа. А значит если мы просим ее написать ответ сразу, она будет исходить только из нашего промпта, а если мы просим "рассуждать вслух", то к моменту ответа в контексте окажутся еще и те слова, которыми она будет описывать рассуждения.

На самом деле не так важно "кто" поразмышлял вслух - это могли быть и наши собственные рассуждения. И совершенно не факт, что рассуждения нейросети будут в верном направлении. Но если добавить минимальную архитектуру (даже с полностью ручным подходом и без автоматизации) когда мы каждую цепочку последовательно критикуем, дорабатываем и затем попарно сравниваем, мы получим очень большой контекст и повысим шанс получить правильный ответ в несколько раз.

В одном из прошлых постов закинули вопрос, показав как пример ошибки модели GPT в ответах на фактические вопросы по произведениям русских классиков.

Вообще вопрос был про работу с английским языком, но до этого я бы хотел еще и еще раз обратить внимание, что все модели-трансформеры (а это почти все текстовые нейросети сейчас) НЕ созданы для работы с фактическими данными.

А теперь про работу с английскими или русскими промптами.

Год назад была большая разница в том, на какой языке мы должны были писать инструкции - на английском ответы были в разы лучше, на всех остальных - заметно хуже. Разница была и в полноте, и в согласованности самих слов. Сейчас ситуация поменялась и разница для основных языков (и великий и могучий среди них тоже есть) практически отсутствует.

При этом, не важно в каком языке задается вопрос, существует некоторая рандомность ответов, и задав вопрос "какой формы земля" мы с 99,(9)% получим ответы из серии "круглая", "шарообразная" или даже "геоид", но всегда есть еще 0.000...1%, что нейросеть решит нам написать, что земля плоская и лежит на слонах, которые стоят на черепахе.

Так почему же нейросеть по запросам про русских классиков выдает чушь? (Пруфы добавлю в комментарии, на примере Тургеньева)
- Не из-за английского или русского языка в промпте, а из-за своей природы
- Все данные, на которых учится нейросеть, проходят процесс трансформации и он необратим. Некоторые данные нейросеть может воспроизвести дословно, но это случайность
- Сама логика нейросетей, как "трансформеров" текста, заставляет ее писать ответ, опираясь на "воспоминания" - наиболее близкое у людей состояние называется "слышал звон, да не знает где он"

Так что там с английским? Чем лучше наши слова будут "возбуждать" нужные нам "нейроны", тем качественней ответ. Иногда это должны быть английские слова, иногда транслит, иногда англицизмы. Не уверен, но думаю, что есть кейсы когда японские или китайские иероглифы будут давать максимальную пользу. Но с точки зрения самой природы нейросети никакой предвзятости к языкам у нее уже нет.

Вчерашний пост должен был породить у вас не мало вопросов. Если нейросеть такая "тупая" то зачем она вообще нужна? Не легче ли без?

Нет, не легче)

Мы получили ответы. Да, они были бредовыми - хотя я скидывал в тред именно такие примеры, но были и нормальные, конечно, или средние, где бредовость еще надо найти.

Но во всех ответах мы почти моментально видели неточности. Для очень большого набора задач процесс валидации в разы быстрее, чем процесс генерации.

Помните старую шутку, что если посадить 10 000 000 обезьян, то рано или поздно они напишут "Войну и мир"? Ну вот. Теперь это не шутка)

Ну что, какое-то время назад обсуждали тут про восстание машин и думали - заменят они нас или нет.

Вот мое аргументированное мнение: https://rb.ru/opinion/mashiny-ne-vosstanut/

По мотивам вчерашней дискуссии (кто пропустил - сорян, уже не почитать).

Подумал, что полезно будет написать не только про нейросети, но и более общие и приземленные вещи: математическая статистика.

Мало кто знает, но начинался мой путь в преподавании именно с мат.статистики и эксперименталки - вел эти предметы в своем вузе. И я считаю, что роль правильных расчетов сильно недооценена.

Предлагаю три задачки, решения будут в трэде под спойлерами.

1) Вы сделали две пилотные версии курса, которые отличались только траекторией - закрытая (нужно было обязательно прочитать все уроки) и открытая. После прохождения курсы ваши учащиеся сдавали итоговый тест. Результаты: закрытая траектория: { 38, 38, 40, 44, 45 } и открытая траектория: { 36, 37, 40, 43, 44 }. Имеет ли смысл делать закрытую траекторию курса?

2) Продолжаем считать результаты прошлого курса. Для проведения исследования с результатами в каждой группе по 5 завершенных итоговых тестов в каждой группе вам понадобилось привлечь 22 человека на курс с закрытой траекторией (прошло до конца в итоге 5) и 11 человек на курс с открытой траекторией (прошло тоже 5). Можно ли сделать вывод, что доходимость у этих траекторий курсов разная?

3) Ну и давайте уже добьем этот кейс с курсом. Конечно же мы спрашивали у всех учащихся (все 33 человека) их мнение об обучении с помощью анкеты обратной связи по методу NPS. Спрашивали у всех через 3 дня их неактивности, вне зависимости от того был ли пройден курс или брошен. Все участники как минимум начали курс. В первой группе (закрытая траектория) NPS = 63%, а во второй группе NPS = 95%. Если же выбирать только тех, кто в каждой группе дошел курс до конца, то в первой группе NPS = 80%, а во второй 94%. Можно ли сказать, что траектория курса влияет на вовлеченность в обучение?

Ну и задача со звездочкой: какой общий вывод можно сделать? Если что - цифры взяты настоящие и решение тоже было настоящим ))

Перед новым годом принято проводить итоги.

Для меня этот год стал годом открытий и достижений. И год изменений. Не все из них случились по моей воле, но всем им я очень рад!

Я хочу всем вам, друзья, пожелать в новом году своих собственных побед, исполнения мечт и появления новых грандиозных планов!

Ну и мы с Ромой тут рядом, чтобы те мечты, в которых вам нужна помощь, обязательно исполнились!

Кажется логичным продолжить тему, которую начали в прошлом году и договорить про математику при расчетах результатов опросов и тестов.

Почему вообще это важно? Когда мы работаем с людьми, нам очень редко получается замерять какое-то явление точно – не для всего есть свои линейки. И в этот момент мы имеем дело не с точным измерением, а с вероятностными показателями. А если у них есть вероятность, то значит и изменения могут быть продиктованы ими, а не тем какой фреймворк перфоманс ревью мы внедрили или какой курс сделали.

Так сколько людей необходимо взять в выборку, чтобы полученные результаты были нам полезны? Частая ошибка - брать какой-то процент от общего числа людей в компании, в стране или в мире, но это очень и очень не правильно. В действительности размер выборки вообще не зависит от того, какого размера генеральная совокупность. На самом деле число респондентов определяется изменчивостью признака и тем, какую погрещность мы будем считать допустимым.

Вот, например, калькулятор (один из сотни, поверьте, там везде будут одинаковые показатели), в котором можно прикинуть какое число людей требуется для исследования. Так вот не важно, проводите ли вы исследование на 10 000 человек в своей компании или по всей стране на 150 000 000 - если погрешность на уровне 5% и достаточно 95% надежности то достаточно 370-380 человек. То есть при общем числе в десять тысяч и в 150 миллионов разница в выборке всего в десять человек.

Но вот дальше начинается самое сложно - как этих людей набрать. Тут тоже не все так просто, но об этом в следующий пост, и закроем тему про математику.