Вчера меня взяли на понт.

Хочу заявить, что мне на данный момент не известны научные и математически обоснованные доказательства того, что обучение лидерству влияет хоть на что-то, а уж тем более на результаты работы.

Вот такой вот каминг-аут. Хотя, кто меня давно знает - те и так в курсе.

И это правда мое мнение. И не удивляйтесь, что оно у нас в канале https://news.1rj.ru/str/casesonly, который, вроде, совсем про другое - через минуту будет продолжение )

А пока хочу дополнить, что доказательствами я всегда считаю и считал полноценно проведенный эксперимент:
- в котором есть контрольная и экспериментальные группы
- которые разделены случайным образом
- у которых все условия не отличаются ничем, кроме одного фактора, влияние которого и хотят доказать (в нашем случае прохождение курса по лидерству)
- при этом если мы доказываем фактор влияния курсов по лидерству, то все остальные факторы (включая письма с приглашениями на курс, сам факт прохождения курса/вебинара и т.д.) должны быть совершенно идентичными
- исключены все возможные эффекты (включая сетевой, что люди общаются между собой или, что после получения письма с приглашением кто-то решил в метро почитать книгу по теме лидерства и это повлияло на него как-то)
- для чего должен быть исключен в том числе эффект Плацебо
- все посчитано на достаточном количестве людей с учетом формул математической статистики и уровня достоверности

И, я даже больше скажу, я считаю что такой эксперимент еще и физически невозможен. Ну посудите сами, какой начальник в здравом уме разрешит учить часть людей и не учить другую (а точнее учить, но какой-то фигне, т.к. как иначе исключить Плацебо никто еще не придумал - в медицине дают сахар в таблетках, а в обучении??).

Так что вопрос эффективности почти любого обучения - вопрос, зачастую, не доказательств, а мнения или наблюдений. Что несомненно полезно, но никак не доказательство.

А теперь по к сути того, как меня взяли на понт, и причем тут ИИ )))

За пару часов я узнал очень много нового про нейросети. Часть инсайтов все ещё догоняют.

Как всегда, в воскресенье вечером завязался холивар. В этот раз в чатике DL развернулась баталия про то, что ChatGPT бесполезен.

В интернете снова кто-то не прав, скорее, надо доказать им свою точку зрения! (с)

Для доказательства своей позиции мне надо было написать программу...

Коротко: надо рассчитать скорость шара, который катится по наклонной доске, вот только сделать это надо не по формулам из школьной физики (каюсь - пропустил этот момент), а с использованием тензоров. Что такое тензоры изучают даже не в каждом вузе. И это все на языке, который я плохо знал. Всю историю, можно глянуть тут. Но предупреждаю - там ад, лучше отложите ссылочку до вечера и запаситесь чем-то крепким )))

GPT, конечно, написал код. Но то, что вышло даже по моему мнению не является решением. А вот то, что я узнал в процессе, убедило меня в том, что GPT даже еще умнее, чем я раньше считал.

👉 Во первых: он через раз останавливал меня и говорил, что то, что я хочу, намного легче сделать другим способом, не выдумывая никаких заморотов с тензорами. То есть он совершенно уверенным тоном останавливал меня от совершения глупого поступка! Браво!

К сожалению, в C# нет встроенной поддержки для работы с тензорами Эйнштейна и четырехмерной геометрией. Это более сложная математика, требующая специализированных библиотек и инструментов, таких как тензорные библиотеки или фреймворки для обработки общей теории относительности.

Ваш код использует формулу Эйнштейна, которая описывает взаимодействие гравитации и энергии-импульса, однако для вычисления скорости шара, который катится по наклонной доске, эта формула не подходит. Вы должны использовать классическую механику (ньютоновскую физику).

👉 Во вторых: чтобы задать промпт хоть примерно соответствующий тому, что было нужно мне потребовалось нормально так погуглить. Но то, что я нахватался каких-то слов, совершенно не сделало меня экспертом. И в данном эксперименте мы еще раз доказали только тот факт, что если человек не шарит в теме, то ИИ ему никак не поможет. И я получил лучшее доказательство этому, через личный опыт.

👉 В третьих: я вижу, как ИИ помогает мне в множестве задач, но при этом слышу, что он не всегда помогает другим людям, а говорит о том, что быть экспертом в своей области уже не достаточно, нужно еще уметь взаимодействовать с ИИ, чтобы опережать коллег.

👉 В четвертых: заказчику ещё на этапе постановки задачи критически важно понимать ограничения ИИ, а не относиться к нему как к черной магии. А иначе получаем что получаем.

Ну теперь, я думаю, понятно, почему всем срочно нужен как минимум наш бесплатный лонгрид про GPT? А кто хочет разбор этого кейса подробнее - приходите к нам на митап про ИИ, я там расскажу сильно больше, чем влезет в пост!

Кстати, скоро на сайт добавим описание курсов, которые мы проводим, а пока за ними можно обратиться к нам с @Roman_Mandrik в личку ))

ИИ не сверхразум.

Вообще. Ни разу.

Вот у меня дома есть умный пылесос. Ну так его называют, как минимум. Но я же не прошу его сформировать мне инвест.портфель. И у умной колонки не прошу придумать решения всех экологических кризисов на планете.

Самая большая ошибка, связанная с работой с нейросетями - завышенные ожидания.

Я все чаще встречаю людей, которые уверены, что стоит задать вопрос на пару строк, как ИИ даст ему самый полный и правильный ответ. Фиг там. Магии не бывает.

Чтобы сделать такое нужен не один промпт, а цепочка, какая-то последовательность. И очень-очень хорошее понимание как контекста, так и что конкретно хотим получить.

🦾 Мифы и легенды о нейросетях.

В нашем отдельном топике про нейросети скоро будет почти 2000 сообщений, но зато в нем победила дружба). Три непримиримых спорщика пришли к общим выводам, что само по себе странно, так ещё и каждый считает эти выводы своей победой 🤯

Как видим, научный подход это не красивое слово, а действенные методы, которые позволили решить прийти к нашим выводам.

Итак, ChatGpt несомненно имеет определенную область применения, как имеет и ограничения. Причем это справедливо как для комплексных задач так и небольших.

Решать комплексные задачи с первого промпта нейросеть не может в принципе. Задачу надо декомпозировать.

Причем иногда при этой декомпозиции применять нейросети уже не имеет смысла - займет больше времени чем сделать самому.

Кроме того иногда задачу вовсе не получится поделить на части и тогда тоже нет смысла использовать нейросети.

И ещё польза от нейросеток сильно зависит от уровня специалиста в своей предметной области и умения писать правильные промпты.

Получается, что
- Нейросети не очень помогают при совсем простых задачах (быстрее самому) и при очень сложных (будет врать). Это первая ось координат.
- Нейросеть не очень эффективна в руках начинающего специалиста (он не может проверить ответ) и в руках очень опытного эксперта (тогда для него это лёгкая задача и снова быстрее самому сделать). Это вторая ось координат.
- Есть какой-то спектр задач между этими крайностями, когда нейросеть даёт максимальное преимущество. Конкретная форма этого графика будет отличаться для разных сфер очень сильно, но его принцип останется таким же.

Единственное допущение для графика (чтобы не плодить на нем четвертое измерение), что все умеют пользоваться нейросетями одинаково хорошо. Но очевидно, что если уметь писать промпты, то зона эффективности будет шире, а пик выше.

"Ну мы же не все гуманитарии до мозга костей, в конце концов, инженеры мыслят масштабно и системно."(с) Гаммер М.Д., автор графика и этих выводов.

У меня появилась задачка, которая может показать уровень написания промптов. Загадка для детей, но решить ее надо не самому, а заставить нейросеть найти ответ.

Загадка: «Собака — 3, Корова — 2, Кукушка — 4, Утка — 3, Овца — 2, Свинья — 3, Петух — 8. Ослик — ?» Ответ под спойлером, для тех кто хочет сначала сам подумать. Ответ 2, так как собачка говорит "гав" (3), корова "му" (2)..., а ослик говорит "иа"

Задача: одним промптом, не давая подсказок (не давая подход к решению и правильную цифру), заставить нейросеть найти ответ и объяснить его.

Чтобы справиться с задачей нужно:
- понимать "логику" нейросети
- уметь писать промпты
- знать лайфхаки (из нашего курса)
- понимать, как управлять контекстом

Напишите в комментариях за сколько справились и ваш опыт работы с ИИ?

Набираю статистику. Уже есть 100+ человек: 30 учил я и они справились в среднем за 5 минут, а 70 человек не учились промптингу и решали больше 15 минут.

Только не кидайте промпты, дайте всем возможность подумать. Я опубликую решение завтра.

Обещал вчера решение. Спасибо тем, кто написал в личку. Мой подход на скрине, но просто скрина явно мало.

Разбор внутри в треде.

Как я начал вести этот канал.

Привет всем. Хочется рассказать, как так вышло, что этот канал снова ожил. Ну, начнем с того, что я вообще очень везучий (ну или мне так кажется). И мне повезло быть знакомым с Романом, а еще повезло написать ему в нужное время )

Рома позвал меня на интенсив, который прошел в августе и благодаря которому я нашел силы и возможность регулярно писать про AI в HR и обучении. А сейчас как раз идет набор нового потока на ноябрь.

Как выглядит обучение:

1. Практический трек. На старте мы определились с "главной фишкой канала", после чего целый месяц каждый день писали посты. Кто не написал – штраф (ага, геймификация так тоже работает - огонь!). Едиснтвенное что я так для себя и не решил - что было полезнее, получать фидбэк на свои идеи от участников, или слушать их концепты.
2. Учебный трек. Несколько прикладных уроков по основным темам, связанным с телеграмом – например, как привлекать подписчиков.

По итогам месяца реально привыкаешь на автомате придумывать и замечать интересные темы и регулярно писать.

Я уже говорил что идет новый поток? Так вот. Cылка: https://clck.ru/36DfiP

#не_реклама_а_рекомендация ))

В ближайший понедельник выступаем с Володей тут, приходите, участие бесплатное, состав участников обещает качественную и полезную дискуссию. 👇

Ну что, как на счет еще одной загадки? Продолжаем проверять навык работы с Большими Языковыми Моделями и развенчивать миф, что они не умеют в математику и логику ))

Загадка: Если вороны сядут по одной на каждую берёзу то не хватит одной берёзы. Если сядут по две на берёзу, одна берёза останется лишней. Сколько ворон? Сколько берёз?

Задача: снова решить не самостоятельно, а заставить нейросеть выдать правильный ответ. Промпт должен быть один, правильный ответ подсказывать нельзя.

Ответ на загадку: 4 вороны и 3 берёзы - можно решать уравнениями, а можно и перебором, изначально загадка детская и решалась перебором, но в нашем случае это не важно, а важно что нейросеть ее в прямом виде не может решить без правильных инструкций.

А правильный промпт, как и в прошлый раз, будет завтра ))

Ну и обещанный ответ на загадку: https://chat.openai.com/share/491e2a64-ce2d-495a-91a7-05aa7ba1670b

Загадка не такая сложная как прошлая, но тоже заставляет задуматься над промптом.

Лайфхаки, снова, в треде.

Готовились с Олегом Замышляевым к митапу про ИИ в ближайший понедельник в Кластере Ломоносов.

Разговорились про то, у кого какие открытия и инсайты случились за последние пару месяцев.

Олег нашел гениальный способ улучшать качество сгенерированных идей. Не буду красть его идеи, лучше сами прочитайте по ссылке.

Ну а я открыл для себя способ измерять навык промптинга... с помощью детских загадок! Это оказалось на редкость показательно!

Загадки имеют очень конкретное решение, дети с ними справляются, взрослые тоже, если чуть подумают, а нейросетки с ними не справляются. Не потому, что "тупые". У них не хватает контекста, а вот чтобы задать им правильный контекст, нужно очень хорошо знать правила, как этот контекст задавать.

И решение таких загадок с помощью нейросети в итоге отлично демонстрирует насколько у развит навык промптинга, и насколько глубокие познания в теории работы нейросеток.

👉 Чем это помогает в работе? Когда мы решаем прикладную задачу - придумать тестовый вопрос к материалу, оценить ответ на задание, выбрать из материала курса самое важное или написать адресный анонс вебинара - нейросеть должна получить качественные инструкции. И для каждой ситуации, для каждой задачи они будут свои.

Не достаточно написать промпт "придумай 5 тестовых вопросов к материалу" - а для кого они? А зачем? А что будем проверять? Нейросети этого не сказали и она с легкостью додумает детали, но вот только совпадут ли они с реальностью? Маловероятно.

Может показаться, что с такими сложностями легче все самим делать, но это не так. Грамотные промпты отлично поддаются автоматизации. Но если промпт "плохой" - автоматизация только все испортит.

🔥 Если вы не в курсе, в Лаборатории промптинга Mozlab уже собрано больше 17 конкретных кейсов применения нейросетей в HR. Каталог - по этой ссылке.

Очень и очень хорошее замечание: нейронки на один промпт выдают разные ответы.

Но так происходит не всегда)))

1) Вообще почти у всех нейронок, если работать с ними через API, есть возможность настраивать параметр случайности. В ЧатГПТ это называется "теплота" и в самом чате ей управлять нельзя, а вот в песочнице - можно. И если теплота нулевая, то ответы будут не просто похожие, а абсолютно одинаковые.

2) Но нулевая теплота обычно нам не нужна, и я для себя ввел такую метрику как "стабильность". Мало написать промпт и получить устраивающий меня ответ (если я дальше хочу его автоматизировать, если нет - то достаточно) - нужно запустить его 5 раз, понять, что устраивающий меня ответ дается 5 раз из 5, затем поменять данные и запустить еще 5 раз на разных данных. Да, это долго, да. Но если мы хотим сделать так, чтобы к нашим курсам автоматически создавались тесты, или задачи проверялись, или в диалоговом тренажере были разные ответы - сорри, но придется поработать.

Магии не бывает. Простите.

ИИ для нетехнарей

Те, кто в теме, уже более или менее разобрались с тем, как использовать ИИ в работе, подписались на этот канал, уже что-то попробовали и даже применяют.

Мы видим большое количество компаний, которые хотели бы начать применять ИИ в своих задачах, но не знают, как подступиться: кто-то из команды побаивается, кто-то не знает, в чем польза.

Мы с Володей решили помочь. 😎

И сделали тренинг-практикум для компаний, чтобы ответить на вопросы:
📍Как получить практическую пользу от применения ИИ?
📍Что может ИИ, а что нет?
📍Как внедрить его в рабочие процессы?

Самое главное - это не лекции, а практикум, где можно руками попробовать ИИ для своих задач, убрать первичные блоки, мешающие его применению, и вообще стать с ИИ на "ты".

Если в вашей компании есть такая потребность, мы с радостью проведем такой практикум для вашей команды. В этом году есть еще пара слотов, когда мы можем это сделать.

Практикум ведет Владимир Казаков, который блестяще умеет рассказывать и показывать "на пальцах" все про ИИ.

Подать заявку на корпоративный формат можно тут, там же более подробное описание:
https://mkrobots.ru/ai-training

Вчера обещал показать промпты, которые помогают писать... промпты. Поехали?)

Первый и самый неочевидный комментарий - ГПТ не умеет писать промпты, если его прямо попросить "напиши промпт" - этих материалов у него в обучающей выборке было мало. Так что приходится выкручиваться, благо это не сложно.

1️⃣ Откровенный подход, когда у меня в голове еще нет хорошего сценария и хочется от чего-то оттолкнуться, но в целом я понимаю чего хочу:

Я пишу подробную инструкцию для сотрудника на его новой работе в первый день. Сотрудник не знает полностью своих обязанностей. Этот сотрудник не живой человек, а искусственный интеллект. Помоги написать такую инструкцию, она должна быть очень точной и понятной. Инструкция может быть вежливой, но в первую очередь лаконичной и точной. Вот о чем должна быть инструкция: ...

2️⃣ Более тонкий подход, когда я даже не очень представляю с чего начать:

Привет. Я начинающий HRD и ничего не знаю в области обучения. Как мне выстроить систему обучения для 100 000 руководителей: одновременно, быстро, качественно, с ограниченным бюджетом.  

(обратите внимание, что это подход "действуй как профессиональный ..." только наоборот)

3️⃣ Вариант, который вчера всплыл в комментариях к предыдущему посту, когда я уже написал часть промпта, но не уверен, что задал весь контекст - можно попросить ГПТ самому задать вопросы:

... (основная часть промпта) ... Сейчас твоя задача проверить полноту и понятность задачи. Задавай вопросы до того момента, пока не будешь уверен, что имеешь всю необходимую информацию.

(обычно я смотрю на вопросы, потом редактирую изначальный промпт сразу добавляя в него нужное и запускаю еще раз, в какой-то момент вопросы становятся "водянистыми" и я понимаю что можно остановиться)

Кстати эти промпты отлично дружат с предыдущим подходом.

Добавляйте свои лайфхаки ))

На днях попал в роли эксперта по ИИ на интервью от НИУ ВШЭ и фонда "Петербургская политика". В результате разговора получились любопытные тезисы.

👉 ощущение от ИИ как от черной магии прошло, не у всех, но у большинства
👉 страх, что "ИИ отнимет у нас работу" проходит
👉 вместо ожидания "ИИ сейчас сделает за нас всё" приходит понимание что ИИ применяется в ряде случаев, имеет ограничения и лимиты
👉 вместо промпт-инженеров формируется подход, что каждый должен уметь промптить, как раньше надо было уметь гуглить
👉 пока нет хороших метрик для измерения качества промптов, первые попытки наивные и на экспертной оценке
👉 большие языковые модели используются в одноразовых задачах, но все больше и больше фокус на попытке автоматизаций каких-то процессов
👉 разработчики моделей добавляют лимиты и ограничения (на медицинские, политические или иные темы), что с одной стороны правильно, с другой - ограничивает развитие

Мне кажется вышло структурно.

Вчера на конференции Digital learning провели бесчеловечный интересный эксперимент совместно с Олегом Замышляевым.

Суть эксперимента: на меня повесили микрофон, чтобы попробовать сделать расшифровку голоса в максимально боевых условиях. На фото видно микрофон, который прикреплен как петличка.

Как это было сделано, можно прочитать у Олега в канале: https://news.1rj.ru/str/PromptLab_Mozlab/101 (и обратите внимание на следующий пост https://news.1rj.ru/str/PromptLab_Mozlab/102), а сам файл расшифровки доступен в гугл доке: https://docs.google.com/document/d/1gcsnilM6F6-40z22U8x7LZN34uCMo1zvPe4ECAzKkWk/edit

Ну а от меня дополненный текст, который я прогнал через нейросеть для получения читабельной версии и дополнил слайдами: https://telegra.ph/Avtomatizaciya-sozdaniya-kontenta-kak-pravilno-zadat-kontekst-II-11-17

Хотя нейросети изначально делали по образу и подобию нейронных сетей в голове живого организма (не обязательно человека), нашему мозгу очень тяжело их осознать. Зато взаимодействие с нейросетями демонстрирует, насколько, на самом деле, просто устроены наше собственное мышление.

Я сейчас очень сильно задумался над этим тезисом. Это ведь получается, что мы получили упрощенную модель учащегося?

А почему бы не обкатывать наше обучение с помощью такого теста:
- допустим мы хотим кого-то чему-то научить
- даем входной промпт отображающий текущую ситуацию (как сейчас себя ведут, как поступают)
- даем то, что нам кажется мы должны дать учащимся
- проверяем поведение
- если не устраивает - меняем логику курса, структуру, наполнение, задания... и повторяем

👁️ Мы, по сути, получаем возможность провести тестовое обучение за минимальное время и с нулевой стоимостью, прежде чем выкатывать его на всю компанию.

Какие тут вызовы:
- явно серьезная проблема уложиться в лимит токенов. Причем тут лимит даже не 100К, а сильно меньше - чем длиннее промпт тем меньше "значимость" каждого слова в нем, вероятно промпты должны быть реально лаконичные.
- точно передать текущее поведение целевой аудитории. Причем не только фактические признаки, но и внутреннюю мотивацию.
- понять каким заданием мы можем попросить нейросеть описать свое поведение, не подведя ее саму к "социально жетательному" ответу.

Что думаете?