🥸 Замени меня, GPT
Решил начать серьёзно относиться к нейросетям. Написал базовый промпт, чтобы нейросеть делала тестовые задания. Как вам результат?

Промпт:
Ты - профессиональный оценщик знаний. Сейчас я пришлю тебе текст, по нему необходимо будет составить тестовое задание и четырьмя вариантами ответа. Постарайся сделать короткое задание, в котором только один ответ будет правильным, а остальные три - не правильными. Пришли ответ в виде текста - задание и варианты ответа. Отдельно укажи, какой ответ - верный.

Вот текст:
Терстоун одним из первых стал применять математические методы в психологии и социологии. Ввел стандарт измерительных шкал по принципу парного сравнения высказываний — «шкалы типа терстоуновских». Отталкиваясь от факторно-аналитических исследований Ч. Спирмена и Р. Кеттелла в области интеллекта, предложил свой вариант многомерного факторного анализа, который приводил к опровержению концепции g-фактора интеллекта Спирмена. При этом Терстоун отказался от предположения об обязательном наличии в матрице интеркорреляций значений вклада единого общего фактора, в силу чего у него появилась возможность выявлять несколько групповых факторов, в частности при исследовании интеллекта в этом качестве выступили: особенности восприятия, пространственные способности, вербальные способности

❓ Немного пустоты

Насколько эти фразы соответствуют вашим переживаниям процессе работы:
- Во время работы я не испытываю никаких чувств
- Мне скучно заниматься работой
- Во время работы я ощущаю пустоту

Если такие мысли порой бывают - штош, вы не одни.
В статье авторов опросника переживаний в проф. деятельности есть ещё 347 человек, которые переживают пустоту на работе. И это почти треть выборки!

Труд переживается этими респондентами как пустое занятие, требующее усилий, но не приносящее удовлетворения (Осин, Леонтьев, 2017, с.41)

Как думаете, насколько шкала пустоты полезна в оценке персонала? Что с этим переживанием нужно делать?

🥹 Сложно про трудное

Постоянно путаю эти названия, но в тестах знаний действительно важно их не путать. Когда я только учился делать анализ качества тестов, напротив процента правильных ответов постоянно писал Complexity, красиво звучит же:)

Напишу тут, вдруг я не один такой:

😨 Тестовое задание может быть трудным, если для его решения нужно потратить много сил (трудиться не покладая рук) - и этих сил больше у тех, кто лучше разбирается в теме задания.

😨 Сложное задание - внутри состоит из разных частей и вообще то психометрики против таких заданий - одно задание проверяет одну тему, а не: Что такое канделябр, из чего он состоит и для чего используется?

📎Кейс от Алисы

Продолжаю эксперименты с автогенерацией заданий. Вот пример кейса про Открытость новому, которую написал Yandex GPT Pro на основе одного промпта. Кажется, что как черновик для разработки своих заданий - супер-материал!

Промпт вот:
Ты - специалист по оценке персонала. Сейчас я пришлю тебе описание компетенции, для которой необходимо написать кейсовое задание, для которого есть описание и варианты ответа. Варианты ответа должны быть схожей длинны, описывать разные варианты поведения сотрудника в описанной ситуации. Само описание ситуации должно давать сотруднику возможность повести себя по-разному. В ответ пришли описание кейса и вариантов ответа.
Вот какую компетенцию необходимо оценить с помощью кейса:

Открытость — это способность делиться информацией и опытом, говорить о сложностях и воспринимать новые знания. Открытый человек легко находит общий язык с окружающими, более эффективно решает возникающие вопросы, не стесняясь обращаться за помощью и советами к другим людям.

Любопытно, что ИИ понял что такое кейсовое задание и так, а вот для того, чтобы кейс был поживее я должен был попросить ещё добавить в этот кейс пример конкретного проекта и различные имена для сотрудников. С именами вышло не очень :):

Кажется, что можно сделать простой инструмент "Сделай себе опросник", чтобы на основе описания шкал сделать готовый опросник и подготовить его к апробации - в ней самый сок же!

⁉️ Что ты делаешь!?

Набросал, зачем психометрик нужен бизнесу :)

Если есть вопросы или идеи, что обсудить - пишите сюда.

💬Продукт HR

Недавно услышал от коллег, которые были на умной конференции, что если в HR применять продуктовый подход, то главный продукт HR - это команда.

Приходит такой руководитель в бар к HR и говорит: у меня вот задача, заверните мне эффективную команду для решения. И вот - найм, адаптация, развитие, мотивация, удержание - пакет пробивать?

Интересная мысль, но вот что с оценкой качества и всякими характеристиками продукта? Если не прикрываться сплочённостью как общим словом, а реально посмотреть - что в этой команде нужно оценить, чтобы сказать "готово, забирай"?

Классики говорят что то, про ценнностно-ориентационное единство, общие цели и командные умения. Измерять то это как?

Пока получается, что HR работает с критерием качества "в глазах руководителя" - я тебе сделаю команду (а точнее буду делать команду, это не за ночь делается), а ты скажи, когда ок. И в такой версии это не совсем продукт получается, а индивидуальный пошив с пожизненной гарантией.

А кажется что порой хочется сказать: давали норм команду, ты сам просто испортил все и с ней работать не умеешь.

📍 Вместо знания - дыра

Эксперт в любой области накапливает опыт и знания, растит свою сеть представлений в какой то области и вот выходит в большой мир - туда, где экспертизу нужно применять. В нашей метафоре - уметь быстро по своей сети представлений ходить и строить связные высказывания или адекватное поведение.

И вот, оказывается что кроме знаний от него ожидают:

1) Отсутствия ссылок там, где их нет (например, гороскопы не связаны с поведением)

2) На месте некоторых частей сети - ссылки на людей, сайты или книги, а не сами знания (вот это - в книжке посмотрю, точно знаю где, но так не помню)

3) Умение находить быстрый путь из точки А в точку Б, без лишних телодвижений (любой кликбейтный заголовок обещает нам это, нужно только...)

Получается, что во время обучения нужно часто пользоваться своей (а не учительской) сетью и хорошо её знать, не думать, что можешь запомнить всё и уметь эту свою сеть пересобирать, пробегая ножницами по непроверенным связям.

Такие метакомпетенции для учащихся, как бы только их оценить? Тесты знаний такого не измеряют :(

🛍 Значимое различие - это сколько?

Проводим опрос за опросом в подразделениях, видим, что показатели меняются, решаем что делать дальше - повышаем лояльность, работаем с развитием сотрудников, боремся с хтонью на рабочем месте.

Всё гладко, важно только, чтобы различия, которые показывает одно и то же подразделение в двух опросах было действительно значимым, а не случайным.

Опрос или тест, как любой измерительный инструмент, имеет погрешность измерения - его результаты каждый раз находятся рядом с истинным значением оцениваемого показателя, но не точно попадают в него. И вот, в одном опросе команды - результат 4,1, а во втором 4,2 - что-то реально изменилось или это просто шум?

Так вот - мини-памятка на картинке. Для того, чтобы понять, значимое ли это изменение, нужно знать, какой объём подразделения (вырастить показатель в подразделении из 10 человек сильно проще, чем в команде на 1000, но значимо ли это, если один из 10 ответил "стало лучше") и какую погрешность имеет наш инструмент.

Для картинки предположим, что разброс (если быть душным, то стандартное отклонение) оценок по какому то показателю - 1 балл, и увидим, какое различие будет значимым для команд разного размера. И вот, для 100 человек ждём, что результат изменится на 0,5, а для 1000 изменение даже на 0,2 значимое :)

🤖 Роботы заменят людей
За мной следят через камеры. Руки потеют за компьютером. Да и эти ГМО до добра не доведут.

Люди не принимают новые технологии - проявляют технофобию - или испытывают энтузиазм в отношении гаджетов и технологий - технофилию: от этих установок зависит, примут ли они нововведения. Луддиты, в современном виде говорящие "ну это зло чистой воды, эта ваша CRM" или "вы за мной все движения записываете с этими супер-часами" чаще других отказываются пользоваться новинками.

Проведение цифровой трансформации стоит для компаний миллиарды долларов, при этом часть барьеров в принятии новых "цифровых штук" связана с тем, что люди пользуются новинками не охотно и не доверяют им.

Чтобы управлять технофобией - её нужно сперва научиться измерять и для этого я адаптировал на русский язык два опросника про отношение людей к технологиям. Супер-короткий опрос для сотрудников или коллег позволит понять, для кого технологии - источник угрозы, а для кого - новых возможностей.

🤨 Пройти опросник технофобии

🙎‍♀️ Прабабушка опросников
За прошлую неделю трижды сталкивался с вопросом: А вот у нас есть в опроснике какие то варианты ответа, а вдруг они людям не понятны? Как понять, люди нормально эту шкалу используют?

Есть проблема: у каждого из нас за разными словами стоят свои значения и пересекаются они настолько, чтобы хоть как-то друг-друга понимать. Опросники появились из беседы, только вот они так стандартизованы, что у всех одинаковый набор вопросов, но базовая логика как в разговоре двоих людей - один спрашивает, другой отвечает. И в опросниках мы искренне надеемся, что тот, кто читает наш вопрос и варианты ответа поймёт тоже самое, что мы вкладывали в вопрос, а не что-то своё. Уточнить свои мысли у нас не будет никакого шанса :(

Что делать?
Давать в вариантах ответа такие описания, которые будет сложно "прочитать по-разному". Описывать поведение: то, что участнику опроса можно легко вспомнить или пронаблюдать. Вся нагрузка "работы с непониманием" переходит от участника опроса к тому, кто опрос создаёт.

Например, нам нужно оценить вот какую характеристику:
Мой руководитель участвует в развитии команды.
Варианты ответа из классической шкалы выражения согласия:

Нет, Скорее нет, Скорее да, Да.

Специально убрали средний вариант ответа, чтобы люди не "сливали" вопрос, всё сформулировано неплохо.

Только вот у меня есть свои представления о том, что должен делать руководитель, чтобы я ответил "Скорее да", а поведения на "Да" я вообще никогда не видел. Мой добродушный коллега обожает руководителя и ставит "Да" сразу - вот недавно было обучение же для всех, значит команду развивал.

Другое дело потратиться на формулирование вариантов ответа:

1 - Руководитель не уделяет внимания развития сотрудников вовсе
2 - Руководитель периодически предлагает пройти обучения / тренинги участникам команды
3 - У каждого участника команды есть свой план развития, составленный вместе с руководителем
4 - Руководитель отслеживает работу по планам развития каждого члена команды, спрашивает о личных приоритетах развития и помогает подчинённым находить варианты прокачки навыков.

И вот, мой добродушный коллега уже не может поставить 4, а вынужден выбрать 2, хотя вопрос не изменился по содержанию 🌸

📚 P.S. Конечно, 4й вариант ответа получился излишне подробным, но это просто иллюстрация, не готовый вопрос ;)

💜 Смелая Алиса

Вношу правки в свою диссертацию и ищу возможности облегчить текст и сделать его более понятным. Предложил Алисе сделать абзац более понятным и испугался: не кандидатского ума дело утверждать, что метод работает.

В оригинальном тексте фраза аккуратнее: "Приведенные выше результаты могут свидетельствовать в пользу работоспособности разработанного нами метода, поскольку..."🪶, но как же хочется оставить этот понятный текст без оговорок :):

📚 Трансформирующий опрос

Важная для каждого оценщика и психометрика книжка - Психология искусства.
Ты наверное с ума сошёл, скажете вы, ещё Капитал порекомендуй, но всё таки...

🗝 В чём важность?
Выготский ловко поставил вопрос, как работает любое произведение искусства и что оно делает с человеком: как выходит так, что вы плачете, хотя ничего особенного с этой японской собакой на станции не происходит, она просто ждёт хозяина?

Магия искусства, среди прочего, в идентификации зрителя с персонажем, и пути этой идентификации могут проходить по-разному - именно в том, с кем ты проходишь произведение в каждый момент времени, лежит ответ на вопрос, как это произведение тебя коснётся или, что интереснее - изменит тебя.

🎶 Так причём тут психометрика?
Респондент проходит опрос так же, как читатель читает рассказ или книгу - он примеривает вопросы на себя и, если автор опроса поймал участника на крючок идентификации, задумывается и выбирает что-то, что действительно раскрывает участника.

🔴 Как же спроектировать удачный кейс?
🔴Как написать формулировку в опроснике, не вызывающую разночтений?
🔴Что делать, чтобы люди стремительно проходили даже длинные опросники?

❤️Работать с идентификацией участников, давать им такой контент, в котором им проще раствориться и быть собой.

💬 Сколько информации в этом слове?

Любопытно, но в психологии субъективной семантики (это такая часть психологии, да) есть замечание, что классическая теория информации не всегда верна для людей и вот почему: когда человек говорит вам слово, вы не всегда можете понять, сколько слов он не произнёс, то есть из какого набора возможных вариантов выбирал - не всегда знаете его условный словарный запас в этой теме.

Например, слышите фиолетовая куртка - и для одного это именно фиолетовая, но не сиреневая, не лавандовая и не фуксия, а для другого - не розовая, не красная ну и не другие цвета из всего семи.

Любопытно здесь было бы измерить, на каком базовом уровне обобщения человек строит свои умозаключения и кажется, что в разных частях жизни эти уровни обобщения - супер-разные, кинолог знает много пород собак и там выдаст много информации "с ходу", а вот в рыбах он не очень силён.

🌈 Пост-AI обучение: ключевые навыки

Нашёл очень смелый пост профессора P. Hardman, в котором она описывает ключевые цели обучения в эпоху, когда мы не сопротивляемся применению ИИ, а принимаем его как возможность.

❓ Что было: классическая таксономия Блума про переход от запоминания и понимания, к применению и анализу, принятию решений и креативу на основе какой то содержательной области.

‼️ Что теперь: критический анализ информации становится основой для всей дальнейшей работы с ней, а креативная работа с контентом включает ещё и окружение - умение работать с партнёром-ИИ, разрушительно креативить и т.д.

Что интересно:
1️⃣ Модель сильнее завязывается на soft-skills учащегося, теперь не получится просто "запомнил-рассказал"
2️⃣ Модель включает креативную работу с контентом сильно раньше, уже на уровне Создания, раньше он был самым последним (привет "бытовой креатив")
3️⃣ В модели активно обсуждается применение ИИ на любом этапе, но по идее такую же роль играют и другие "неживые помощники" типа смартфона или ноутбука, только вот они всё ещё не полностью включены в образование как "только возможности"

📞 Что думаете? Как научить навыкам критического анализа и как их оценивать - это же база?

✨ Свежие мысли от молодых ТГ-каналов

Ниже - гордая подборка каналов, которые появились не так давно и активно набирают аудиторию. HR, C&B и финансы - в подборке точно найдётся что-то интересное :) Подписывайтесь скорее!

🟠HRSklad
@hrsklad
Канал - КЛАДезь полезных материалов для HR на русском и английском языке. Всегда найдется что-то полезное!

🔴Job4top Media
https://news.1rj.ru/str/job4top_media
Канал с разбором кейсов по управлению, HR в эксклюзивных статьях от российских топ-менеджеров (банкинг, IT, СМИ, enterprise).

🔴HR амбассадоры
@employeeadvocacy
Канал о том, как развивать амбассадоров среди своих сотрудников. Как обучить сотрудников и не уронить их мотивацию.

🟢C&B | Про бизнес и людей
@cbbizpeople
Канал про C&B как инструмент win-win между целями компании и интересами сотрудников.

🔵Алина Нестерова|Финансы – это красиво
https://news.1rj.ru/str/alinanest_finance
Канал об управлении личными и бизнес финансами: о практическом опыте работы с предпринимателями с точки зрения оптимизации их финансов и налогообложения.

💫 Ничего не понятно, но очень интересно

Новая рекомендация книги для лучшего понимания оценки и тестирования - "Внутри мыслящих миров" Ю.М. Лотмана.

Самая классная идея этой книги - концепция "непереводимости" текстов на разных языках друг в друга. Текстом и языком при этом тут может быть что угодно - визуальный язык, язык движений, обычные слова.

На кончиках пальцев эта непереводимость лучше всего заметна, когда вы думаете "не могу объяснить, дай покажу как сделать" или "ну это просто увидеть нужно, что тут говорить". Идея супер-простая — для каких то смысловых частей в тексте есть лучшее или более полное описание, и если вы хотите эту же смысловую часть передать на другом языке - то полностью перевести не получится, часть смысла потеряется.

☄️ Зачем это в оценке и тестировании?
Мы просим участника тестирования или опроса перевести свой сложный внутренний мир на язык "выберите вариант ответа из предложенных" и много много раз на этом пути теряем всю сложность этого внутреннего мира.

🎴 Как быть?
Просить участника отвечать не на одном языке, а на нескольких — давать ему открытые вопросы, просить нарисовать или что-то построить в процессе оценки - технически это не так сложно, а смысла и содержания про участника оценки точно добавить.