👍 Привет!

Меня зовут Егор, я психометрик и уже больше 8 лет занимаюсь оценкой персонала. Я работал с крупными производствами, делал тесты для всероссийского конкурса управленцев, работал с самыми крупными компаниями России по числу сотрудников. У меня есть свой опросник отношения людей к технологиям, я интересуюсь человек-компьютерными штуками в психологии :)
Сделал этот канал, чтобы делиться опытом и кейсами, понятно рассказывать о том, что и как работает в психологических опросниках и тестах знаний.

Если у вас есть идея какого-нибудь опросника, в вашей компании не хватает регулярной оценки профессиональных знаний или накопились HR-данные, до которых никак не доходят руки - можно смело писать в бота и мы придумаем, что с этим делать.

🟢 Минутка пользы: Вот тут можно прочитать, зачем психометрик нужен бизнесу. А тут и тут - промпты для разработки заданий с Yandex GPT :)

📌 Когда тестирование знаний - лучшее решение?

Если коротко, то тест знаний работает в полную силу, если есть сочетание трёх факторов:

1 // Есть не меньше 60 человек, которые должны обладать знаниями по какой то теме, а мы не знаем - точно ли они ими обладают.

2 // Есть понятные выводы, которые хочется сделать с опорой на результаты оценки знаний.

3 // Есть общее понимание, какие именно знания - ключевые в какой-то теме.

Звучит достаточно просто.
Начинаем огромный проект, в компании больше 40 профессиональных компетенций - областей экспертизы сотрудников, которые важно оценить. Компетенции только что разработаны и описаны, нужно сделать тесты - по одному по каждой теме.

И вот, перед нами:

😮 тема, по которой в этой компании есть знания только у троих сотрудников
- Давайте делаем для них тест тоже, до кучи?

⌛ идея провести тестирование знаний, "а там посмотрим" - если результаты выйдут хорошими, то и делать ничего не будем или просто забудем рассказать о результатах

🗣️ разные "школы мысли" в рамках одной темы - попробуй разобрать, какие практики управления проектами из огромной кучи инструментов и методов должны знать все?

Знакомы ли вам такие ситуации? Есть кейсы, когда эти правила не работают?

🙂 Faking #1 - почему люди врут в ответах на вопросы

Единственное, что не умеет оценивать опросник или тест - это ложь. Полиграф или другие методики, оценивающие "потеющие руки и дрожь в голосе" дороговаты и участники очень не любят такую оценку. Поэтому разработчики тестов и опросов стараются сделать так, чтобы участник опроса не мог или не хотел дать неправдивый ответ.

Разберём, зачем участнику опроса может прийти в голову давать неправдивые ответы:

1 // Показать себя с лучшей стороны
Если опросник встречается в ситуации приёма на работу или на самой работе, у многих срабатывает защита: "Меня уволят или премии лишат, если скажу что-то плохое". Здесь есть специальные формы защиты от социально желательных ответов.

2 // Нет подходящего ответа. Вы спрашиваете про то, что человеку интересно на работе или о чем сделать следующий пост, но не добавляете ответ "много денег" или "пост про Вояджер-1" и вот - участнику опроса нужно выбирать, что ему ближе из перечисленных вариантов, но его правдивый ответ - другой.

3 // Процедура опроса стрёмная не создаёт ощущения безопасности. "Сейчас я выберу, что у нас с руководителем ссоры через день, но ссылку на этот анонимный опрос мне прислали на рабочую почту и стой потом красней."

В следующем посте разберём, как разработчики опросников защищаются от лживых ответов.

☄️ Faking #2 - что делать, чтобы участники не врали в опросах

Выше я коротко описал, почему участники могут врать в опросах. Теперь примеры того, как с этим бороться.

1 // Менять форму вопросов. Здесь есть популярный ход в сторону заданий вынужденного выбора: Вы красивый или хороший?
Это далеко не всегда лучше решение, участников этот формат тоже может бесить и они начнут говорить "тут все мне подходит, не могу выбрать", но с точки зрения измерений такой формат сложнее взломать и "нарисовать идеальный портрет" в ответах. Это походит для ситуаций оценки с высокими ставками: например, для оценки того, какая мотивация привела студента на стажировку в компанию.

2 // Добавлять вариант "Другое". Если мы хотим узнать настоящий ответ участника - почему бы не предложить ему написать прямо текстом. Здесь можно прикрутить нейросеть для обработки текстов и - вуаля - честные ответы и насыщенные тексты в ответах :)
Ввжно: не смешивать это с ипсативными вопросами, открытые ответы подходят там, где ставки оценки низкие.

3 // Работать на доверие. Постоянно после тестирования или проведения опросов давать участникам понять, как и используются результаты, не скрывать их использования в принятии решений и специально рассказывать: "Вот был опрос - вот action-план по работе с тем, что западает. Вот это сделали по итогам прошлого опроса." Доверие требует времени, но точно стоит потратить это время, чтобы не проводить опросы и тесты в впустую."

Подобрал три примера на разных уровнях - от самих вопросов до процедуры и работы с результатами.

Какие ещё способы работы с социальной желательностью вы используете? Что работает?

🤫 Ключ от оценки знаний

Супер-подробные гайды о том, как писать хорошие тестовые задания и делать тесты знаний информативными, укладываются в одно предложение:

Хорошее тестовое задание должно быть таким, что человек, который обладает знанием мог его решить, а тот, кто не обладает знанием - решить не мог.

На каждом обучении по разработке заданий я начинаю разговор с этого утверждения и "ну это понятно, давай дальше". И ещё минут 40 уходит на то, чтобы этот принцип почувствовать - напишу и разберу примеры позже.

Как по-вашему, что важно проверить в каждом задании, чтобы оно хорошо оценивало знания?

👀 Сколько-сколько?

- У меня для вас плохие новости - сказал психометрик
Заказчик - опытный HR, даже не повёл бровью, выжидающе смотрел на психометрика:
- Нуу?
- Для того, чтобы оценить знания участника по одной теме, каждый должен увидеть в тесте по ней 10 заданий. Я понимаю, это конечно много, но только так мы можем быть уверены, что участник более-менее разбирается в теме.

- Ну хорошо, по 10 заданий мы как-нибудь разработаем...
- Это ещё не всё. Вы хотите протестировать 200 человек, задания могут легко "уйти в народ" после того, как первые участники пройдут тест. Поэтому задания мы обычно делаем с запасом. Ну, например, двухкратным. По 20 заданий на тему, получается. И участнику показываем случайную подборку из этих 20.

Заказчик закрывает глаза, чуть дольше держит их закрытыми, выдыхает:
- Окей, 20 так 20. Давайте делать. У нас 10 тем, 200 заданий звучит внушительно, сроки горят.

- Ну да. В итоге нам нужны 200 заданий. Только вот эксперты тоже не всегда пишут задания хорошо с первого раза. Поэтому тут мы будем делать их с запасом. Заданий по 25 по каждой теме, чтобы 20 хороших точно получились!

- А хорошие новости у вас на сегодня есть?
- Конечно! Если строго следовать Российскому стандарту тестирования персонала или зарубежным гайдам, то вместо 10 заданий для участника было бы 20. Мы просто на практике знаем, что 10 достаточно, но вот меньше никак. Так что хорошая новость в том, что не в два раза больше ;)

➡️ Главная проблема ЕГЭ

Доверие к ЕГЭ, по моим наблюдениям, практически нулевое. На каждом разговоре о ЕГЭ выясняется, что основных претензий примерно две:

1 // ЕГЭ приучает выбирать ответы на вопросы, а не думать глубоко
2 // Подтасовать результаты на бланках - легко. Эти бланки утекают в сеть за минуты.

Про глубину. Вообще, в любое тестовое задание можно заложить проверку сложных знаний и мышления. Выбор варианта в тесте - просто формат ответа, который удобно оценить роботу. Для проверки "на глубину" есть письменная часть, а вот тестовая - на "ширину" знаний - тесты знаний всегда проверяют только её.

Про подтасовку. В отличие от других массовых опросов, где набор вопросов для всех одинаковый, ЕГЭ претендует на проверку знаний в большой теме, а не конкретного набора фактов. Это даёт свободу - можно спрашивать про разные факты у разных учеников, не про одно и то же.

Что делать?
Перемешивать варианты заданий для разных учеников, перемешивать варианты ответов и давать задания с разными форматами ответа (тут - напиши, тут - на картинке покажи).
Всё это реально, если тестирование - компьютерное, а не бумажное.

Как думаете, с компьютерным форматом ЕГЭ - станет лучше?

🥸 Замени меня, GPT
Решил начать серьёзно относиться к нейросетям. Написал базовый промпт, чтобы нейросеть делала тестовые задания. Как вам результат?

Промпт:
Ты - профессиональный оценщик знаний. Сейчас я пришлю тебе текст, по нему необходимо будет составить тестовое задание и четырьмя вариантами ответа. Постарайся сделать короткое задание, в котором только один ответ будет правильным, а остальные три - не правильными. Пришли ответ в виде текста - задание и варианты ответа. Отдельно укажи, какой ответ - верный.

Вот текст:
Терстоун одним из первых стал применять математические методы в психологии и социологии. Ввел стандарт измерительных шкал по принципу парного сравнения высказываний — «шкалы типа терстоуновских». Отталкиваясь от факторно-аналитических исследований Ч. Спирмена и Р. Кеттелла в области интеллекта, предложил свой вариант многомерного факторного анализа, который приводил к опровержению концепции g-фактора интеллекта Спирмена. При этом Терстоун отказался от предположения об обязательном наличии в матрице интеркорреляций значений вклада единого общего фактора, в силу чего у него появилась возможность выявлять несколько групповых факторов, в частности при исследовании интеллекта в этом качестве выступили: особенности восприятия, пространственные способности, вербальные способности

❓ Немного пустоты

Насколько эти фразы соответствуют вашим переживаниям процессе работы:
- Во время работы я не испытываю никаких чувств
- Мне скучно заниматься работой
- Во время работы я ощущаю пустоту

Если такие мысли порой бывают - штош, вы не одни.
В статье авторов опросника переживаний в проф. деятельности есть ещё 347 человек, которые переживают пустоту на работе. И это почти треть выборки!

Труд переживается этими респондентами как пустое занятие, требующее усилий, но не приносящее удовлетворения (Осин, Леонтьев, 2017, с.41)

Как думаете, насколько шкала пустоты полезна в оценке персонала? Что с этим переживанием нужно делать?

🥹 Сложно про трудное

Постоянно путаю эти названия, но в тестах знаний действительно важно их не путать. Когда я только учился делать анализ качества тестов, напротив процента правильных ответов постоянно писал Complexity, красиво звучит же:)

Напишу тут, вдруг я не один такой:

😨 Тестовое задание может быть трудным, если для его решения нужно потратить много сил (трудиться не покладая рук) - и этих сил больше у тех, кто лучше разбирается в теме задания.

😨 Сложное задание - внутри состоит из разных частей и вообще то психометрики против таких заданий - одно задание проверяет одну тему, а не: Что такое канделябр, из чего он состоит и для чего используется?

📎Кейс от Алисы

Продолжаю эксперименты с автогенерацией заданий. Вот пример кейса про Открытость новому, которую написал Yandex GPT Pro на основе одного промпта. Кажется, что как черновик для разработки своих заданий - супер-материал!

Промпт вот:
Ты - специалист по оценке персонала. Сейчас я пришлю тебе описание компетенции, для которой необходимо написать кейсовое задание, для которого есть описание и варианты ответа. Варианты ответа должны быть схожей длинны, описывать разные варианты поведения сотрудника в описанной ситуации. Само описание ситуации должно давать сотруднику возможность повести себя по-разному. В ответ пришли описание кейса и вариантов ответа.
Вот какую компетенцию необходимо оценить с помощью кейса:

Открытость — это способность делиться информацией и опытом, говорить о сложностях и воспринимать новые знания. Открытый человек легко находит общий язык с окружающими, более эффективно решает возникающие вопросы, не стесняясь обращаться за помощью и советами к другим людям.

Любопытно, что ИИ понял что такое кейсовое задание и так, а вот для того, чтобы кейс был поживее я должен был попросить ещё добавить в этот кейс пример конкретного проекта и различные имена для сотрудников. С именами вышло не очень :):

Кажется, что можно сделать простой инструмент "Сделай себе опросник", чтобы на основе описания шкал сделать готовый опросник и подготовить его к апробации - в ней самый сок же!

⁉️ Что ты делаешь!?

Набросал, зачем психометрик нужен бизнесу :)

Если есть вопросы или идеи, что обсудить - пишите сюда.

💬Продукт HR

Недавно услышал от коллег, которые были на умной конференции, что если в HR применять продуктовый подход, то главный продукт HR - это команда.

Приходит такой руководитель в бар к HR и говорит: у меня вот задача, заверните мне эффективную команду для решения. И вот - найм, адаптация, развитие, мотивация, удержание - пакет пробивать?

Интересная мысль, но вот что с оценкой качества и всякими характеристиками продукта? Если не прикрываться сплочённостью как общим словом, а реально посмотреть - что в этой команде нужно оценить, чтобы сказать "готово, забирай"?

Классики говорят что то, про ценнностно-ориентационное единство, общие цели и командные умения. Измерять то это как?

Пока получается, что HR работает с критерием качества "в глазах руководителя" - я тебе сделаю команду (а точнее буду делать команду, это не за ночь делается), а ты скажи, когда ок. И в такой версии это не совсем продукт получается, а индивидуальный пошив с пожизненной гарантией.

А кажется что порой хочется сказать: давали норм команду, ты сам просто испортил все и с ней работать не умеешь.