Понятно - психометрик! Тесты знаний и HR аналитика // Егор Дорохов – Telegram
Понятно - психометрик! Тесты знаний и HR аналитика // Егор Дорохов
232 subscribers
39 photos
1 video
18 links
Пишу о том, как оценивать знания и измерять людей правильно: заметки психометрика.

Идеи и сотрудничество - https://news.1rj.ru/str/psychometric_robot
Download Telegram
Свежие мысли от молодых ТГ-каналов

Ниже - гордая подборка каналов, которые появились не так давно и активно набирают аудиторию. HR, C&B и финансы - в подборке точно найдётся что-то интересное :) Подписывайтесь скорее!

🟠HRSklad
@hrsklad
Канал - КЛАДезь полезных материалов для HR на русском и английском языке. Всегда найдется что-то полезное!

🔴Job4top Media
https://news.1rj.ru/str/job4top_media
Канал с разбором кейсов по управлению, HR в эксклюзивных статьях от российских топ-менеджеров (банкинг, IT, СМИ, enterprise).

🔴HR амбассадоры
@employeeadvocacy
Канал о том, как развивать амбассадоров среди своих сотрудников. Как обучить сотрудников и не уронить их мотивацию.

🟢C&B | Про бизнес и людей
@cbbizpeople
Канал про C&B как инструмент win-win между целями компании и интересами сотрудников.

🔵Алина Нестерова|Финансы – это красиво
https://news.1rj.ru/str/alinanest_finance
Канал об управлении личными и бизнес финансами: о практическом опыте работы с предпринимателями с точки зрения оптимизации их финансов и налогообложения.
Please open Telegram to view this post
VIEW IN TELEGRAM
7
💫 Ничего не понятно, но очень интересно

Новая рекомендация книги для лучшего понимания оценки и тестирования - "Внутри мыслящих миров" Ю.М. Лотмана.

Самая классная идея этой книги - концепция "непереводимости" текстов на разных языках друг в друга. Текстом и языком при этом тут может быть что угодно - визуальный язык, язык движений, обычные слова.

На кончиках пальцев эта непереводимость лучше всего заметна, когда вы думаете "не могу объяснить, дай покажу как сделать" или "ну это просто увидеть нужно, что тут говорить". Идея супер-простая — для каких то смысловых частей в тексте есть лучшее или более полное описание, и если вы хотите эту же смысловую часть передать на другом языке - то полностью перевести не получится, часть смысла потеряется.

☄️ Зачем это в оценке и тестировании?
Мы просим участника тестирования или опроса перевести свой сложный внутренний мир на язык "выберите вариант ответа из предложенных" и много много раз на этом пути теряем всю сложность этого внутреннего мира.

🎴 Как быть?
Просить участника отвечать не на одном языке, а на нескольких — давать ему открытые вопросы, просить нарисовать или что-то построить в процессе оценки - технически это не так сложно, а смысла и содержания про участника оценки точно добавить.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8
🚀 Присваивание людям чисел становится всё занимательнее

Вчера завершил последнюю свою лекцию для четверокурсников на психфаке МГУ.Говорили про тренды в развитии психометрики и о том, как не терять общей ориентации на валидность оценки.

🟦 Из интересного: пока говорили про ИИ в психометрике, пришли к формуле «измерять тексты текстами», в смысле точно разделять ситуации, где нам важно сохранить в опроснике или тесте такой конструкт, для которого хорошо понятно наблюдаемое поведение, а где основной фокус опросника в том, чтобы он соответствовал описанному в книжках конструкту.

Выходит, что пункты про тревожность сочинить с помощью ИИ сильно проще, чем вопрос про переработку сероводорода 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
12
Как рассчитать стоимость текучести персонала?

Этот вопрос мне задают многие. Все знают, что текучка - это зло, но какой именно ущерб она наносит компании считают далеко не все.
Поэтому я подготовила для вас бесплатный мастер-класс «Расчет стоимости текучки», который проведу 2 ноября в 10.00 по мск


На мастер-классе Вы получите:
-основные KPIs для рекрутмента
-формулу расчёта текучести
-методику расчёта стоимости текучести
Методика позволит вам осознать самим и суметь аргументировать руководству необходимость внедрения HR проектов, направленных на улучшение финансовых показателей компании.

После мастер-класса Вы обретете практические навыки для того, чтобы работать меньше, а результат давать больше.

Я так же расскажу про свой курс «Управление текучкой. Подбор. Адаптация. Удержание», который станет для вас реальным проектом внедрения от начала до конца и позволит снизить текучку до 40% за год .

Подарки всем участникам:
- записи предыдущих мастер-классов
- подборка источников для продуктивного поиска персонала .

Регистрируйтесь на мастер-класс по ссылке
https://gdrubetskaya.ru/1

После регистрации вы автоматически попадаете в телеграмм канал, где будет проходить мастер-класс
5👍2🔥2
Прокрастинация в todo-листе

Слушаю книжку Прокрастинация - первая помощь, в ней много про мотивацию и прикладные способы её повышения. И вот, популярный взгляд на то, что мотивация зависит от моей оценки вероятности успеха в задаче, величины вознаграждения и от близости вознаграждения во времени.

Интересно, а что если в ту-ду программы встроить такое шкалирование, не про срочность и важность, а про субъективную оценку задачи.

🔄 Заводишь себе карточку в Jira или пункт в любом To-do сервисе, а он тебя мягко спрашивает:
1) Как думаешь, у тебя есть все ресурсы и скиллы, чтобы задачу решить?
2) После решения задачи получится что-то классное / привлекательное?
3) А когда ты почувствуешь эффект от того, что эта задача выполнена? Сразу или нужно подождать?


📌 И вот у тебя в ту-ду листе уже не сухой список задач, а твой собственный.

💬 Кто-нибудь видел такие штуки? Может потестить и сделать такой сервис? Какие риски видите в такой оценке?
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍3
🟢 Оцените от 1 до 10, насколько вам понятен этот заголовок?

Просить в ответ на вопрос число кажется очень digital — сразу понятно, что человек хочет сказать, да и в таблицу записать удобно, средние всякие накрутить.

Правда если немного подробнее расспросить человека о том, что это за число, окажется что для некоторых 4 это "хорошо", а для других "ну так, нормально" — и эти различия четвётка стирает.

🟢 Что делать?
Если вам и правда нужно в ответ от человека в опроснике число, то постарайтесь внятно ему объяснить всю шкалу или, что интересней и информативной — спросить про полюса этой шкалы его самого.

1) Оцени своё состояние от 1 до 10
2) А расскажи про 10 - чего не хватает до 10? В каких ситуациях ты чувствуешь себя на 10?
3) А вот состояние на 1 - это какое? Когда ты себя так чувствуешь?


После таких ответов окажется, что его оценку 4 по этой шкале очень сложно сравнить с другими оценками, так как шкалы оценки своего состояния у всех разные :(

🔘 Может, и не спрашивать про числа вовсе?
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍3
🇯🇵 13 дней в Токио

Возвращаюсь в канал после отпуска. Побывал в Японии второй раз, прошло 5 лет с прошлой поездки. Немного наблюдений без всякого порядка :)

1. Город с 4х летним ребёнком это совсем другой город - лифты, туалеты, улыбчивые бабушки с хорошим английским и бесплатный рис как отдельное блюдо точно не первое, на что роняешь глаз, когда путешествуешь взрослым.

2. Классически фигурок манеки-неко должно быть две - это пара кошечек, а не одна, качающая лапой.

3. Стоишь на светофоре и появляется странное ощущение, сразу не понятно, что не так. Внимательней оглядываешься и понимаешь - заметно тише! Много электромобилей дают о себе знать тем, что у дороги скорее слышен шелест шин, чем двигатели и как это контрастирует с Москвой.

4. Пройти вдоль линии метро - и вот карта метро становится ближе и понятней. Считается, что токийское метро супер-непонятное, но если посоединять станции ногами на поверхности - начинает хорошо строиться карта города, и карта метро тоже.
🔥181
💎 Очевидно, зачем проверять?

Есть такая штука в аналитике - проверка гипотез. И иногда, если исследование достаточно поисковое и не все гипотезы заранее известны, то после очистки данных первым делом хочется проверить то, про что хотим узнать - ключевые гипотезы.

При этом, мне кажется, есть важный этап, который часто включается в проверку качества данных, но не всегда проводится - это проверка очевидных предположений.
Например, проверка того, что в опроснике в рамках одной шкалы все вопросы связаны между собой положительно или проверка того, что распределение ответов на вопросы опросника ожидаемой формы.


Зачем это делать?
🟢 Фиксируем, что с данными всё в порядке не только с точки зрения пропущенных значений или каких-то технических ошибок, но и по содержанию.
🔵 Можем найти инсайты про то, что базовые гипотезы не подтвердились (например, найти такой вопрос в опроснике, который "выпал" из общей структуры у респондентов.
🔴 Получаем достоверные основания для проверки более сложных гипотез - так как базовые закономерности в данных подтверждены, значит и основания для сложных гипотез надёжные.

В такой проверке можно найти например то, что все участники опроса стремились завышать свои оценки и давали социально-желательные ответы, внести в свои смелые выводы оговорку про это и пойти узнавать, не заставляли ли их пройти опрос угрозами или излишним давлением.
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥2
🚗 Крутые задания 2025

Начинается набор на второй поток супер-курса по разработке тестовых заданий и психометрике. Эта программа для тех, кто занимается обучением и оценкой уровня знаний и навыков — преподавателей, педдизайнеров, специалистов HR, T&D.
Старт 6 февраля 2025 года.

В этом году курс состоит из двух частей: про разработку заданий и про психометрику и в нём сразу 3 ведущих - Диана Колесникова, эксперт по учебной аналитике и психометрике и Ирина Брун - профи-психометрик с международной экспертизой и я:) Курс существенно доработан с момента прошлого запуска, вот что изменилось:

🧸 Больше материалов и новая структура. Теперь курс состоит из 2 частей по 4 встречи.
🔸 Часть1. Как разрабатывать задания и собирать данные — основы тест-девелопмента, педдизайна и UX/UI-дизайна.
🔸 Часть 2. Как обрабатывать данные и принимать решения — основы статистики и психометрики.

🧶 Больше практики. В этот раз участники разработают задания, соберут реальные данные, обработают их и сделают выводы. Вторая часть курса вообще построена по модели перевернутого класса.

🔴Две траектории. Мы запланировали отдельные активности для экспертов из мира HR и мира образования во время вебинаров, добавили больше примеров из каждой области, подобрали специализированные материалы.

До 15 января скидка 20% процентов по промокоду early_bird, а здесь подробнее о курсе.

🔥 Обратите внимание — добавили удобный для HR тариф «Профессиональный» — для тех, кто хочет прийти с кем-то из коллег и сразу, прямо во время курса, собрать реальный тест или набор заданий.

Приходите, будет интересно и свежо:)
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥4👍2
🎄С наступившим всех :)
Услышал сегодня максимально подходящий трек для 1 января.
Хороших праздников!
Please open Telegram to view this post
VIEW IN TELEGRAM
💯4😁1
🌼 Включаем естественные мозги

Новый навык человека, который работает с информацией - распознавание ситуаций, в которых важно включить естественный интеллект. На фоне популярности ИИ и доступности ассистентов для решения любого рода задач, кажется важным подмечать и собирать коллекцию таких ситуаций, в которых подключение ИИ может помешать понять реальное положение вещей, "затереть" сигналы в данных и посчитать, что это незначимый шум.

Например, при анализе открытых комментариев людей в опроснике вовлечённости руки аналитика так и тянутся к кластеризации этих текстов с помощью ИИ, но вот задача: часто среди легко-понятных комментариев типа "повысьте зарплату и станет лучше", "все хорошо", "душно в офисе" есть конкретные предложения или частные жалобы - как бы их не потерять?

Или какая-нибудь команда использует свой сленг для описания рабочих задач, говорит "манулить" вместо продвигать или "шейвить" вместо "приоритезировать". Что делать с их ответами в интервью, анкетами и т.д?

Кажется, что до "аналитического отчёта" важно донести и эти свои выражения, сделав параллельный перевод на другие языки, как на табличке у достопримечательности.

🐚 Таких ситуаций достаточно много - что думаете, есть ли какие-то ключевые признаки, чтобы заранее понять, что ИИ тут не друг, не давая ему контент "на пробу" - а вдруг получится?
Please open Telegram to view this post
VIEW IN TELEGRAM
4
🏙 Немного советов от четырёхлетнего специалиста по трудовой мотивации:

Пап, выбери офис который тебе нравится и езди туда каждый день.


И вот в свежем отчёте от Blanchard видим, что почти каждый 4й участник опроса про актуальные проблемы найма говорит, что ожидания от удалёнки нужно учитывать как риски - сложный найм может случаться и по этой причине.

Кажется, что гибридный формат работы особенно хорошо работает тогда, когда есть офис, в который хочется, а не просто нужно ездить. И для найма классный офис работает на 5 с плюсом, если человек может побывать в новой для себя рабочей среде.

Так кто кого: удобный и классный офис, в который хочется иногда приехать или полная удалёнка?
5
🍷 Заметки бытового дискурс-анализа

Говорю с человеком, который работает в компании, которая занимается алкогольной продукцией, вином всяким и т.д.
И вот он говорит:
— Да и у тебя тоже, некислая компания

Ну я сперва согласился, а потом подумал, что никогда не оценивал компании по такому критерию.

Интересно, какой у него другой полюс для оценки компаний по вкусу? Терпкая, выдержанная компания? Сладкая?

И любопытно ещё, насколько долго он там работает? Как быстро можно перенести критерии оценки с продукта на саму компанию?

В каких по вкусу компаниях вы работаете или хотели бы работать?
9😁4
🌑 Однажды мир исчез. И остались одни огрызки...

Так начал свою игру сегодня утром мой сын и я очень захотел продолжить этот сюжет.

Параллельно с этим я слушаю китайский бестселлер "Построй себя" Гу Дяня: книгу про то, какие принципы сейчас являются основными для построения успешной карьеры.

И там этот-же сюжет звучит как то, что развитие технологий и возможностей "делегирование мозга", по мнению автора, наталкивает людей на то, чтобы уметь хорошо понимать, а чем же полезен именно их интеллект и их мышление, когда вокруг много доступной информации и даже думать уже можно не всегда самому.

В ответ на всё это мне кажется, что сейчас появляется отдельный запрос на такое вот "огрызкодостраивание" - умение по части информации, по одной ссылке или ключевому слову восстанавливать сеть связанных понятий, феноменов и других ссылок.

В этом смысле полноценный и насыщенный экспертный ответ на какой-то вопрос исчезает и превращается в концентрированный оргызок: экспертом становится тот, кто умеет устанавливать релевантные связи внутри содержания и хорошо понимать, что к чему и как относится. Знает, где найти информацию, но не саму информацию.

Отдельный связанный навык - сетевое наставничество - умение дать такой ответ, чтобы наставляемый сумел разглядеть семена и вырастить своё знание из этого ответа.

Как, отвечая на вопрос, дать такой "эвристичный" набор ссылок и ориентиров, следуя которым ученик сперва увидит целое яблоко, а потом научится видеть суть и обретёт свой личный огрызок? 🍎
Please open Telegram to view this post
VIEW IN TELEGRAM
16
Миф об Одной кнопке

При разработке отчётов или автоматизации какой-либо работы часто звучит идея, что "вот пользователь берёт - и по одной кнопке всё выгружает!"
Ну мечта, не правда ли?

Чаще всего при этом невозможно сделать программу, в которой пользователю хорошо от нажатия одной кнопки, ему нужно что-то про свой запрос рассказать - накликать всякие параметры, текст написать для поиска или хотя бы выбрать настройку какую-нибудь - в дашборде выбрать анализируемый период. И после этого уже нажать волшебную "Применить" и ждать свою порцию магии ❤️

Кажется, что для таких вот случаев у дашбордов и всяких приложений, которые помогают обрабатывать информацию должна появится метрика качества Time-to-Magic: сколько секунд (а может и минут 🙈) проходит с момента открытия окна приложения до того, как на экране - нужные тебе данные?

🟣 Как думаете, сколько времени нормально проводить в ожидании магии? Какие задачки хочется решать одной кнопкой, а её никак нет?
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1
👀 Встреча

Дослушал книжку Виктора Пелевина "Ампир V". В самом её конце есть эпизод, где к главному герою подходит старик-профессор и хочет проблематизировать героя немного.
Удивительно, но этот момент один-в-один повторил мой поход на лекцию в Институт философии РАН, где внук Петра Анохина Константин рассказывал про мозг как коннектом. Я, студент психфака первого курса, примерно ничего не понял, побывал на научном семинаре в первый раз, да и в самом Институте философии тоже был впервые - не сказать, что сейчас эта лекция мне помнится содержательно.

Cразу после лекции меня окликнул пожилой профессор:

- Молодой человек!
- Да...
- Зачем вы здесь?


Я честно не ожидал такого вопроса на лестнице, тем более что семинар закончился не самым однозначным обсуждением - идея коннектома и моделирования мозга не очень понравилась философам в аудитории и, по моим впечатлениям, лекция совсем не вызвала фурор. Самое время уходить, подумал я, и решил что дальше будут разбираться взрослые. Но нет - надо что-то было ответить.

- Да я так, послушать пришёл.
- Извините, но так не пойдёт - ответил он. Вы можете прийти послушать, но это пройдёт даром, если вы не понимаете, зачем вам это? В какую вашу внутреннюю картину вложится эта лекция?


Я не очень нашёлся, что ответить. Поблагодарил профессора, пошёл из здания и почти забыл этот эпизод. Оказалось, что совсем не забыл - последнее время он всё чаще вспоминается мне, особенно если я переживаю, как много книг я не прочитал, или как много обучений не прошёл.

Зачем мне это?
Please open Telegram to view this post
VIEW IN TELEGRAM
12💯3👀1
🔺 Три эпохи соседства людей и технологий

Так вышло, что мой научный интерес лежит между человеком и его устройствами: пытаюсь понять, как люди встраивают в жизнь компьютеры, смартфоны и гаджеты, как меняется жизнь после такого встраивания. Много работ описывают эффекты интернета или отдельных приложений, но работ в которых наши гаджеты бы изучались как физические вещи - орудия, только с расширенным функционалом, не так много.

Вокруг же - хайп по поводу ИИ, в котором лежит будущее наших цифровых помощников и наши личные новые вызовы: как перестроятся наши умения и навыки, наши психические функции вроде внимания или памяти в ответ на работу с ИИ?

Соседство людей с цифровыми устройствами с точки зрения психологии я предлагаю делить на 3 этапа:
1 // Инициализация: вокруг человека появляются первые цифровые устройства, чаще не умеющие того, что нужно самому человеку. Этот этап - разработка ПО, которое закрывало бы потребности человека. От человека работа на этом этапе требует погружения в то, как работают компьютеры, из чего они состоят, как их чинить и т.д. Этот этап требует инженерной эрудиции, готовности погружаться в технические детали и т.д. Работа с технологиями - дело избранных, документация к устройствам написана на техническом языке и погружение в технологии - профессиональная задача.

2 // Кастомизация: со временем пул программ и приложений разрастается, появляются хорошие программы для решения своих задач разными пользователями. На передний план выходит умение эти программы находить, разбираться в том, как они устроены, оттачивать мастерство. Выбор программ - вопрос специализации человека, маркетинга, соревнований за удобство интерфейса. Всё, что важно из прошлого этапа выносится под название "цифровая эрудиция", от человека ожидается умение осваивать интерфейсы разных приложений и искать приложения под задачу, разбираться, подойдут ли они.

3 // Персонализация: способов решения и программ становится настолько много, что каждый формирует собственный стиль решения задач и технологии начинают учитывать это - появляются умные помощники, которые опираются на то, что человек уже сделал или написал и подсказывают, что делать или писать дальше. Авторство становится коллективным, только доступ каждого человека к коллективному опыту решений работает через "одно окно"  - умного помощника, который живёт в кармане и знает своего пользователя лучше других. Важным становится не столько накопление знаний, сколько критическое мышление и опыт оценки готового материала - эпоха "писателей" меняется на эпоху "редакторов и капризных заказчиков", настойчиво говорящих "не то". От человека требуется умение формулировать свои запросы и выбирать подходящие решения, оценивать их на адекватность. 

Кажется, что одной из метрик будущих людей, работающих скорее головой, чем руками, станет степень ИИ-зации психических функций и стиль этой ИИ-зации. Личный опыт человека и его эмоционально-рациональная интуиция будут ценится выше энциклопедизма и быстрой обучаемости.

Какой стиль работы с ИИ сейчас кажется вам ближе лично для вас? Какие функции хочется, а какие ни за что не хочется передавать?
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1👀1
Зову всех смотреть на новый инструмент!
1❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Тизер Reasons SEMANTIKA

На 13-секундном видео показываем работу с методикой исследования мотивации Reasons.

А на следующей неделе — в четверг, 11:00 — расскажем про подход, процесс и отчет обстоятельнее!

Регистрируйтесь по ссылке
🎉53
🌟 Четыре опорных скилла в культуре креативности

Кажется что с ростом автоматизации и ИИ-зации среди интеллектуальных профессий растёт спрос на новый набор софт-скиллов.

Если ИИ может проанализировать тренды, придумать набор простых идей или что-то описать, то в некоторых случаях становится важно сверить с реальностью все то, что он предложил или, иногда, вручную, рутинно и последовательно, делать работу, в которой цена ошибки ИИ велика. Например, если ИИ не умеет надёжно считать - нужно считать "важные цифры" без него.

Итак, новые софт-скиллы для эпохи тотальной креативности:

1️⃣ Внимательность - умение затормозить себя, проверить и проконтролировать, что решение задачи в целом не сбилось с курса

2️⃣ Воля - умение добавлять смыслы в работу, насыщать задачи своими мотивами, позволяя себе продолжать устойчиво работать в не-своих задачах

3️⃣ Терпение - готовность действовать в ситуации отложенного вознаграждения и умение фокусироваться на нём, регулировать эмоции в ситуации стресса

4️⃣ Толерантность к рутине - умение организовать процесс работы в однотипных задачах и владение эвристиками управления своим вниманием в них, владение навыками выведения себя из состояния монотонии

Для отбора сотрудников из поколения клипового мышления и культуры открытости новому (а они активно выходят на рынок) - кажется модель в самый раз.

✏️ Что думаете? Сделать кейс-ассессмент под такую модель?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍1
В среду 27 августа в 18:00 МСК (17:00 по CET) мы с Дианой Колесниковой, психометриком и исследователем образования (ex-Учи.Ру, Колумбийский ун-т NY) и Ирой Брун, тест-девелопером, психометриком (ex НИУ ВШЭ) делаем открытую встречу-лабораторию по разработке заданий.

Это не мастер-класс и не лекция.
Хочется плечом к плечу попридумывать задания (полчаса) и потом обсудить, у кого что получилось (ещё полчаса). Думаем собираться так каждый месяц, но пока это лишь эксперимент.

🔥 Вот здесь регистрация.
В конце анкеты есть ссылка на чат в ТГ, не пропустите :)

Вопрос для ближайшей встречи:
как придумать задание, которое сложно решить с помощью LLM (типа ChatGPT и других). Конкретную тему, на которую будем писать задания, выберем вживую из предложенных вами.

🌼 Формат: 1 час. Видеозвонок в Zoom, без записи.
🌼 Участие: бесплатное.
🌼 Для кого: для всех, кто разрабатывает задания; для методистов, преподавателей, HR-специалистов.

Важно: мы ожидаем, что если вы присоединяетесь, то приходите к началу встречи, участвуете в разработке заданий и обсуждениях, остаётесь до конца встречи.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133👍2