🛍 Значимое различие - это сколько?

Проводим опрос за опросом в подразделениях, видим, что показатели меняются, решаем что делать дальше - повышаем лояльность, работаем с развитием сотрудников, боремся с хтонью на рабочем месте.

Всё гладко, важно только, чтобы различия, которые показывает одно и то же подразделение в двух опросах было действительно значимым, а не случайным.

Опрос или тест, как любой измерительный инструмент, имеет погрешность измерения - его результаты каждый раз находятся рядом с истинным значением оцениваемого показателя, но не точно попадают в него. И вот, в одном опросе команды - результат 4,1, а во втором 4,2 - что-то реально изменилось или это просто шум?

Так вот - мини-памятка на картинке. Для того, чтобы понять, значимое ли это изменение, нужно знать, какой объём подразделения (вырастить показатель в подразделении из 10 человек сильно проще, чем в команде на 1000, но значимо ли это, если один из 10 ответил "стало лучше") и какую погрешность имеет наш инструмент.

Для картинки предположим, что разброс (если быть душным, то стандартное отклонение) оценок по какому то показателю - 1 балл, и увидим, какое различие будет значимым для команд разного размера. И вот, для 100 человек ждём, что результат изменится на 0,5, а для 1000 изменение даже на 0,2 значимое :)

🤖 Роботы заменят людей
За мной следят через камеры. Руки потеют за компьютером. Да и эти ГМО до добра не доведут.

Люди не принимают новые технологии - проявляют технофобию - или испытывают энтузиазм в отношении гаджетов и технологий - технофилию: от этих установок зависит, примут ли они нововведения. Луддиты, в современном виде говорящие "ну это зло чистой воды, эта ваша CRM" или "вы за мной все движения записываете с этими супер-часами" чаще других отказываются пользоваться новинками.

Проведение цифровой трансформации стоит для компаний миллиарды долларов, при этом часть барьеров в принятии новых "цифровых штук" связана с тем, что люди пользуются новинками не охотно и не доверяют им.

Чтобы управлять технофобией - её нужно сперва научиться измерять и для этого я адаптировал на русский язык два опросника про отношение людей к технологиям. Супер-короткий опрос для сотрудников или коллег позволит понять, для кого технологии - источник угрозы, а для кого - новых возможностей.

🤨 Пройти опросник технофобии

🙎‍♀️ Прабабушка опросников
За прошлую неделю трижды сталкивался с вопросом: А вот у нас есть в опроснике какие то варианты ответа, а вдруг они людям не понятны? Как понять, люди нормально эту шкалу используют?

Есть проблема: у каждого из нас за разными словами стоят свои значения и пересекаются они настолько, чтобы хоть как-то друг-друга понимать. Опросники появились из беседы, только вот они так стандартизованы, что у всех одинаковый набор вопросов, но базовая логика как в разговоре двоих людей - один спрашивает, другой отвечает. И в опросниках мы искренне надеемся, что тот, кто читает наш вопрос и варианты ответа поймёт тоже самое, что мы вкладывали в вопрос, а не что-то своё. Уточнить свои мысли у нас не будет никакого шанса :(

Что делать?
Давать в вариантах ответа такие описания, которые будет сложно "прочитать по-разному". Описывать поведение: то, что участнику опроса можно легко вспомнить или пронаблюдать. Вся нагрузка "работы с непониманием" переходит от участника опроса к тому, кто опрос создаёт.

Например, нам нужно оценить вот какую характеристику:
Мой руководитель участвует в развитии команды.
Варианты ответа из классической шкалы выражения согласия:

Нет, Скорее нет, Скорее да, Да.

Специально убрали средний вариант ответа, чтобы люди не "сливали" вопрос, всё сформулировано неплохо.

Только вот у меня есть свои представления о том, что должен делать руководитель, чтобы я ответил "Скорее да", а поведения на "Да" я вообще никогда не видел. Мой добродушный коллега обожает руководителя и ставит "Да" сразу - вот недавно было обучение же для всех, значит команду развивал.

Другое дело потратиться на формулирование вариантов ответа:

1 - Руководитель не уделяет внимания развития сотрудников вовсе
2 - Руководитель периодически предлагает пройти обучения / тренинги участникам команды
3 - У каждого участника команды есть свой план развития, составленный вместе с руководителем
4 - Руководитель отслеживает работу по планам развития каждого члена команды, спрашивает о личных приоритетах развития и помогает подчинённым находить варианты прокачки навыков.

И вот, мой добродушный коллега уже не может поставить 4, а вынужден выбрать 2, хотя вопрос не изменился по содержанию 🌸

📚 P.S. Конечно, 4й вариант ответа получился излишне подробным, но это просто иллюстрация, не готовый вопрос ;)

💜 Смелая Алиса

Вношу правки в свою диссертацию и ищу возможности облегчить текст и сделать его более понятным. Предложил Алисе сделать абзац более понятным и испугался: не кандидатского ума дело утверждать, что метод работает.

В оригинальном тексте фраза аккуратнее: "Приведенные выше результаты могут свидетельствовать в пользу работоспособности разработанного нами метода, поскольку..."🪶, но как же хочется оставить этот понятный текст без оговорок :):

📚 Трансформирующий опрос

Важная для каждого оценщика и психометрика книжка - Психология искусства.
Ты наверное с ума сошёл, скажете вы, ещё Капитал порекомендуй, но всё таки...

🗝 В чём важность?
Выготский ловко поставил вопрос, как работает любое произведение искусства и что оно делает с человеком: как выходит так, что вы плачете, хотя ничего особенного с этой японской собакой на станции не происходит, она просто ждёт хозяина?

Магия искусства, среди прочего, в идентификации зрителя с персонажем, и пути этой идентификации могут проходить по-разному - именно в том, с кем ты проходишь произведение в каждый момент времени, лежит ответ на вопрос, как это произведение тебя коснётся или, что интереснее - изменит тебя.

🎶 Так причём тут психометрика?
Респондент проходит опрос так же, как читатель читает рассказ или книгу - он примеривает вопросы на себя и, если автор опроса поймал участника на крючок идентификации, задумывается и выбирает что-то, что действительно раскрывает участника.

🔴 Как же спроектировать удачный кейс?
🔴Как написать формулировку в опроснике, не вызывающую разночтений?
🔴Что делать, чтобы люди стремительно проходили даже длинные опросники?

❤️Работать с идентификацией участников, давать им такой контент, в котором им проще раствориться и быть собой.

💬 Сколько информации в этом слове?

Любопытно, но в психологии субъективной семантики (это такая часть психологии, да) есть замечание, что классическая теория информации не всегда верна для людей и вот почему: когда человек говорит вам слово, вы не всегда можете понять, сколько слов он не произнёс, то есть из какого набора возможных вариантов выбирал - не всегда знаете его условный словарный запас в этой теме.

Например, слышите фиолетовая куртка - и для одного это именно фиолетовая, но не сиреневая, не лавандовая и не фуксия, а для другого - не розовая, не красная ну и не другие цвета из всего семи.

Любопытно здесь было бы измерить, на каком базовом уровне обобщения человек строит свои умозаключения и кажется, что в разных частях жизни эти уровни обобщения - супер-разные, кинолог знает много пород собак и там выдаст много информации "с ходу", а вот в рыбах он не очень силён.

🌈 Пост-AI обучение: ключевые навыки

Нашёл очень смелый пост профессора P. Hardman, в котором она описывает ключевые цели обучения в эпоху, когда мы не сопротивляемся применению ИИ, а принимаем его как возможность.

❓ Что было: классическая таксономия Блума про переход от запоминания и понимания, к применению и анализу, принятию решений и креативу на основе какой то содержательной области.

‼️ Что теперь: критический анализ информации становится основой для всей дальнейшей работы с ней, а креативная работа с контентом включает ещё и окружение - умение работать с партнёром-ИИ, разрушительно креативить и т.д.

Что интересно:
1️⃣ Модель сильнее завязывается на soft-skills учащегося, теперь не получится просто "запомнил-рассказал"
2️⃣ Модель включает креативную работу с контентом сильно раньше, уже на уровне Создания, раньше он был самым последним (привет "бытовой креатив")
3️⃣ В модели активно обсуждается применение ИИ на любом этапе, но по идее такую же роль играют и другие "неживые помощники" типа смартфона или ноутбука, только вот они всё ещё не полностью включены в образование как "только возможности"

📞 Что думаете? Как научить навыкам критического анализа и как их оценивать - это же база?

✨ Свежие мысли от молодых ТГ-каналов

Ниже - гордая подборка каналов, которые появились не так давно и активно набирают аудиторию. HR, C&B и финансы - в подборке точно найдётся что-то интересное :) Подписывайтесь скорее!

🟠HRSklad
@hrsklad
Канал - КЛАДезь полезных материалов для HR на русском и английском языке. Всегда найдется что-то полезное!

🔴Job4top Media
https://news.1rj.ru/str/job4top_media
Канал с разбором кейсов по управлению, HR в эксклюзивных статьях от российских топ-менеджеров (банкинг, IT, СМИ, enterprise).

🔴HR амбассадоры
@employeeadvocacy
Канал о том, как развивать амбассадоров среди своих сотрудников. Как обучить сотрудников и не уронить их мотивацию.

🟢C&B | Про бизнес и людей
@cbbizpeople
Канал про C&B как инструмент win-win между целями компании и интересами сотрудников.

🔵Алина Нестерова|Финансы – это красиво
https://news.1rj.ru/str/alinanest_finance
Канал об управлении личными и бизнес финансами: о практическом опыте работы с предпринимателями с точки зрения оптимизации их финансов и налогообложения.

💫 Ничего не понятно, но очень интересно

Новая рекомендация книги для лучшего понимания оценки и тестирования - "Внутри мыслящих миров" Ю.М. Лотмана.

Самая классная идея этой книги - концепция "непереводимости" текстов на разных языках друг в друга. Текстом и языком при этом тут может быть что угодно - визуальный язык, язык движений, обычные слова.

На кончиках пальцев эта непереводимость лучше всего заметна, когда вы думаете "не могу объяснить, дай покажу как сделать" или "ну это просто увидеть нужно, что тут говорить". Идея супер-простая — для каких то смысловых частей в тексте есть лучшее или более полное описание, и если вы хотите эту же смысловую часть передать на другом языке - то полностью перевести не получится, часть смысла потеряется.

☄️ Зачем это в оценке и тестировании?
Мы просим участника тестирования или опроса перевести свой сложный внутренний мир на язык "выберите вариант ответа из предложенных" и много много раз на этом пути теряем всю сложность этого внутреннего мира.

🎴 Как быть?
Просить участника отвечать не на одном языке, а на нескольких — давать ему открытые вопросы, просить нарисовать или что-то построить в процессе оценки - технически это не так сложно, а смысла и содержания про участника оценки точно добавить.

🚀 Присваивание людям чисел становится всё занимательнее

Вчера завершил последнюю свою лекцию для четверокурсников на психфаке МГУ.Говорили про тренды в развитии психометрики и о том, как не терять общей ориентации на валидность оценки.

🟦 Из интересного: пока говорили про ИИ в психометрике, пришли к формуле «измерять тексты текстами», в смысле точно разделять ситуации, где нам важно сохранить в опроснике или тесте такой конструкт, для которого хорошо понятно наблюдаемое поведение, а где основной фокус опросника в том, чтобы он соответствовал описанному в книжках конструкту.

Выходит, что пункты про тревожность сочинить с помощью ИИ сильно проще, чем вопрос про переработку сероводорода 👀

✅ Прокрастинация в todo-листе

Слушаю книжку Прокрастинация - первая помощь, в ней много про мотивацию и прикладные способы её повышения. И вот, популярный взгляд на то, что мотивация зависит от моей оценки вероятности успеха в задаче, величины вознаграждения и от близости вознаграждения во времени.

Интересно, а что если в ту-ду программы встроить такое шкалирование, не про срочность и важность, а про субъективную оценку задачи.

🔄 Заводишь себе карточку в Jira или пункт в любом To-do сервисе, а он тебя мягко спрашивает:

1) Как думаешь, у тебя есть все ресурсы и скиллы, чтобы задачу решить?
2) После решения задачи получится что-то классное / привлекательное?
3) А когда ты почувствуешь эффект от того, что эта задача выполнена? Сразу или нужно подождать?

📌 И вот у тебя в ту-ду листе уже не сухой список задач, а твой собственный.

💬 Кто-нибудь видел такие штуки? Может потестить и сделать такой сервис? Какие риски видите в такой оценке?

🟢 Оцените от 1 до 10, насколько вам понятен этот заголовок?

Просить в ответ на вопрос число кажется очень digital — сразу понятно, что человек хочет сказать, да и в таблицу записать удобно, средние всякие накрутить.

Правда если немного подробнее расспросить человека о том, что это за число, окажется что для некоторых 4 это "хорошо", а для других "ну так, нормально" — и эти различия четвётка стирает.

🟢 Что делать?
Если вам и правда нужно в ответ от человека в опроснике число, то постарайтесь внятно ему объяснить всю шкалу или, что интересней и информативной — спросить про полюса этой шкалы его самого.

1) Оцени своё состояние от 1 до 10
2) А расскажи про 10 - чего не хватает до 10? В каких ситуациях ты чувствуешь себя на 10?
3) А вот состояние на 1 - это какое? Когда ты себя так чувствуешь?

После таких ответов окажется, что его оценку 4 по этой шкале очень сложно сравнить с другими оценками, так как шкалы оценки своего состояния у всех разные :(

🔘 Может, и не спрашивать про числа вовсе?

💎 Очевидно, зачем проверять?

Есть такая штука в аналитике - проверка гипотез. И иногда, если исследование достаточно поисковое и не все гипотезы заранее известны, то после очистки данных первым делом хочется проверить то, про что хотим узнать - ключевые гипотезы.

При этом, мне кажется, есть важный этап, который часто включается в проверку качества данных, но не всегда проводится - это проверка очевидных предположений.

Например, проверка того, что в опроснике в рамках одной шкалы все вопросы связаны между собой положительно или проверка того, что распределение ответов на вопросы опросника ожидаемой формы.

Зачем это делать?
🟢 Фиксируем, что с данными всё в порядке не только с точки зрения пропущенных значений или каких-то технических ошибок, но и по содержанию.
🔵 Можем найти инсайты про то, что базовые гипотезы не подтвердились (например, найти такой вопрос в опроснике, который "выпал" из общей структуры у респондентов.
🔴 Получаем достоверные основания для проверки более сложных гипотез - так как базовые закономерности в данных подтверждены, значит и основания для сложных гипотез надёжные.

В такой проверке можно найти например то, что все участники опроса стремились завышать свои оценки и давали социально-желательные ответы, внести в свои смелые выводы оговорку про это и пойти узнавать, не заставляли ли их пройти опрос угрозами или излишним давлением.

🚗 Крутые задания 2025

Начинается набор на второй поток супер-курса по разработке тестовых заданий и психометрике. Эта программа для тех, кто занимается обучением и оценкой уровня знаний и навыков — преподавателей, педдизайнеров, специалистов HR, T&D.
Старт 6 февраля 2025 года.

В этом году курс состоит из двух частей: про разработку заданий и про психометрику и в нём сразу 3 ведущих - Диана Колесникова, эксперт по учебной аналитике и психометрике и Ирина Брун - профи-психометрик с международной экспертизой и я:) Курс существенно доработан с момента прошлого запуска, вот что изменилось:

🧸 Больше материалов и новая структура. Теперь курс состоит из 2 частей по 4 встречи.
🔸 Часть1. Как разрабатывать задания и собирать данные — основы тест-девелопмента, педдизайна и UX/UI-дизайна.
🔸 Часть 2. Как обрабатывать данные и принимать решения — основы статистики и психометрики.

🧶 Больше практики. В этот раз участники разработают задания, соберут реальные данные, обработают их и сделают выводы. Вторая часть курса вообще построена по модели перевернутого класса.

🔴Две траектории. Мы запланировали отдельные активности для экспертов из мира HR и мира образования во время вебинаров, добавили больше примеров из каждой области, подобрали специализированные материалы.

До 15 января скидка 20% процентов по промокоду early_bird, а здесь подробнее о курсе.

🔥 Обратите внимание — добавили удобный для HR тариф «Профессиональный» — для тех, кто хочет прийти с кем-то из коллег и сразу, прямо во время курса, собрать реальный тест или набор заданий.

Приходите, будет интересно и свежо:)

🎄С наступившим всех :)
Услышал сегодня максимально подходящий трек для 1 января.
Хороших праздников!

🌼 Включаем естественные мозги

Новый навык человека, который работает с информацией - распознавание ситуаций, в которых важно включить естественный интеллект. На фоне популярности ИИ и доступности ассистентов для решения любого рода задач, кажется важным подмечать и собирать коллекцию таких ситуаций, в которых подключение ИИ может помешать понять реальное положение вещей, "затереть" сигналы в данных и посчитать, что это незначимый шум.

Например, при анализе открытых комментариев людей в опроснике вовлечённости руки аналитика так и тянутся к кластеризации этих текстов с помощью ИИ, но вот задача: часто среди легко-понятных комментариев типа "повысьте зарплату и станет лучше", "все хорошо", "душно в офисе" есть конкретные предложения или частные жалобы - как бы их не потерять?

Или какая-нибудь команда использует свой сленг для описания рабочих задач, говорит "манулить" вместо продвигать или "шейвить" вместо "приоритезировать". Что делать с их ответами в интервью, анкетами и т.д?

Кажется, что до "аналитического отчёта" важно донести и эти свои выражения, сделав параллельный перевод на другие языки, как на табличке у достопримечательности.

🐚 Таких ситуаций достаточно много - что думаете, есть ли какие-то ключевые признаки, чтобы заранее понять, что ИИ тут не друг, не давая ему контент "на пробу" - а вдруг получится?