В этом Телеграм-канале "Компьютерная психодиагностика и психосемантика" мы недавно провели необычный опрос. Насчет предоставления бесплатного доступа к платформе HT-LINE в режиме "пробный период" (trial period). См. результаты этого опроса на скриншоте. Мда... я не ожидал, что будет много участников, но 15 - это в самом деле маловато. Стоит ли ради такого отклика возиться? А ведь мы планировали с нового 2023 года дать уже не пару недель и не месяц на пробный период (и не 10 запусков одного теста), а как видите полноценный ресурс для выполнения, например, дипломной работы студентом. А ведь придется нам создавать современные видео-инструкции, выделять ресурсы на поддержку пользователей.

Жду ваших комментариев, коллеги.

Коллеги, здравствуйте. Выясняется, что движок ТГ не позволяет в одно сообщение включить и картинку (с развернутым большим комментарием к ней), и опрос. Поэтому я здесь вначале комментирую эту картинку, а в следующем сообщении публикую опрос по этой картинке.

Итак, Вы видите несколько упрощенные, выдуманные результаты экспертной оценки кейсов. Аналогичные тому, которые мы будем получать в ноябрьском открытом конкурсе кейсов "Конкуренция в организации", где каждый участник будет оценивать кейсы других участников. Как видите, кейсы у нас как будто оценивали 7 экспертов и они упорядочены по убыванию согласованности их оценок с усредненными оценками остальных. Вам надо будет решить такую задачку (и выбрать ответ в ходе опроса-голосования): каких экспертов надо исключить из подсчета рейтинга качества кейсов, начиная с нижних позиций в списке. Иными словами: где пролегает порог отсева неквалифицированных экспертов. Сейчас не буду нагружать Вас разговорами, какой именно коэффициент согласованности используется. Для простоты можете думать, что это обычная линейная корреляция.

ВНИМАНИЕ: в ходе опроса Вы можете указывать сразу несколько ответов - ФИО всех экспертов, которых надо исключить из подсчета рейтинга конкурсных объектов (кейсов).

ОБСУЖДЕНИЕ ТЕКУЩЕГО ГОЛОСОВАНИЯ

По мотивам текущего опроса-голосования возникло на ленте ВК следующее обсуждение, которое, надеюсь, представляет интерес для участников этой ТГ-группы.

===========================

Юрий Шатров
Александр Георгиевич, меня интересовал связанный, но немного другой вопрос. Сам отбор экспертов на основе согласованности предполагает, что эксперты в массе своей оценивают правильно. И есть только несколько из них, нерадивых, которые почему-то дают «другие» оценки и их нужно выявлять метрикой согласованности.

Но на самом деле мы не знаем:
1. Правда ли большая часть экспертов оценивает нормально ИЛИ на самом деле этот один-два несогласованных экспертов оценивают нормально, а остальные нет?
2. Действительно ли согласованность — главная метрика квалифицированности экспертов? Есть еще распределение и разброс оценок, факторная валидность оценок (в том числе соответствие теоретической модели, если она есть) и другие метрики. Иными словами, при анализе экспертных оценок я понимаю, что только метрики согласованности практически никогда не достаточно

Александр Шмелев
Юрий, очень многие специалисты, которые МАЛО работали практически с анализом согласованности экспертов, задают мне уже лет 35 этот же вопрос (!): " А вдруг большинство попадает пальцем в небо?!". Скажу Вам так. У меня было штук 50 (полсотни) разных проектов на очень разном материале. В них участвовали очень разные по численности коллективы экспертов: от 5 человек до 250 (при шкалировании имен было более 200). И НИ РАЗУ не было так, чтобы меньший по размеру кластер давал более точные оценки, чем бОльший по размеру кластер экспертов. Уверяю Вас, что я применял к метрике согласованности такие внешние дополнительные метрики, как, например, коммерческая востребованность программных продуктов (при экспертной оценке программных продуктов), как устойчивость экспертного рейтинга в ходе перетестирования с большим интервалом времени (от 1 до 2 месяцев - ретестовая надежность).

Почему так получается? - Потому, что работают 2 механизма (каждый из них может отключиться, но я не видел этого НИ РАЗУ):

а) Среди объектов оценивания оказываются, как правило, совсем "плохие", которые почти все эксперты оценивают как низкие по качеству. Из чего я сделал вывод, что если вдруг таких в "стимульном материале" нет или мало, то ... надо добавить эти "плохие".

б) Среди экспертов с низким баллом согласованности наблюдается низкий взаимный попарный уровень сходства оценок. Если пользоваться аналогией, то плохие эксперты - это "экзопланеты", которые удалены от "центра планетной системы, то есть от звезды" совсем в разных стороны и не образуют кучную подсистему (консистентный кластер).

Конечно, если мы применим этот метод на "переднем крае науки", где происходит ломка парадигмальных представлений, то там метод согласованности даст тот самый негативный эффект, о котором Вы беспокоитесь. Но... управленческие решения, которые опираются на базовую управленческую КУЛЬТУРУ (на статистический норматив эффективности) - это как раз та сфера, где все, что соответствует массовому эталону, - это адаптивное, а то, что от него отклоняется, - это дезадаптивные решения (!). - Почему? - Потому что против них возражают исполнители, которые тоже находятся в рамках "культурно-заданного шаблона" (парадигмы).

Комментирую результаты опроса. Они в целом совпадают с нашим порогом отсева экспертов, который мы применяем уже много лет. Это 0,6. Хотя более половины решили, что 0,7, но все-таки не две трети (нет квалифицированного большинства).

РАЗБОР ПОЛЕТОВ

Итак, дорогие коллеги. Не часто мы так быстро собираем более 50 голосов от участников этого канала. Тема "что такое парадигма?" оказалась неожиданно для меня самого весьма популярной. Также неплохие получены комментарии и "иные варианты" . Вы их увидеть можете, если кликните под основным сообщением на "комментарии". Мне понравился дополнительный ответ от Елены Мартыновой про "систему координат". Понятно почему? - Этот ответ приближает нас к когнитивно-личностной методологии, связанной с построением субъективных семантических пространств.

О чем говорит лидерство третьего ответа (хотя и не очень выраженное)? - На мой взгляд, оно является свидетельством того, что термин "парадигма" выполняет до сих пор СОЦИАЛЬНО-ЛИНГВИСТИЧЕСКУЮ функцию: говорящий обозначает с помощью этого термина свою принадлежность к научному (академическому) сообществу.

ЧТО ТАКОЕ БЕСПРОИГРЫШНЫЙ ТВОРЧЕСКИЙ КОНКУРС (БТК)?

Современные компьютерные Сети дают возможность реализовать теперь очень быстро и легко такую конкурсную схему, которую было очень трудно реализовать в прошлом веке - до появления Интернета.

На наш открытый сетевой конкурс кейсов "Конкуренция в организации", который намечен на 15 ноября, уже подано в этом сезоне 9 кейсов (в прошлом было 36). Сбор заявок продолжается (!).

Принцип БТК состоит в том, что в случае относительной неудачи НИКТО, кроме самого автора, не знает, какое он занял место на конкурсе. А в случае удачи весьма почетно оказаться в числе призеров конкурса, список которых публикуется. В данном нашем конкурсе запланировано три денежных приза с общим призовым фондом в 60 тысяч рублей (для авторов трех лучших кейсов), а также неденежный приз для всех квалифицированных и добросовестных экспертов (давших согласованные с другими экспертами оценки кейсов по 6 параметрам) - это доступ к "Библиотеке эффективных решений" (к перечню относительно удачных кейсов - с суммарной положительной оценкой).

Важное уточнение: когда на втором этапе конкурса авторы-участники оценивают кейсы других авторов, они видят ТОЛЬКО САМИ КОНКУРСНЫЕ МАТЕРИАЛЫ, но не видят ФИО автора (!) Таким образом, принцип БТК технически выражается в том, что на этапе "взаимных оценок" конкурсные объекты (в данном случае кейсы) предьявляются как анонимные объекты. Это создает существенно иную реальность, чем "лайки в социальных сетях" по отношению к материалам известных Вам авторов - зарегистрированных в данной социальной сети.


Прямая ссылка для саморегистрации на конкурсе опубликована на рекламно-посадочном сайте проекта ПиОТК-23

https://incht.tilda.ws/competition2023

С автором этой статьи в "Большой Российской Энциклопедии" - Ириной Павловной Шкуратовой - мы познакомились уже очень давно. Это было на узкотематической конференции "Когнитивные стили", которую организовал в Таллине в 1986 Вольдемар Колга. Много лет мы поддерживаем с Ириной добрые отношения. Она стала одним из наших "лучших блогеров года" в нашем ЭСПП - активно участвовала во многих проектах этого сообщества.

Сама по себе методика "Включенные фигуры" является такой же классикой мировой научной психодиагностики как "тест цветных слов" или "умственное вращение фигур".


https://bigenc.ru/c/vkliuchionnye-figury-97de00

Приятно, что Ирина Павловна включила в статью ссылку на современные компьютерные версии этой классической методики, причем доступные в режиме онлайн:

https://www.examsbook.com/embedded-figures-test-online-free

Многие коллеги знают немало трехуровневых (трехслойных) классификаций, или моделей психики человека. Но какой из этих моделей Вы лично отдаете предпочтение? Чтобы Вам было легче немножко освежить контекст, предлагаю не только свой словарь на сайте www.ht-line.ru (там см. прежде всего статью Шмелева А.Г. "Психика как биокомпьютер"), но и статью, написанную психологом из Беларуси Владимиром Корнем:

https://www.b17.ru/article/105257/?ysclid=lopnrxuwkd949858764

А сам опрос-голосование даю в следующем сообщении на этом ТГ-канале.
ВНИМАНИЕ: в этом опросе предлагается не только указать предпочитаемую модель, но указать 2-3 совместимые модели.

СЦЕНАРИЙ-СКЕЛЕТОН ИЛИ STRUCTURED QUESTION

Приближается конкурс кейсов на сайте www.ht-line.ru (начало намечено на 15 ноября). В этом году тематика кейсов должна быть сфокусирована более узко, чем в прошлом - "Конкуренция в организации". Выясняется, что для многих не очень понятно, где проходит граница между "конкуренцией" и банальными "организационными неурядицами".Это резко сокращает число участников конкурса... Объявленный немаленький призовой фонд конкурса не слишком воодушевляет людей пока...

Поэтому мы вчера соорудили для участников конкурса "Сценарий-образец". Он выглядит местами как скелетон с пропусками, которые можно заполнять. Но...выдержать все в таком стиле в этот раз не удалось. Все-таки получилось нечто, похожее на подробный рубрикатор. В тестологии это называется "structured question" - тестовое задание открытого типа с подробным набором "наводящих" подвопросов, облегчающих создание структурированного ответа. Понятно, что не все являются опытными писателями, чтобы создавать красивые, структурированные кейсы. Но опыт жизненный имеется. Таким людям сценарий-скелетон очень даже пригодится для описания своей ситуации и своего решения.

Вот пример рубрик:

ПРОБЛЕМНАЯ СИТУАЦИЯ

Событие 1 - исходный факт: достижение претендента-1

Событие 2 - заявление конкурента-2

Событие 3 - вопрос начальника

Событие 4 - ответ конкурента-2

Событие 5 - ответ претендента-1

ЗАДАЧА

Общая квалификация возникшей ситуации

Постановка цели управленческого решения

Отдельные подзадачи в рамках более детального плана действий

ВОЗМОЖНОЕ РЕШЕНИЕ (поэтапный план)

Шаг 1 – прояснить обстоятельства, связанные с претендентом-1

Шаг 2 – прояснить обстоятельства и события, связанные с конкурентом-2

Шаг 3 – принять решение о назначении

и так далее...

После регистрации на сайте www.ht-line.ru участник может познакомиться с примером того, как эти рубрики можно заполнить - примером реального кейса-образца.

В данном сообщении используется карикатурка с сайта sprosi-sam.ru

💡 28 сентября в Москве пройдет большое мероприятие по управлению обучением и знаниями – Know&Learn Day. На площадке РБК Центр Событий соберутся все, кому интересен learning&knowledge management.
 
🔗 Зарегистрироваться

📢 Среди спикеров — эксперты и руководители из NAUMEN, Авито, Ozon, Уралсиба, Делимобиля, УБРиР, Газпромбанка. Участников ждут доклады по автоматизации дообучения команд, кейсы внедрения систем управления знаниями (KMS) и обучением (LMS), рекомендации по выстраиванию процессов обучения в разнопрофильных командах.

❓ Программа включает три тематических трека. Участники узнают и обсудят, как:

✅ повысить общий уровень знаний персонала без затрат на обучение
✅ проверять актуальность знаний сотрудников
✅ сократить время обучения и адаптации новичков
✅ автоматизировать дообучение линейных сотрудников
✅ увеличить самостоятельность персонала

🔗 Смотреть программу

👀 Также гостей ждут нетворкинг и живое демо. Участие бесплатное при условии предварительной регистрации ⤵️

🔗 Зарегистрироваться

ЭТО КОММЕНТАРИЙ К РЕПОСТУ СТАТЬИ "ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ: БЫТЬ ИЛИ НЕ БЫТЬ?"

Читаю и дивлюсь, коллеги. Как можно в общем виде рассуждать про "оценку результативности", не уточняя ни отрасль, ни величину компаний (по количеству сотрудников, у которых что-то измеряют), ни конкретные измерительные процедуры?! Есть организации, в которых так налажен отбор (сам по себе или искусственно), что фактически он исключает сильный разброс по результативности. Ибо у сильных сотрудников НЕТ ВОЗМОЖНОСТИ выделиться, а у слабых - упасть ниже какого-то среднего уровня. Ну и что? Это о чем-то говорит? Ну а возьмите такой показатель, как скорость подготовки, содержательность и оригинальность текстов любой природы (!). Ну хотя бы наших кейсов для конкурса кейсов? Почему люди обрадовались, что могут опереться на БЯМ (всякие ИИ-имитации текстов)? - Потому, что огромная дистанция отделяет в этом виде деятельности продуктивных писателей и тех, кто ничего не может написать в принципе - даже стандартного текста, не говоря про оригинальной и содержательный по теме (!!). Я лично так много агитировал за то. чтобы коллеги приняли участие в нашем втором сезоне конкурса кейсов "Конкуренция в организации". Ну и что? - Имеем до сих пор пока лишь 13 кейсов. Вот и вся продуктивность. А вы говорите...

Да, и про многие виды деятельности я уж тут не говорю. Скорость и продуктивность памяти на тексты и иностранные языки отличается между людьми даже не в разы, а в десятки раз (худшие не могут запомнить пять слов иностранного языка в день, а лучшие запоминают до сотни!). Скорость решения математических задач или шахматных этюдов отличается в десятки раз (!). Просто... если Вы хотите получить от быстрых максимум, то создавайте им условия, чтобы они могли и... ЗАХОТЕЛИ проявить себя. А чтобы слабенькие поработали над собой и поднялись, их надо воодушевлять уметь...

Оценка результативности: быть или не быть?

Продолжу разговор о сложностях оценки индивидуальной результативности. Мне как-то попалась на глаза статья с провокационным названием “Performance evaluation will not die, but it should”. Автор статьи, Kevin Murphy, приводит следующие аргументы:

1️⃣ Оценки результативности имеют такой низкий уровень надежности, что становятся непригодными для принятия серьезных решений. И эта проблема не решается совершенствованием процедуры оценки.

2️⃣ Большая часть различий в оценках объясняется не разницей между сотрудниками, а внешними факторами, часть из которых вообще не имеет никакого отношения к рабочему контексту. Опять-таки, проблема сохраняется даже в тех сферах, где есть более объективные критерии для измерения результативности.

3️⃣ История про 20% чемпионов, 70% середнячков и 10% отстающих, как и в целом идея о нормальном распределении оценок, не соответствует действительности. Это не более чем способ подогнать задачку под ответ бюджет. В реальности очень небольшое количество сотрудников имеет сверхвысокую результативность (и поэтому их должно быть заметно сразу, без каких-то сложных процедур оценки). А все остальные - одинаковые середнячки, которых не имеет смысла дальше делить на группы по уровню результативности.

4️⃣ Оценка результативность как инструмент обратной связи не работает. Те, кому такая обратная связь могла бы быть полезна, не готовы ее воспринимать. А для всех остальных это лишний повод пожаловаться на несправедливость системы (что логично - см. пп. 1-2).

5️⃣ Влияние оценки результативности на кадровые решения тоже только декларируется. После всех калибровок, усушек и утрусок корреляцию между оценкой и вознаграждением/повышениями/увольнениями практически невозможно обнаружить.

В результате возникает вопрос: а зачем нам нужно тратить время и деньги на что-то, что невозможно ни качественно провести, ни разумно использовать? Что скажете?

#результативность
________________________
Murphy, K. R. (2020). Performance evaluation will not die, but it should. Human Resource Management Journal, 30(1), 13-31

ОТКРЫТЫЙ КОНКУРС КЕЙСОВ НАЧАЛСЯ

Итак, на сайте www.ht-line.ru сегодня начался конкурс кейсов "Конкуренция в организации". Мы пока получили 18 кейсов. Но до 20 ноября еще есть время: новые участники еще могут зарегистрироваться и прислать свой кейс на конкурс. Напомним, что призовой фонд конкурса в этом году составляет 60 тысяч рублей. Все, кто доберется до второго этапа и будет участником "взаимных оценок", получит доступ к "Библиотеке эффективных решений" (более или менее удачных кейсов).

На сайте для участников даются образцы кейсов и даже сценарий с подробным рубрикатором, облегчающий подготовку своего кейса.

ВОПРОС: а за какие блага идет конкуренция в организации? - Самый популярный ответ: за место на служебной лестнице. Но... ведь не только! А еще за что?...

А всегда ли конкуренция в организации грозит обострением и перетеканием в конфликт?

ЛЕНТЯЕВ ОБМАНЫВАЛИ, ОБМАНЫВАЮТ И БУДУТ ОБМАНЫВАТЬ
(Как можно избежать самообмана?)

Кто такие легковерные люди? - Те, кто верит, что обучиться иностранному языку - пара пустяков за пару месяцев! - Это прежде всего лентяи. Ну и дуралеи, конечно. Они не могут пораскинуть мозгами и прикинуть, сколько лет ребенок учит язык (будучи постоянно погруженным в языковую среду), чтобы начать понимать хотя бы детские сказки. А ведь мозг ребенка девственно чист, сензитивен и ничем другим особенно не загружен. И все равно для достижения хотя бы уровня B2 требуются... годы (!!).

Тема интересная? - Вот здесь - в сети ВК - более полный текст моих размышления на эту тему:

https://vk.com/ags12?w=wall2100855_6328%2Fall

А ТЕПЕРЬ ВОПРОС К ПОДПИСЧИКАМ:

Как Вы думаете, стоит нам посвятить специальный факультатив на нашей зимней школе по КТЗ ("Конструирование Тестов Знаний") тому, как можно практически создавать на платформе HT-LINE контрольные измерительные упражнения (обучающие тесты), которые позволяет ПОСТОЯННО И БЫСТРО измерять текущий прогресс в освоении навыков reading и listening? Ну не свой, ладно.. (для себя люди вряд ли готовы такой объем подготовительной работы проделывать). А если создавать упражнения сразу для нескольких своих учеников? А если для слушателей корпоративного университета в своей компании - на полезной, профессиональной лексике?

ПРОФИЛЬНЫЙ АНАЛИЗ ЭКСПЕРТНЫХ МНОГОКРИТЕРИАЛЬНЫХ ОЦЕНОК...

Надеюсь, что эта статья будет доступной пониманию ВСЕХ участников данной тематической группы. Ведь все рассуждения выстроены не на формулах, а на наглядных 8 диаграммах. Эти 8 диаграмм изображают 8 типов экспертов - с разным стилем выставления экспертных оценок.

https://telegra.ph/Tipologiya-ehkspertov-i-problema-blizosti-indvidualnyh-ocenochnyh-profilej-11-21

Кстати... особой наглядности с помощью Эксель не так легко добиться, как я наивно думал. Эта прекрасная программа оказывает такую медвежью услугу: она масштабирует по-разному разные профили, так что не виден на глаз контраст между "умеренно забористым" (Иванов) и "резко забористым" (Андреев). Приходится присматриваться к числовым значениям. Казалось бы, а чего проще - нанести 3 профиля на один график (чтобы на одном графике был Иванов-Андреев-Средний), но... сколько пар из восьми можно составить подсчитать можете? - 28 шуточек. Это уже явный перебор будет вместо "простоты и доходчивости".