Компьютерная психодиагностика и психосемантика – Telegram
Компьютерная психодиагностика и психосемантика
446 subscribers
417 photos
7 videos
8 files
481 links
Этот авторский канал Александра Шмелева предназначен для специалистов по оценке персонала и психодиагностике. Здесь рассматриваются отдельные методики и общие вопросы психометрического тестирования способностей, личностных черт, знаний и компетенций.
Download Telegram
МОЖЕТЕ ИЗМЕРИТЬ СВОЙ СЛОВАРНЫЙ ЗАПАС

Позор-позор на мою седую голову! Я прошел тест на словарный запас на сайте

https://www.myvocab.info/en-en

и получилось, что мой вокабуляр в английском насчитывает только лишь 6 тысяч слов (даже чуть меньше). Когда-то давно я измерял и получалось 8 тысяч. Видно в последние годы растерял часть словарного запаса (ну совсем мало было практики и превратился в "чукчу-писателя" из "чукчи-читателя"...). ХОтя, как видим, по распределению баллов, почти половину из числа 211 тысяч респондентов с неродным английским мне удалось обойти (процентильный балл равен 48%). Закрашенная площадь слева на кривой распределения - это и есть "доля тех, кто получил более низкий балл".

Сайт, кстати, создал русскоязычный разработчик Григорий Головин. Сайт работает с 2014 года. Несколько остроумных решений в процедуре тестирования я обнаружил. Например, это очень экономично по времени - просто спрашивать респондента, знакомо ли ему данное английское слово. При этом не всякий раз, а выборочно предлагается проверять через синонимы, верно ли ответил респондент, что данное слово ему знакомо. Короче: у меня вся процедура заняла считанные минуты (наверное, меньше пяти, забыл засечь).
👍2
А это результат второй попытки. Ну что ж... Чуть-чуть лучше, но стабильно меньше 7 тысяч. Вообще-то надежность типа тест-ретест у этой методики на этом сайте РАДУЕТ (!). В моем случае разброс результатов оказался в районе 10% и в натуральном показателе (в словах), и в процентилях (в долях выборки).
А вот каким оказался у меня пассивный словарный запас на родном русском языке.

Признаться, я вначале не разглядел, что тут шкала представлена с другим количеством нулей - просто на порядок больше слов, чем в случае с английским языком. Но бдительные коллеги меня поправили и написали, что "Результат для профессоров вполне приличный". Вообще-то я помню что-то с давних времен про 10 тысяч, но, видимо, в голове возникла путаница между активным и пассивным словарем. Да, пассивный словарь на родном языке у нас, как правило, в десять и более раз превышает аналогичный запас на иностранном языке.
👍4
ЭФФЕКТ ДОБРОВОЛЬЦЕВ И МОЩНОСТЬ ВОКАБУЛЯРА

Всем известен "эффект добровольцев", да, коллеги? - Это искажение нормативных результатов тестирования вследствие их получения на НЕРЕПРЕЗЕНТАТВНОЙ выборке, которая состоит из "добровольцев", то есть не из всех людей, а из желающих принять участие в тестировании. Если мы сравним данные на сайте myvocab и результаты нашего опроса-голосования от 24 ноября (хоть и не шибко репрезентативного), то... мы получим просто ЧУДОВИЩНЫЙ "эффект добровольцев". У нас получается, что среди тех, кто интересовался свои запасом, средний показатель - в районе 2000 слов (а большинство и не интересовалось вовсе), а вот среди тех, кто сам активно искал и проходил измерение на сайте myvocab средний балл оказывается в размере 6 тысяч слов (у меня примерно такой и получился). Понятное дело, что это совершено разные выборки. У нас тут преобладают традиционным образом психологи-гуманитарии, а на сайт myvocab идут главным образом, видимо, люди, которым всерьез нужен английской по работе (это в том числе учителя английского, переводчики-профессионалы, менеджеры международных проектов, ну и "отъезжанты", конечно, - те, кто всерьез собрался проживать в другой стране и т.п.).
ЧТО ЗА СУПЕР-ПРОБЛЕМА ЕСТЬ ВО ВНЕДРЕНИИ ВСЕХ ИННОВАЦИЙ?

Коллеги, мы не шутим, когда пишем на лэндинге, что ощутимые скидки (20%) на этот практикум действуют только до 1 января. Ведь в четырех прежних зимних сезонах в этом практикуме поучаствовали уже почти 150 человек. Это значит, что в среднем было более 30 в сезоне. Это значит, что нам надо было подключать более трех препов, ибо норма загрузки - это 15 чел на одного препа.

Что мы тут новенького добавляем именно зимой 2024? Будет дополнительный вебинар и факультативный практикум на тему "Контекстные тесты". Впрочем, я об этом уже писал. Интересно, что пока на эту информацию в этой группе (в этом ТГ-канале) никто не среагировал. Ух... напрасно! У нас ведь есть в ИнЦГТ пользователи (немногие), которые успешно работают с этим редким сервисом много-много лет уже. А в массы он все никак не зайдет (?!). А почему? - А потому, что просто...гм... непривычно. И неважно, что это более экономично и быстро, чем тесты с выбором ответа. НЕПРИВЫЧНО - и все тут! Как разорвать порочный круг "Не знаем, поэтому не пользуемся. Не пользуемся, поэтому не знаем" (?). - Вот она проблем из проблем во внедрении всех инноваций!

Мне вспоминаются мои сыновья в дошкольном возрасте. Я говорю: "Ты попробуй только это блюдо, а есть не обязательно, если не понравится". Ребенок: "Не хочу пробовать!". Я: "Но ты ведь тогда не узнаешь, вкусно или не вкусно". Ребенок: "Вижу, что невкусно!". Я: "А разве вкус на вид можно определить?". Ребенок: "Да, можно!". - Вот тут я, как правило, всегда сдавался, ибо дальше этого "последнего слова ребенка" продвинуться не удавалось :) А у Вас как было, если кто-то просил Вас: "Только попробуйте?".

А вот прямая ссылка на лэндинг-сайт курса:

http://incht.tilda.ws/ktz-ht
ТЕСТОВЫЕ БАЛЛЫ

Вышла моя энциклопедическая статья "Тестовые баллы". Интересно ее сравнить с тем, что написала для этой же "Большой российской энциклопедии" про тестовые баллы наша коллега Елена Трухан (активный участник этой ТГ-группы). У нее получился более строгий психометрический контекст, а у меня - ориентация на практиков.
https://bigenc.ru/c/testovye-bally-82eeb0

Большая российская энциклопедия
Тестовые баллы
Те́стовые ба́ллы, результаты измерения (диагностики) знаний, способностей, личностных черт, социальных установок и других психических свойств...
👍41
На скриншоте - один из многочисленных развлекательных тестов на эрудицию, доступных в режиме онлайн. В данном случае на ресурсе "Яндекс-игры". Как правило, в таком тесте не более 10 вопросов.

Спрашивается? А какова в этом случае точность измерения, если вопросов только 10? Напомню, что согласно "Российскому стандарту тестирования персонала" вопросов должно быть не менее 20. Да не всяких вопросов, а с предварительно измеренной оптимальной трудностью и значимым показателем КД (коэффициент дискриминативности).

Я прошел дважды сегодня такой "Тест общих знаний". Первый раз у меня оказалось 7 правильных ответов. Немножко собрался и получил второй раз 9 из 10. Некоторые подумают на основании этих двух цифр, что точность составляет примерно 80% и... сильно ошибутся. Так как реально возможные баллы варьируют вовсе не от 0 до 10, а от 2.5 до 10. Почему нижняя граница не ноль? - А потому, что уровень случайного угадывания из 4х ответов - это 2.5 из 10. Так что уже получаем точность в районе 100% - 100*2/7.5 = 73%. Но и это завышенная оценка, так как на реальной выборке размах может быть в границах от 4 до 10 (никто ниже 4 не получает). Так что получаем 100% - 100*2/6 =67%. И вот эта приближенная оценка будет больше похожа на правильную. То есть точность-надежность короткого теста из не очень уравновешенных заданий (мягко говоря "не очень") довольно-таки низкая. Впрочем, о том, почему нельзя ограничиться для оценки надежности только двумя испытаниями на одном испытуемом, пойдет речь в нашей зимней школе КТЗ - "Конструирование тестов знаний".

А сколько заданий в наших тестах, которые применяет АНО "Россия страна возможностей" в конкурсах типа "Лидеры России"?- Не менее 40 заданий в одном сеансе, а чаще 50.
КОТ И 44 КОПЕЙКИ

Статью про "Краткий отборочный тетст" (КОТ Вандерлика) написал для БРЭ Валерий Бузин. Я хорошо помню, как в 90-е годы КОТ стал буквально эпохальной методикой в России и постсоветских республиках - основной инструмент в кадровых конкурсах. Его популярность в сфере оценки персонала превысила популярность даже сверхпопулярной тогда методики "цветовой тест Люшера". Некоторые психологически-грамотные кадровики сумели сообразить тогда, что прием на работу по интеллектуальной производительности выглядит все-таки более убедительным процессом, чем прием по результатам раскладки 8 цветных карточек :) К нам в Лабораторию на Большой Никитской приходили тогда люди и рассказывали, что они узнают и даже выучили некоторые задания КОТа, так как выполняли его до этого уже в трех разных местах (!).

Нам пришлось вскоре создавать свой аналог КОТа из совсем нового банка заданий - компьютерный тест под названием КТО, которое перекликалось с названием КОТ, что помогало начинающим эйчарам сориентироваться, про что методика. КОТ, возможно, стал у нас тогда едва ли не первой методикой, в которой был реализовал принцип формирования варианта "на лету" - путем случайного автоматизированного отбора из большого компьютерного банка заданий. Но это уже не был КОТ, а лишь его аналог.

Сегодня читаем с улыбкой такие выдержки из статьи Валерия Бузина с примерами давно устаревших заданий из КОТа:

"Бензин стоит 44 коп. за литр. Сколько стоят 2,5 литра?"


https://bigenc.ru/c/kratkii-otborochnyi-test-43f1e3
👍2🥰1
Итак, коллеги, в нашем Инновационном центре "Гуманитарные технологии" мы пытаемся впервые внедрить такую модель взаимодействия с нашими пользователями, которые, если выражаться на западный манер, известна как "донэйшн". На сайте Ht-line.ru в разделе "словари" появилась кнопка "Помочь проекту" (см. скриншот). Довольно обширный словарь доступен пользователям сайта совершенно бесплатно. Но если кто-то, кому покажется словарь ценным ресурсом, посчитает для себя возможным внести посильную сумму в его развитие, тот сам выбирает такую сумму и переводит ее в режиме онлайн на счет Центра.

Если нам удастся получить таким образом определенную действенную поддержку со стороны наших пользователей для такого проекта как "Словарь", мы будем планировать распространить эту схему взаимодействия и на другие наши проекты. Как Вы помните, мы планируем расширить бесплатный trial-period пользования личным кабинетом-студией, позволяющей создавать и проводить онлайн-тестирование, дистанционное обучение и т.п. Оплата этой "пробной версии" HT-LINE будет также производится по принципу "добровольного пожертвования". Но... чтобы на это решиться (а это ведь потребует выделить ресурсы хотя бы для подготовки "типовой студии"), нам надо убедиться на более камерном проекте "Словарь", что сама схема в наше время становится жизнеспособной, актуальной и соответствует теперь нынешнему уровню развития профессионального самосознания наших коллег, а также такому банальному фактору - реальным их материальным возможностям.
👍4
В продолжение предыдущего сообщения публикую здесь еще один скриншот. Вот так выглядит страница саморегистрации в кабинете-проекте со скромным названием "Дотации". Как видим, обязательным при регистрации являются только два поля: Фамилия и email. НА указанную почту придет автоуведомление-чек о выполненном переводе. Предлагаются три готовых варианта для суммы перевода: 300 руб, 900 руб. и 2000 рублей, но можно запросить ссылку на возможность перевода произвольной суммы. А сумма в размере 2000 рублей дает автоматически право получить словарь в виде PDF-файла плюс всю э-книгу "Конспект лекций по теории конкуренции".
👍4
НАДО ЧТОБЫ НАРОД БЫЛ БЛИЖЕ К НАМ - ПРОФЕССИОНАЛАМ, А НЕ МЫ К НАРОДУ (!)

Это я тут ворчу, как обычно, на то, что нельзя говорить просто "опросники", а надо говорить про "тест-опросники", защищенные от артефакта социальной желательности.

https://vk.com/ags12?w=wall2100855_6421
👍2
ПОЯСНЕНИЯ к предложенному опросу насчет термина "БРИФ". Понятно, почему этот термин стал у нас популярным, да? И дело тут ведь не только в синдроме ППЗ (синдроме "преклонения перед Западом" и его терминологией в деловой лексике). Видно невооруженным глазом, что этот термин явно короче других. Даже термин "пред-ТЗ" насчитывает 7 символов, а "бриф" - только 4. Это экономит "кучу времени и сил", когда человек тыкает одним пальцем по экрану "пальцетыка" (смартфона)... Поделюсь: мне лично термин "бриф" не нравится. Почему? - Порождает ассоциации с "брифингом" - с плохо подготовленной короткой пресс-конференцией (потому что готовят ее "журналюги", а они ничего основательно не делают, ибо мышление у них крайне поверхностное). Поэтому "бриф" в моей практике - это очень плохое и невнятное "пред-ТЗ", написанное дилетантом-журналистом, который сам совсем не разобрался в задаче, но пытается ее сформулировать и получается это у него "криво и косо"...
Кажется, что я еще не анонсировал в этом канале свою энциклопедическую статью "Психометрические свойства теста". Оригинальность этой статьи заключается в том, что в ней я попытался дифференцировать представления о четырех психометрических свойствах с помощью единого визуально-наглядного инструмента - это диаграммы рассеяния.

Этот подход, в частности, помогает доказать, что свойство "достоверность" (которое в большинстве учебников не раскрывается как самостоятельное - не отделяется от валидности) можно совершенно унифицированных образом (таким же как и в случае с другими свойствами) ПОКАЗАТЬ на диаграммах рассеяния - на корреляционном поле в пространстве двух переменных. Просто оси переосмысляются несколько иначе.

https://bigenc.ru/c/psikhometricheskie-svoistva-testa-5ff609
👍4
Еще не так много участников вообще почитали это голосование (только 85), но мы уже собрали более 30 голосов и видим, что намеченные тенденции уже четко обозначены. "Бриф" рассматривается большинством участников нашего канала как все еще менее понятный термин, чем другие. За "бриф" тут высказались менее 20 процентов участников (1 из 5). А на что надеются те, кто вовсю этот термин применяет? - А надеются на то, что их корреспонденты "перебьются", то есть полезут в толковые словарики, ныне доступные в любом поисковике. Зато "бриф" - это возможность щегольнуть своим "модным деловым английским", да еще и набрать можно это слово быстро - всего четыре клавиши надо ткнуть.
А ЧТО ЗНАЧИТ УДОБНАЯ ПЛАТФОРМА ДЛЯ ОНЛАЙН ОПРОСОВ (?)

Привожу фрагмент из ветки комментариев к публикации "10 олайн-инструментов для создания опросов и квизов". Конечно, так называемый "Игорь Московский" здесь погорячился. Но в его словах есть доля правды. Ниже я даю перечень, где указываю немножко другую десятку. И даже упоминаю Servey monkey, хотя эта платформа сейчас попала под санкции. Сам я на Дзене, например, вполне успешно использую Yandex Forms, так как исторически они хорошо совместимы - выглядят для читателей Дзена как часть статьи. В целом мой вопрос такой к участникам канала: А есть ли у вас потребность в обзоре инструментов со стороны опытного пользователя и разработчика этих технологий (ветерана этого дела, можно сказать) Шмелева А.Г.?
👍4