ТЕСТОВЫЕ БАЛЛЫ

Вышла моя энциклопедическая статья "Тестовые баллы". Интересно ее сравнить с тем, что написала для этой же "Большой российской энциклопедии" про тестовые баллы наша коллега Елена Трухан (активный участник этой ТГ-группы). У нее получился более строгий психометрический контекст, а у меня - ориентация на практиков.
https://bigenc.ru/c/testovye-bally-82eeb0

Большая российская энциклопедия
Тестовые баллы
Те́стовые ба́ллы, результаты измерения (диагностики) знаний, способностей, личностных черт, социальных установок и других психических свойств...

СКОРЕЕ ЭТО ШИЗОФРЕНИКИ ЧАЩЕ ЗАВОДЯТ КОШЕК, ЧЕМ САМИ КОШКИ ВИНОВАТЫ...

https://vk.com/ags12?w=wall2100855_6398%2Fall

На скриншоте - один из многочисленных развлекательных тестов на эрудицию, доступных в режиме онлайн. В данном случае на ресурсе "Яндекс-игры". Как правило, в таком тесте не более 10 вопросов.

Спрашивается? А какова в этом случае точность измерения, если вопросов только 10? Напомню, что согласно "Российскому стандарту тестирования персонала" вопросов должно быть не менее 20. Да не всяких вопросов, а с предварительно измеренной оптимальной трудностью и значимым показателем КД (коэффициент дискриминативности).

Я прошел дважды сегодня такой "Тест общих знаний". Первый раз у меня оказалось 7 правильных ответов. Немножко собрался и получил второй раз 9 из 10. Некоторые подумают на основании этих двух цифр, что точность составляет примерно 80% и... сильно ошибутся. Так как реально возможные баллы варьируют вовсе не от 0 до 10, а от 2.5 до 10. Почему нижняя граница не ноль? - А потому, что уровень случайного угадывания из 4х ответов - это 2.5 из 10. Так что уже получаем точность в районе 100% - 100*2/7.5 = 73%. Но и это завышенная оценка, так как на реальной выборке размах может быть в границах от 4 до 10 (никто ниже 4 не получает). Так что получаем 100% - 100*2/6 =67%. И вот эта приближенная оценка будет больше похожа на правильную. То есть точность-надежность короткого теста из не очень уравновешенных заданий (мягко говоря "не очень") довольно-таки низкая. Впрочем, о том, почему нельзя ограничиться для оценки надежности только двумя испытаниями на одном испытуемом, пойдет речь в нашей зимней школе КТЗ - "Конструирование тестов знаний".

А сколько заданий в наших тестах, которые применяет АНО "Россия страна возможностей" в конкурсах типа "Лидеры России"?- Не менее 40 заданий в одном сеансе, а чаще 50.

КОТ И 44 КОПЕЙКИ

Статью про "Краткий отборочный тетст" (КОТ Вандерлика) написал для БРЭ Валерий Бузин. Я хорошо помню, как в 90-е годы КОТ стал буквально эпохальной методикой в России и постсоветских республиках - основной инструмент в кадровых конкурсах. Его популярность в сфере оценки персонала превысила популярность даже сверхпопулярной тогда методики "цветовой тест Люшера". Некоторые психологически-грамотные кадровики сумели сообразить тогда, что прием на работу по интеллектуальной производительности выглядит все-таки более убедительным процессом, чем прием по результатам раскладки 8 цветных карточек :) К нам в Лабораторию на Большой Никитской приходили тогда люди и рассказывали, что они узнают и даже выучили некоторые задания КОТа, так как выполняли его до этого уже в трех разных местах (!).

Нам пришлось вскоре создавать свой аналог КОТа из совсем нового банка заданий - компьютерный тест под названием КТО, которое перекликалось с названием КОТ, что помогало начинающим эйчарам сориентироваться, про что методика. КОТ, возможно, стал у нас тогда едва ли не первой методикой, в которой был реализовал принцип формирования варианта "на лету" - путем случайного автоматизированного отбора из большого компьютерного банка заданий. Но это уже не был КОТ, а лишь его аналог.

Сегодня читаем с улыбкой такие выдержки из статьи Валерия Бузина с примерами давно устаревших заданий из КОТа:

"Бензин стоит 44 коп. за литр. Сколько стоят 2,5 литра?"


https://bigenc.ru/c/kratkii-otborochnyi-test-43f1e3

Итак, коллеги, в нашем Инновационном центре "Гуманитарные технологии" мы пытаемся впервые внедрить такую модель взаимодействия с нашими пользователями, которые, если выражаться на западный манер, известна как "донэйшн". На сайте Ht-line.ru в разделе "словари" появилась кнопка "Помочь проекту" (см. скриншот). Довольно обширный словарь доступен пользователям сайта совершенно бесплатно. Но если кто-то, кому покажется словарь ценным ресурсом, посчитает для себя возможным внести посильную сумму в его развитие, тот сам выбирает такую сумму и переводит ее в режиме онлайн на счет Центра.

Если нам удастся получить таким образом определенную действенную поддержку со стороны наших пользователей для такого проекта как "Словарь", мы будем планировать распространить эту схему взаимодействия и на другие наши проекты. Как Вы помните, мы планируем расширить бесплатный trial-period пользования личным кабинетом-студией, позволяющей создавать и проводить онлайн-тестирование, дистанционное обучение и т.п. Оплата этой "пробной версии" HT-LINE будет также производится по принципу "добровольного пожертвования". Но... чтобы на это решиться (а это ведь потребует выделить ресурсы хотя бы для подготовки "типовой студии"), нам надо убедиться на более камерном проекте "Словарь", что сама схема в наше время становится жизнеспособной, актуальной и соответствует теперь нынешнему уровню развития профессионального самосознания наших коллег, а также такому банальному фактору - реальным их материальным возможностям.

В продолжение предыдущего сообщения публикую здесь еще один скриншот. Вот так выглядит страница саморегистрации в кабинете-проекте со скромным названием "Дотации". Как видим, обязательным при регистрации являются только два поля: Фамилия и email. НА указанную почту придет автоуведомление-чек о выполненном переводе. Предлагаются три готовых варианта для суммы перевода: 300 руб, 900 руб. и 2000 рублей, но можно запросить ссылку на возможность перевода произвольной суммы. А сумма в размере 2000 рублей дает автоматически право получить словарь в виде PDF-файла плюс всю э-книгу "Конспект лекций по теории конкуренции".

ПОПЫТКА ВИРТУАЛЬНОЙ ЭКСКУРСИИ ПО НОВОМУ СЛОВАРЮ НА САЙТЕ HT-LINE.RU

Уважаемые коллеги, буду весьма признателен за любой ваш отклик на эту пробу в жанре "живого веб-серфинга". В том числе за критику. Хотя приятней получать слова поддержки, но критика бывает иной раз и полезней...

https://vk.com/ags12?w=wall2100855_6419

#Психология_конкуренции #Гипертекстовый_словарь #Словарь_психологических_терминов #Личностное_семантическое_пространство #Когнитивная_сложность

НАДО ЧТОБЫ НАРОД БЫЛ БЛИЖЕ К НАМ - ПРОФЕССИОНАЛАМ, А НЕ МЫ К НАРОДУ (!)

Это я тут ворчу, как обычно, на то, что нельзя говорить просто "опросники", а надо говорить про "тест-опросники", защищенные от артефакта социальной желательности.

https://vk.com/ags12?w=wall2100855_6421

О ПРИРОДЕ СОЦИОНИЧЕСКИХ ШКАЛ ТУТ В КОНЦЕ ПОШЕЛ РАЗГОВОР...

https://telegra.ph/Prodolzhenie-razgovora-s-socionikami-po-povodu-blizosti-k-narodu-12-14

ПОЯСНЕНИЯ к предложенному опросу насчет термина "БРИФ". Понятно, почему этот термин стал у нас популярным, да? И дело тут ведь не только в синдроме ППЗ (синдроме "преклонения перед Западом" и его терминологией в деловой лексике). Видно невооруженным глазом, что этот термин явно короче других. Даже термин "пред-ТЗ" насчитывает 7 символов, а "бриф" - только 4. Это экономит "кучу времени и сил", когда человек тыкает одним пальцем по экрану "пальцетыка" (смартфона)... Поделюсь: мне лично термин "бриф" не нравится. Почему? - Порождает ассоциации с "брифингом" - с плохо подготовленной короткой пресс-конференцией (потому что готовят ее "журналюги", а они ничего основательно не делают, ибо мышление у них крайне поверхностное). Поэтому "бриф" в моей практике - это очень плохое и невнятное "пред-ТЗ", написанное дилетантом-журналистом, который сам совсем не разобрался в задаче, но пытается ее сформулировать и получается это у него "криво и косо"...

Кажется, что я еще не анонсировал в этом канале свою энциклопедическую статью "Психометрические свойства теста". Оригинальность этой статьи заключается в том, что в ней я попытался дифференцировать представления о четырех психометрических свойствах с помощью единого визуально-наглядного инструмента - это диаграммы рассеяния.

Этот подход, в частности, помогает доказать, что свойство "достоверность" (которое в большинстве учебников не раскрывается как самостоятельное - не отделяется от валидности) можно совершенно унифицированных образом (таким же как и в случае с другими свойствами) ПОКАЗАТЬ на диаграммах рассеяния - на корреляционном поле в пространстве двух переменных. Просто оси переосмысляются несколько иначе.

https://bigenc.ru/c/psikhometricheskie-svoistva-testa-5ff609

Еще не так много участников вообще почитали это голосование (только 85), но мы уже собрали более 30 голосов и видим, что намеченные тенденции уже четко обозначены. "Бриф" рассматривается большинством участников нашего канала как все еще менее понятный термин, чем другие. За "бриф" тут высказались менее 20 процентов участников (1 из 5). А на что надеются те, кто вовсю этот термин применяет? - А надеются на то, что их корреспонденты "перебьются", то есть полезут в толковые словарики, ныне доступные в любом поисковике. Зато "бриф" - это возможность щегольнуть своим "модным деловым английским", да еще и набрать можно это слово быстро - всего четыре клавиши надо ткнуть.

А ЧТО ЗНАЧИТ УДОБНАЯ ПЛАТФОРМА ДЛЯ ОНЛАЙН ОПРОСОВ (?)

Привожу фрагмент из ветки комментариев к публикации "10 олайн-инструментов для создания опросов и квизов". Конечно, так называемый "Игорь Московский" здесь погорячился. Но в его словах есть доля правды. Ниже я даю перечень, где указываю немножко другую десятку. И даже упоминаю Servey monkey, хотя эта платформа сейчас попала под санкции. Сам я на Дзене, например, вполне успешно использую Yandex Forms, так как исторически они хорошо совместимы - выглядят для читателей Дзена как часть статьи. В целом мой вопрос такой к участникам канала: А есть ли у вас потребность в обзоре инструментов со стороны опытного пользователя и разработчика этих технологий (ветерана этого дела, можно сказать) Шмелева А.Г.?

А здесь ссылка на опрос в моем именном ТГ-канале.

https://news.1rj.ru/str/AlexShmelyov/706

ПРО ЭМОЦИОНАЛЬНЫЙ ТЕСТ СТРУПА МОЖНО УЗНАТЬ ИЗ ЭТОЙ СТАТЬИ В ЭНЦИКЛОПЕДИИ

Эту статью про знаменитый "тест Струпа" написала Аня Науменко. Для меня это сразу знак качества. Это мой один из самых "крутых" учеников за все годы преподавания в университете. С Аней я познакомился, когда она была еще только школьницей - ученицей выпускного класса из подмосковного наукоградика "Черноголовка". Она стала победителем нашей олимпиады "Телетестинг", а параллельно прихватила победы и на других олимпиадах, включая даже олимпиаду на... мехмате МГУ. Я себе приписываю скромную заслугу в том, что этот талантливый человек выбрал в свое время именно факультет психологии. С Анной Сергеевной мы стали соавторами немалого количества совместных трудов. Она стала редактором моей большой книги "Практическая тестология" (параллельно управлялась между прочим и со своими детьми, и решала задачи адаптации к жизни в Великобритании). Она же - один из главных соредакторов нашего "Российского стандарта тестирования персонала".

О ком и о чем мне было бы интересно писать на пенсии? - О судьбах и достижениях таких моих учеников, как Аня Науменко.


https://bigenc.ru/c/test-strupa-8ff3b6

После чтения этой статьи у меня возникло желание реализовать в КИТТ "эмоциональный тест Струпа". Как Вам идея?

Хотя пока очень мало-кто из участников этого канала откликнулся на идею расширить триал-период (бесплатный период) в пользовании нашим кабинетом-студией HT-LINE, но... мы решили, что предоставим 3 месяца (вместо 1 месяца) всем участникам нашей зимней школы "Конструирование тестов знаний" (КТЗ)

https://www.youtube.com/watch?v=xyFmPFe-0TI&ab_channel=AlexanderShmelyov

У Димы Аббакумова - автора этой статьи в "Большой Российской энциклопедии" - было какое-то время (еще во времена Фейсбука) забавное сетевое прозвище - "Солнце русской психометрики".

А я еще помню те времена, когда Дима только-только приехал из Ставрополя в Москву (еще в нулевых это было) и начал работать в нашем Центре "Гуманитарные технологии". Отличный у него голос оказался - так чудесно он пел на корпоративах... :) Мог бы, наверное, успешно променять психометрику на эстрадные площадки, но... не променял. Потом Дима поучился на магистерской программе в Вышке "Измерения в психологии и педагогике" (самый первый сезон, когда мы с Арсением Белорусцем там еще вели занятия). Потом Дима остался в Вышке. Затем Дима прошел специальную подготовку по психометрике в Бельгии. Чем он занимается сейчас? - Кто его может попросить об этом рассказать прямо здесь? Я что-то не особенно чувствую, что сохранил свое влияние.

https://bigenc.ru/c/klassicheskaia-teoriia-testirovaniia-991976

Статья "Современная теория тестирования" еще не вышла (сайт bigenc сообщает деликатно, что "еще в работе"). Но зато опубликована статья Дмитрия Аббакумова про Георга Раша.

https://bigenc.ru/c/rash-georg-7f380f

А Вы знаете, какой произошел казус в СССР с фамилией этого теперь известного на весь мир датского психометриста - основателя IRT-подхода, известного теперь как "современная теория тестирования". Его статья вышла в переводном сборнике 1973 года в издательстве "Прогресс" под фамилией Дж. Рэск (!?). Вот так знатоки переводчики перевели тогда его фамилию. Во истину "железный занавес" тогда работал. как бы не хотелось, чтобы мы на долгие годы опять остались за этим "железным занавесом". Впрочем, выручает наличие теперь Глобальной Сети.

Публикую скан странички с первой статьей Джорджа Раша на русском языке. Я упомянул выше, как назывался сборник, - "Математические методы в социальных науках" (под редакцией Пола Лазарсфельда).

Неплохой обзор мета-аналитических исследований валидности
https://ht-lab.ru/blog/validnost-metodov-otsenki-personala-tri-vazhnykh-meta-analiza/