Глеб, я пока не имею возможности вникнуть в содержание присланных Вами статей, но заведомо благодарю Вас за то, что Вы их прислали. Поэтому рискую, что мой ответ может показаться Вам поверхностным и несколько тенденциозным ответом "заинтересованного лица". Понимаете, дело не в алгоритмах анализа, которыми снабжены языковые ИИ-системы. Эти алгоритмы могут быть очень остроумными и даже совершенными. А дело в том, какая "входная информация" оказывается доступной этим программам. Если это всего 1-2 разговора по какой-то случайной теме, значимость которой для участников трудно измерить, то участники в таком материале, как правило, предстают очень НЕПОЛНО - однобоко! Мы можем построить их портрет, но он будет привязан к узкой коммуникативной ситуации или к узкому классу коммуникативных ситуаций (именно коммуникативных и не вполне поведенческих!). Это все стало известно уже давно - при попытках применения схем контент-анализа к спонтанной речевой продукции собеседников.
Что дают тесты - в отличие от выборочного наблюдения за узким классом ситуаций? В тестовых заданиях (в тест-опросниках и кейс-тестах) предлагают краткие смысловые модели ШИРОКОГО класса разнообразных ситуаций. Вот тогда у нас появляется выход на устойчивые и универсальные личностные ЧЕРТЫ, и не на локальные установки и стратегии поведения.
Рассмотрим пример. Допустим, БЯМ-программа нашла только данные о том, как именно Глеб Взорин обсуждает на каких-то форумах и в каких-то сетевых группах проблемы ПСИХОДИАГНОСТИКИ. И эта программа охарактеризовала Глеба как "неистового новатора". Но... у программы при этом нет никаких данных о том, что Глеб приобрел, например, коллекцию очень старых букинистических книжек или древних виниловых пластинок со стихами бардов прошлого века и архаичными звуковыми записями. А если БЯМ об этом знала, то балл Глеба в сторону полюса "консерватизм" значительно сдвинулся бы. Согласны?
Поэтому.. мой вывод такой: БЯМ - это на долгое время полезный дополнительный инструмент (как и другие техники ассессмента, которые нельзя назвать тестовыми). Но этот дополнительный инструмент НЕ вытеснит тесты, а только немного сократит их вес в суммарном итоговом профиле обследуемого.
Понятно выразил позицию?
Что дают тесты - в отличие от выборочного наблюдения за узким классом ситуаций? В тестовых заданиях (в тест-опросниках и кейс-тестах) предлагают краткие смысловые модели ШИРОКОГО класса разнообразных ситуаций. Вот тогда у нас появляется выход на устойчивые и универсальные личностные ЧЕРТЫ, и не на локальные установки и стратегии поведения.
Рассмотрим пример. Допустим, БЯМ-программа нашла только данные о том, как именно Глеб Взорин обсуждает на каких-то форумах и в каких-то сетевых группах проблемы ПСИХОДИАГНОСТИКИ. И эта программа охарактеризовала Глеба как "неистового новатора". Но... у программы при этом нет никаких данных о том, что Глеб приобрел, например, коллекцию очень старых букинистических книжек или древних виниловых пластинок со стихами бардов прошлого века и архаичными звуковыми записями. А если БЯМ об этом знала, то балл Глеба в сторону полюса "консерватизм" значительно сдвинулся бы. Согласны?
Поэтому.. мой вывод такой: БЯМ - это на долгое время полезный дополнительный инструмент (как и другие техники ассессмента, которые нельзя назвать тестовыми). Но этот дополнительный инструмент НЕ вытеснит тесты, а только немного сократит их вес в суммарном итоговом профиле обследуемого.
Понятно выразил позицию?
👍2
https://teletype.in/@alexshmelyov/Lzcu8T6tf6C
Коллеги, пожалуйста, ПОДПИСЫВАЙТЕСЬ на мой ТЕЛЕТАЙП-канал. Мне так будет легче понять, стоит ли продолжать готовить статьи именно на ТЕЛЕТАЙПЕ (!).
СПРАВКА: подписавшись, Вы вовсе не обрекаете себя на то, что Вам на почту будут приходить уведомления о новых публикациях. А вот приходят ли на ТГ - вот на этот вопрос я и сам пока не могу ответить уверенно. Могу только сказать, что я сам НЕ получаю...
Коллеги, пожалуйста, ПОДПИСЫВАЙТЕСЬ на мой ТЕЛЕТАЙП-канал. Мне так будет легче понять, стоит ли продолжать готовить статьи именно на ТЕЛЕТАЙПЕ (!).
СПРАВКА: подписавшись, Вы вовсе не обрекаете себя на то, что Вам на почту будут приходить уведомления о новых публикациях. А вот приходят ли на ТГ - вот на этот вопрос я и сам пока не могу ответить уверенно. Могу только сказать, что я сам НЕ получаю...
Teletype
Слухи о смерти метода тестов оказались несколько преждевременными...
Сегодня я увидел, как мне рекламируют в Яндексе тест эрудиции с помощью вопроса про год установления династии Романовых. Варианты ответа:
👍6
ПРО ТЕЛЕТАЙП-БОТ
Коллеги, Вы видите на картинке скриншот из моей личной переписки в Телеграме с одним из подписчиков на мой новый канал на Телетайпе:
https://teletype.in/@alexshmelyov
Я сам, признаться, очень мало работаю с ботами в Телеграме, но они реально помогают получать информацию о новых сообщениях. Так что подписчикам становится проще следить за тем, что появляется не только в самом Телеграме, но и в Телетайпе.
Коллеги, Вы видите на картинке скриншот из моей личной переписки в Телеграме с одним из подписчиков на мой новый канал на Телетайпе:
https://teletype.in/@alexshmelyov
Я сам, признаться, очень мало работаю с ботами в Телеграме, но они реально помогают получать информацию о новых сообщениях. Так что подписчикам становится проще следить за тем, что появляется не только в самом Телеграме, но и в Телетайпе.
Среди общедоступных (не требующих регистрации) тестов на обновленном сайте kitt-club.ru появился АСТРОТЕСТ.
https://kitt-club.ru/161-2-6/
Многие психологи и эйчары-оценщики до сих пор "не врубились", что означает этот тест. Это что: Шмелев и его компания Ht свихнулись на тему астрологии?
Поясняю коротко ситуацию. АСТРОТЕСТ большинству помогает как раз в обратном - избавиться от иллюзий в области астрологии. Почему? - А потому что у большинства пик на профиле из 12 факторных шкал (в данном случае они соответствуют 12 знакам зодиакального круга) НЕ совпадает вовсе с их датой рождения. Таких по нашим многолетним наблюдениям 80-85% (колебания внутри разных выборок). Но...что делать тем "бедолагам", у которых знак по дате рождения совпал с пиком на профиле? - А вот это вопрос :)
https://kitt-club.ru/161-2-6/
Многие психологи и эйчары-оценщики до сих пор "не врубились", что означает этот тест. Это что: Шмелев и его компания Ht свихнулись на тему астрологии?
Поясняю коротко ситуацию. АСТРОТЕСТ большинству помогает как раз в обратном - избавиться от иллюзий в области астрологии. Почему? - А потому что у большинства пик на профиле из 12 факторных шкал (в данном случае они соответствуют 12 знакам зодиакального круга) НЕ совпадает вовсе с их датой рождения. Таких по нашим многолетним наблюдениям 80-85% (колебания внутри разных выборок). Но...что делать тем "бедолагам", у которых знак по дате рождения совпал с пиком на профиле? - А вот это вопрос :)
👍1😁1
Совпадают ли черты характера у Вас (и большинства ваших знакомых) с чертами, которые предписывает зодиакальный гороскоп?
Anonymous Poll
8%
точно да
36%
скорее да
36%
иногда
14%
крайне редко (с вероятностью 1/12 это неизбежно)
6%
особый ответ (тогда, пож, напишите его в комментарии)
Доп. опрос к теме про совпадение с гороскопом. Когда Вы делаете вывод, что гороскоп Вам подходит?
Anonymous Poll
6%
когда у Вас есть более 33% процентов названных в гороскопе черт
0%
когда у Вас есть более 50% процентов названных в гороскопе черт
25%
когда у Вас есть более 66% процентов названных в гороскопе черт
31%
когда у Вас есть более 75% процентов названных в гороскопе черт
31%
когда у Вас есть более 80% процентов названных в гороскопе черт
6%
иной ответ (тогда, пож, напишите его в комментарии)
КОГДА ТЕСТ БЫВАЕТ ТРУДНЫМ... (вести с полей КИТТ)
Итак, тест "АйТи-сленг", предложенный нами участникам КИТТ в июне, как оказалось, является весьма трудным. Средний балл на шкале ППО (процент правильных ответов) оказался пока равным 48%, а стандартное отклонение - 21%. Таким образом, тест хорошо различает профи и любителей. Причем это показатели по всем трем попыткам, которых уже мы собрали более 150 от 70 участников (хотя тест-конкурс только начался).
Некоторые новички в области тестирования знаний (да и способностей тоже) думают, что 50% - это нормальная трудность теста. Под девизом "фифти-фифти" - это же оптимально! Но ... вмешиваются социально-психологические факторы, которые я здесь сейчас и опишу коротко.
Дело в том, что средний ППО 50% субъективно воспринимается как низкий самими участниками! А на базе заданий типа "свободный ответ" объективно очень трудно создать с первой попытки тест с высоким средним баллом ППО. Напоминаю, что формат заданий в тесте "АйТи-сленг" у нас необычный: требуется ввести краткий свободный ответ, а не выбирать из предложенных готовых ответов. Как правило, при таком формате правильным оказывается не один, а несколько вариантов ответа. Наша система HT-LINE это предусматривает, но авторы НЕ могут сразу предусмотреть все разумные варианты. Нужно собрать статистику. Поэтому в данном случае пилотные испытания теста просто НЕОБХОДИМЫ (!). Мы будем дополнять варианты правильных ответов прямо "по ходу тест-конкурса", так что баллы участников будут пересчитываться.
ВАЖНО: система дает ТОС (текущую обратную связь) после каждого ответа. Поэтому всех участников просим сообщать нам свои предложения по дополнительным вариантам ответов (если присуждение ошибки кажется несправедливым). И это наши участники уже делают (см. реплики Андрея Хижняка). Кстати, как мы уже знаем, наличие ТОС и многих попыток делают конкурс значительно более увлекательным (!).
НО... о чем нам еще говорит ситуация, возникающая, когда средний балл ППО оказывается ниже 70%? -В этом случае возникает особая социально-психологическая ситуация вокруг теста: люди начинают ЖАЛОВАТЬСЯ, что тест трудный (хотя в среднем дают почти 50% правильных ответов). Это давно изученная социально-психологическая закономерность (!). Особенно много жалоб возникает, когда участники общаются друг с другом (например, общаются между собой студенты, которые учатся в одном вузе на одном курсе) и они заражают друг друга репликами типа "Ну, жесть!" и так далее.
Поэтому при разработке тестов знаний мы рекомендуем разработчикам создавать тесты с расчетом на средний ППО в районе 70-75%, а если получилось 50%, то разработчики должны быть морально готовы отражать атаки с репликами такого вида: "Да все у Вас неправильно! Ваш тест - это издевательство! Ваш тест - это бред!".
И в заключении. Почему тест-конкурсы типа "АйТи-сленг" обязательно требуют регистрации, почему мы не даем этот тест для свободного доступа? - Потому что Важно дать несколько попыток (более одной), а это значит, что нужно АВТОМАТИЧЕСКИ КОНТРОЛИРОВАТЬ число запусков теста для одного участника. А это требует для него создания ЛК (личного кабинета). А это значит, что участник должен сообщить нам свои регистрационные параметры (хотя бы адрес э-почты, хотя имя при этом может быть условным ником-псевдонимом).
Почему мы даем несколько попыток? - Потому что данный тест был бы утомительным, если бы в сеансе было сразу 50 экранов (каждое слово надо разгадывать на отдельном экране). В этом случае многие не смогли бы завершить сеанс тестирования. А по 15 заданий при таком формате - это не так трудно, и многие завершают до конца хотя бы первую (одну) попытку. Но... чтобы собрать необходимую для нас приличную статистику ответов, а также получить закономерные дифференцирующие результаты для участников (ведь это конкурс все-таки у нас), нужно, чтобы участник выполнил более 15 заданий. Напоминаем, что при равенстве баллов в лучшей попытке (а в случае 15 заданий это встречается очень часто), преимущество в конкурсе получает тот участник, у которого выше сумма по трем попыткам.
Итак, тест "АйТи-сленг", предложенный нами участникам КИТТ в июне, как оказалось, является весьма трудным. Средний балл на шкале ППО (процент правильных ответов) оказался пока равным 48%, а стандартное отклонение - 21%. Таким образом, тест хорошо различает профи и любителей. Причем это показатели по всем трем попыткам, которых уже мы собрали более 150 от 70 участников (хотя тест-конкурс только начался).
Некоторые новички в области тестирования знаний (да и способностей тоже) думают, что 50% - это нормальная трудность теста. Под девизом "фифти-фифти" - это же оптимально! Но ... вмешиваются социально-психологические факторы, которые я здесь сейчас и опишу коротко.
Дело в том, что средний ППО 50% субъективно воспринимается как низкий самими участниками! А на базе заданий типа "свободный ответ" объективно очень трудно создать с первой попытки тест с высоким средним баллом ППО. Напоминаю, что формат заданий в тесте "АйТи-сленг" у нас необычный: требуется ввести краткий свободный ответ, а не выбирать из предложенных готовых ответов. Как правило, при таком формате правильным оказывается не один, а несколько вариантов ответа. Наша система HT-LINE это предусматривает, но авторы НЕ могут сразу предусмотреть все разумные варианты. Нужно собрать статистику. Поэтому в данном случае пилотные испытания теста просто НЕОБХОДИМЫ (!). Мы будем дополнять варианты правильных ответов прямо "по ходу тест-конкурса", так что баллы участников будут пересчитываться.
ВАЖНО: система дает ТОС (текущую обратную связь) после каждого ответа. Поэтому всех участников просим сообщать нам свои предложения по дополнительным вариантам ответов (если присуждение ошибки кажется несправедливым). И это наши участники уже делают (см. реплики Андрея Хижняка). Кстати, как мы уже знаем, наличие ТОС и многих попыток делают конкурс значительно более увлекательным (!).
НО... о чем нам еще говорит ситуация, возникающая, когда средний балл ППО оказывается ниже 70%? -В этом случае возникает особая социально-психологическая ситуация вокруг теста: люди начинают ЖАЛОВАТЬСЯ, что тест трудный (хотя в среднем дают почти 50% правильных ответов). Это давно изученная социально-психологическая закономерность (!). Особенно много жалоб возникает, когда участники общаются друг с другом (например, общаются между собой студенты, которые учатся в одном вузе на одном курсе) и они заражают друг друга репликами типа "Ну, жесть!" и так далее.
Поэтому при разработке тестов знаний мы рекомендуем разработчикам создавать тесты с расчетом на средний ППО в районе 70-75%, а если получилось 50%, то разработчики должны быть морально готовы отражать атаки с репликами такого вида: "Да все у Вас неправильно! Ваш тест - это издевательство! Ваш тест - это бред!".
И в заключении. Почему тест-конкурсы типа "АйТи-сленг" обязательно требуют регистрации, почему мы не даем этот тест для свободного доступа? - Потому что Важно дать несколько попыток (более одной), а это значит, что нужно АВТОМАТИЧЕСКИ КОНТРОЛИРОВАТЬ число запусков теста для одного участника. А это требует для него создания ЛК (личного кабинета). А это значит, что участник должен сообщить нам свои регистрационные параметры (хотя бы адрес э-почты, хотя имя при этом может быть условным ником-псевдонимом).
Почему мы даем несколько попыток? - Потому что данный тест был бы утомительным, если бы в сеансе было сразу 50 экранов (каждое слово надо разгадывать на отдельном экране). В этом случае многие не смогли бы завершить сеанс тестирования. А по 15 заданий при таком формате - это не так трудно, и многие завершают до конца хотя бы первую (одну) попытку. Но... чтобы собрать необходимую для нас приличную статистику ответов, а также получить закономерные дифференцирующие результаты для участников (ведь это конкурс все-таки у нас), нужно, чтобы участник выполнил более 15 заданий. Напоминаем, что при равенстве баллов в лучшей попытке (а в случае 15 заданий это встречается очень часто), преимущество в конкурсе получает тот участник, у которого выше сумма по трем попыткам.
👍3
https://teletype.in/@alexshmelyov/IHIKzMBG-Xt
РАЗБОР ПОЛЕТОВ И... БОЛЬШАЯ ПРОСЬБА!
Коллеги, очень прошу Вас подписаться на мой новый Телетайп-канал, если Вам понравится эта статья. Я не уверен, что она понравится всем - это так! Ведь не всем интересно следить за хладнокровными, вероятностными количественными рассуждениями. Кому-то интересней познакомиться с ярким единичным случаем - красочной историей из жизни. Ну что же... Каждому свое. Но если Вам близок аналитический стиль в рассуждениях, то подпишитесь, пожалуйста. Хорошо?
РАЗБОР ПОЛЕТОВ И... БОЛЬШАЯ ПРОСЬБА!
Коллеги, очень прошу Вас подписаться на мой новый Телетайп-канал, если Вам понравится эта статья. Я не уверен, что она понравится всем - это так! Ведь не всем интересно следить за хладнокровными, вероятностными количественными рассуждениями. Кому-то интересней познакомиться с ярким единичным случаем - красочной историей из жизни. Ну что же... Каждому свое. Но если Вам близок аналитический стиль в рассуждениях, то подпишитесь, пожалуйста. Хорошо?
Teletype
Существует ли на самом деле неслучайные и неиллюзорные совпадения гороскопов с реальными чертами личности? - Обсуждаем результаты…
Итак, коллеги, мы собрали в нашем ТГ-канале "Компьютерная психодиагностика" 30 участников опроса и получили следующие результаты:
👍8🔥1
Осталось 2 рабочих и 4 календарных дня для самозаписи на проект ДПМШ-24. В понедельник 17 числа занятия в дистанционной школе уже начинаются (!). Новинка этого сезона заключается в том, что участники, выполнившие программу школы, получат бесплатный трехмесячный доступ к личной студии-кабинету TRIAL HT-LINE 3.0. Это новая версия студии! Она уже может включать в качестве сервис-модуля систему ТЕЗАЛ. В школе планируется небольшой факультативный вебинар-практикум по освоению этой студии.
👍2
https://teletype.in/@alexshmelyov/tjtpIDY1npO
Это один из "материалов для дополнительного чтения" участниками школы ДПМШ-24. Нередко люди плохо различают названия факторов, их полюсов и квадрантов в двумерном пространстве...Об этом мое новое сообщение в ТЕЛЕТАЙПе...
Это один из "материалов для дополнительного чтения" участниками школы ДПМШ-24. Нередко люди плохо различают названия факторов, их полюсов и квадрантов в двумерном пространстве...Об этом мое новое сообщение в ТЕЛЕТАЙПе...
Teletype
Логика пересекающихся классов
17 июня (уже через три дня) начинаются занятия очередной нашей Летней Дистанционной Психометрической школы ЛДПШ-24. За пять сезонов...
👍2🔥1
ЭКСТРЕННАЯ НОВОСТЬ ДЛЯ АВТОРОВ БРЭ: ПОРТАЛ BIGENС.RU ЗАКРЫВАЕТСЯ (!)
Коллеги, особенно авторы (но и активные читатели тоже)! Мне сейчас позвонили из редакции БРЭ и предупредили, что с понедельника 17 июня портал закрывается. Причина: отсутствие государственного финансирования.
В связи с этим и читатели, но особенно авторы должны поторопиться СКОПИРОВАТЬ ценные и особенно СВОИ материалы с этого портала. Все-таки эти материалы прошли редактирование и приравниваются к научным публикациям.
Коллеги, особенно авторы (но и активные читатели тоже)! Мне сейчас позвонили из редакции БРЭ и предупредили, что с понедельника 17 июня портал закрывается. Причина: отсутствие государственного финансирования.
В связи с этим и читатели, но особенно авторы должны поторопиться СКОПИРОВАТЬ ценные и особенно СВОИ материалы с этого портала. Все-таки эти материалы прошли редактирование и приравниваются к научным публикациям.
ПРО ЭФФЕКТИВНОЕ БЕЗДЕЙСТВИЕ И... ВРЕДОНОСНОЕ ВОЗДЕЙСТВИЕ
Итак, первые лекции в начинающейся нашей дистанционной школе ЛДПШ-24 будут посвящены "разжевыванию ЧТС". Многие гуманитарии даже не догадываются, какое фундаментальное значение имеют эти самые таблицы для ... ЛОГИКИ МЫШЛЕНИЯ. Ведь это на самом деле ничто иное как "таблицы истинности" в математической логике. А именно освоения этой самой логики нашим "гуманитариям" чаще всего не хватает. (!). Сегодня я решил дописать к самой своей свежей ТЕЛЕТАЙП-статье "Логика пересекающихся классов" вот такой "Постскриптум номер 2".
===================
Когда началась пандемия я почитал немало материалов, связанных с эпидемиологической медициной (это фактически медицинская статистика). В этой области науки принято размещать независимую переменную-воздействие (наличие - отсутствие заболевания) именно по горизонтали, а ее полюса подписывать над столбцами). Пример:
Нет прививки Есть прививка
Есть заражение А B
Нет заражения C D
Такая четырехклеточная матрица чаще всего называется "confusion matrix" (матрица ошибок, если по-русски). Два типа ошибок воздействия находятся в клетках B и С.
Как лучше назвать эти 2 вида ошибок? - Я бы назвал так:
B - неэффективное воздействие
С - эффективное бездействие (!)
ВНИМАНИЕ: Если B намного больше других клеток по частоте (больше, чем A и D), то можно говорить даже о "вредоносном воздействии".
Итак, первые лекции в начинающейся нашей дистанционной школе ЛДПШ-24 будут посвящены "разжевыванию ЧТС". Многие гуманитарии даже не догадываются, какое фундаментальное значение имеют эти самые таблицы для ... ЛОГИКИ МЫШЛЕНИЯ. Ведь это на самом деле ничто иное как "таблицы истинности" в математической логике. А именно освоения этой самой логики нашим "гуманитариям" чаще всего не хватает. (!). Сегодня я решил дописать к самой своей свежей ТЕЛЕТАЙП-статье "Логика пересекающихся классов" вот такой "Постскриптум номер 2".
===================
Когда началась пандемия я почитал немало материалов, связанных с эпидемиологической медициной (это фактически медицинская статистика). В этой области науки принято размещать независимую переменную-воздействие (наличие - отсутствие заболевания) именно по горизонтали, а ее полюса подписывать над столбцами). Пример:
Нет прививки Есть прививка
Есть заражение А B
Нет заражения C D
Такая четырехклеточная матрица чаще всего называется "confusion matrix" (матрица ошибок, если по-русски). Два типа ошибок воздействия находятся в клетках B и С.
Как лучше назвать эти 2 вида ошибок? - Я бы назвал так:
B - неэффективное воздействие
С - эффективное бездействие (!)
ВНИМАНИЕ: Если B намного больше других клеток по частоте (больше, чем A и D), то можно говорить даже о "вредоносном воздействии".
🔥2👍1
https://teletype.in/@alexshmelyov/DiPI_7GweTq
Отличие ЧТС от таблиц истинности состоит только в таком небольшом нюансе: в клетках ЧТС присутствуют не крайние значения "истина" (1) и "ложь" (0), а эмпирические частоты, то есть вероятностные значения. Это "мягкая", вероятностная логика, но тоже именно ЛОГИКА (!).
Отличие ЧТС от таблиц истинности состоит только в таком небольшом нюансе: в клетках ЧТС присутствуют не крайние значения "истина" (1) и "ложь" (0), а эмпирические частоты, то есть вероятностные значения. Это "мягкая", вероятностная логика, но тоже именно ЛОГИКА (!).
👍3