ПРО СЛОВАРЬ НА САЙТЕ HT-LINE (??)

Самым большим по объему и умственному напряжению моим проектом в прошлом 2023 году было создание онлайн-словаря для обновленного сайта ht-line.ru. Раньше словарь на сайте ht.ru был едва ли не самым посещаемым разделом. Но... времена меняются.

На картинке Вы видите, какова посещаемость по статистике сервиса Яндекс-метрика различных разделов сайта ht-line.ru за последний квартал. Лидирует курс ЛДПШ-24, а словарь откатился на ...последнее место :(

А мы - разработчики Ht-line.ru - так ведь старались: еще до эксперимента с краудфандингом (на Летнюю школу) установили режим "донатов" по отношению к этому бесплатному словарю. Лозунг такой: "Ребята, Вы можете содействовать развитию словаря, предлагать определенные новые термины в него добавить, но поддержите проект... своей копеечкой, какую можете пожертвовать".

НЕ СРАБОТАЛО НИКАК...
Пока не сработало или совсем не сработало?

Жду Ваших уточняющих вопросов , советов, соображений, коллеги. СПАСИБО!

P.S.
Кстати, что такое ПиОТК? - На сайте эта аббревиатура предстает в виде полного текста: "Психология и общая теория конкуренции".

В целом неплохую статью написал для БРЭ Никита Хохлов. Но, перечисляя тесты интеллекта, которые чаще всего используют в России, Никита Александрович почему-то не упомянул ... "пресловутые тесты Айзенка". Это 8 параллельных форм из 40 заданий на 30 минут. Что-то похожее на КОТ Вандерлика. Я называю их "пресловутыми", ибо они катастрофически устарели, хотя в самотестировании IQ они до сих пор, кажется, лидируют. Их опубликовали на русском языке в брошюрке под названием "Проверьте ваши способности" еще в прошлом веке, причем без всякой психометрической адаптации, как водится; даже нормы не поменяли, поэтому у многих наших пользователей баллы IQ получались несколько заниженными. Ну а при появлении Рунета... кто только не опубликовал эти тесты в компьютерной версии на сайтах, которые правильней было бы назвать "пиратскими свалками": эти публикации со стороны программистов созданы - без всякого соблюдения прав и без всякого понимания психометрических ограничений.

https://bigenc.ru/c/testy-kognitivnykh-sposobnostei-4ada1e

Мне также не хватило в статье разговора про факторно-аналитические модели структуры тестового интеллекта (от Терстоуна и Вернона до Амтхауэра). Впрочем... мне интересней было бы узнать у Вас: а вам что не хватает в этой статье?

#Измерение_IQ #Что_такое_IQ #Тесты_интеллекта #Тесты_когнитивных_способностей #Психологическое_тестирование #Тесты_коэффициента_интеллекта_Айзенка

Впрочем, я не прав. В другом абзаце Хохлов коротко тесты Айзенка упомянул. А я-то искал глазами аббревиатуру IQ... Прошу прощения. Тогда... мне не хватило упоминаний того, какие тесты не прошли НИКАКОЙ адаптации на русских выборках. Из них самый яркий пример - это вот этот самый популярный "тест Айзенка"

===============
Цитирую и коротко комментирую информацию из канала "HR-аналитика".

Этот результат, коллеги, полностью соответствует моим интуитивным ожиданиям, выросшим на почве многолетних наблюдений за тем, как используются компьютерные тесты. Ведь что такое компьютерный тест? - Это прибавка к естественному интеллекту с помощью некоторой искусственной стандартизированной процедуры. Автор компьютерного теста "воплощает" свой интеллект в компьютерном тесте, поэтому получается некая упрощенная разновидность "узкоспециализированной системы ИИ" Ведь иногда развитые компьютерные тесты с аналитической и разветвленной системой предъявления заданий, а главное - системой интерпретации - называют "экспертными системами".

... увы, продолжение не поместилось в одном комментарии к скриншоту. Поэтому читайте следующее сообщение.

ПРОДОЛЖЕНИЕ ПРО ЭФФЕКТ ПОМОЩИ СО СТОРОНЫ ИИ...

Ну так вот. Получается так: глупые, применяя тесты, делают еще более глупые выводы, чем без теста, то есть становятся... ЕЩЕ ГЛУПЕЙ (и не только потому что выбирают более глупые тесты, а еще и потому, что неправильно применяют умные - не к тому месту и времени прикладывают градусник). А умные пользователи, применяя буквально те же самые тесты, делают более умные выводы и становятся ... ЕЩЕ УМНЕЙ (!).

Сегодня на очной встрече в офисе с пользователями нашей Лаборатории (в рамках такой традиционной уже "Лабораторной среды") как раз обсуждали эту тему. В том числе это касается того, как разумно использовать такие ИИ-системы, как GPT и т.п.

В указанной выше новой моей статье в ТЕЛЕТАЙПе я даю в приложении все 208 терминов толкового словаря, сгруппированные в 18 тематических кластеров - так называемый "Атлас тематических кластеров".

ЗАМЕНЯТ ЛИ ЯЗЫКОВЫЕ ИИ-СИСТЕМЫ МЕТОД ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ?

Коллеги, здравствуйте. Глеб Взорин в частном порядке мне прислал эти статьи и вопрос. Мы договорились с Глебом, что я опубликую эти материалы в данном ТГ-канале и отвечу ему публично. См. мой ответ ниже.

=============================


Александр Георгиевич, добрый день!

Подумал тут об очень очевидной вещи — а насколько могут большие языковые модели из разговора извлекать информацию о личности или интеллекте человека. И, действительно, пара статей тут же попалась — в отношении стереотипных (примерно как в нашем ТЕЗАЛе) и в отношении конкретных людей. Как думаете, такой подход рано или поздно заменит традиционные тесты с выбором ответов?

–
С уважением,
Глеб Взорин

Глеб, я пока не имею возможности вникнуть в содержание присланных Вами статей, но заведомо благодарю Вас за то, что Вы их прислали. Поэтому рискую, что мой ответ может показаться Вам поверхностным и несколько тенденциозным ответом "заинтересованного лица". Понимаете, дело не в алгоритмах анализа, которыми снабжены языковые ИИ-системы. Эти алгоритмы могут быть очень остроумными и даже совершенными. А дело в том, какая "входная информация" оказывается доступной этим программам. Если это всего 1-2 разговора по какой-то случайной теме, значимость которой для участников трудно измерить, то участники в таком материале, как правило, предстают очень НЕПОЛНО - однобоко! Мы можем построить их портрет, но он будет привязан к узкой коммуникативной ситуации или к узкому классу коммуникативных ситуаций (именно коммуникативных и не вполне поведенческих!). Это все стало известно уже давно - при попытках применения схем контент-анализа к спонтанной речевой продукции собеседников.

Что дают тесты - в отличие от выборочного наблюдения за узким классом ситуаций? В тестовых заданиях (в тест-опросниках и кейс-тестах) предлагают краткие смысловые модели ШИРОКОГО класса разнообразных ситуаций. Вот тогда у нас появляется выход на устойчивые и универсальные личностные ЧЕРТЫ, и не на локальные установки и стратегии поведения.

Рассмотрим пример. Допустим, БЯМ-программа нашла только данные о том, как именно Глеб Взорин обсуждает на каких-то форумах и в каких-то сетевых группах проблемы ПСИХОДИАГНОСТИКИ. И эта программа охарактеризовала Глеба как "неистового новатора". Но... у программы при этом нет никаких данных о том, что Глеб приобрел, например, коллекцию очень старых букинистических книжек или древних виниловых пластинок со стихами бардов прошлого века и архаичными звуковыми записями. А если БЯМ об этом знала, то балл Глеба в сторону полюса "консерватизм" значительно сдвинулся бы. Согласны?

Поэтому.. мой вывод такой: БЯМ - это на долгое время полезный дополнительный инструмент (как и другие техники ассессмента, которые нельзя назвать тестовыми). Но этот дополнительный инструмент НЕ вытеснит тесты, а только немного сократит их вес в суммарном итоговом профиле обследуемого.

Понятно выразил позицию?

https://teletype.in/@alexshmelyov/Lzcu8T6tf6C

Коллеги, пожалуйста, ПОДПИСЫВАЙТЕСЬ на мой ТЕЛЕТАЙП-канал. Мне так будет легче понять, стоит ли продолжать готовить статьи именно на ТЕЛЕТАЙПЕ (!).

СПРАВКА: подписавшись, Вы вовсе не обрекаете себя на то, что Вам на почту будут приходить уведомления о новых публикациях. А вот приходят ли на ТГ - вот на этот вопрос я и сам пока не могу ответить уверенно. Могу только сказать, что я сам НЕ получаю...

ПРО ТЕЛЕТАЙП-БОТ

Коллеги, Вы видите на картинке скриншот из моей личной переписки в Телеграме с одним из подписчиков на мой новый канал на Телетайпе:

https://teletype.in/@alexshmelyov

Я сам, признаться, очень мало работаю с ботами в Телеграме, но они реально помогают получать информацию о новых сообщениях. Так что подписчикам становится проще следить за тем, что появляется не только в самом Телеграме, но и в Телетайпе.

Среди общедоступных (не требующих регистрации) тестов на обновленном сайте kitt-club.ru появился АСТРОТЕСТ.

https://kitt-club.ru/161-2-6/

Многие психологи и эйчары-оценщики до сих пор "не врубились", что означает этот тест. Это что: Шмелев и его компания Ht свихнулись на тему астрологии?

Поясняю коротко ситуацию. АСТРОТЕСТ большинству помогает как раз в обратном - избавиться от иллюзий в области астрологии. Почему? - А потому что у большинства пик на профиле из 12 факторных шкал (в данном случае они соответствуют 12 знакам зодиакального круга) НЕ совпадает вовсе с их датой рождения. Таких по нашим многолетним наблюдениям 80-85% (колебания внутри разных выборок). Но...что делать тем "бедолагам", у которых знак по дате рождения совпал с пиком на профиле? - А вот это вопрос :)

Наш июньский тест-конкурс в КИТТ дает шанс на победу именно мужчинам-айтишникам. Почему айтишникам - это понятно из объявления, да? А вот почему мужчинам? - А дело тут в том, что сленгом в области ИТ-технологий, по нашим данным, гораздо чаще пользуются мужчины, чем женщины.

КОГДА ТЕСТ БЫВАЕТ ТРУДНЫМ... (вести с полей КИТТ)

Итак, тест "АйТи-сленг", предложенный нами участникам КИТТ в июне, как оказалось, является весьма трудным. Средний балл на шкале ППО (процент правильных ответов) оказался пока равным 48%, а стандартное отклонение - 21%. Таким образом, тест хорошо различает профи и любителей. Причем это показатели по всем трем попыткам, которых уже мы собрали более 150 от 70 участников (хотя тест-конкурс только начался).

Некоторые новички в области тестирования знаний (да и способностей тоже) думают, что 50% - это нормальная трудность теста. Под девизом "фифти-фифти" - это же оптимально! Но ... вмешиваются социально-психологические факторы, которые я здесь сейчас и опишу коротко.

Дело в том, что средний ППО 50% субъективно воспринимается как низкий самими участниками! А на базе заданий типа "свободный ответ" объективно очень трудно создать с первой попытки тест с высоким средним баллом ППО. Напоминаю, что формат заданий в тесте "АйТи-сленг" у нас необычный: требуется ввести краткий свободный ответ, а не выбирать из предложенных готовых ответов. Как правило, при таком формате правильным оказывается не один, а несколько вариантов ответа. Наша система HT-LINE это предусматривает, но авторы НЕ могут сразу предусмотреть все разумные варианты. Нужно собрать статистику. Поэтому в данном случае пилотные испытания теста просто НЕОБХОДИМЫ (!). Мы будем дополнять варианты правильных ответов прямо "по ходу тест-конкурса", так что баллы участников будут пересчитываться.

ВАЖНО: система дает ТОС (текущую обратную связь) после каждого ответа. Поэтому всех участников просим сообщать нам свои предложения по дополнительным вариантам ответов (если присуждение ошибки кажется несправедливым). И это наши участники уже делают (см. реплики Андрея Хижняка). Кстати, как мы уже знаем, наличие ТОС и многих попыток делают конкурс значительно более увлекательным (!).

НО... о чем нам еще говорит ситуация, возникающая, когда средний балл ППО оказывается ниже 70%? -В этом случае возникает особая социально-психологическая ситуация вокруг теста: люди начинают ЖАЛОВАТЬСЯ, что тест трудный (хотя в среднем дают почти 50% правильных ответов). Это давно изученная социально-психологическая закономерность (!). Особенно много жалоб возникает, когда участники общаются друг с другом (например, общаются между собой студенты, которые учатся в одном вузе на одном курсе) и они заражают друг друга репликами типа "Ну, жесть!" и так далее.

Поэтому при разработке тестов знаний мы рекомендуем разработчикам создавать тесты с расчетом на средний ППО в районе 70-75%, а если получилось 50%, то разработчики должны быть морально готовы отражать атаки с репликами такого вида: "Да все у Вас неправильно! Ваш тест - это издевательство! Ваш тест - это бред!".

И в заключении. Почему тест-конкурсы типа "АйТи-сленг" обязательно требуют регистрации, почему мы не даем этот тест для свободного доступа? - Потому что Важно дать несколько попыток (более одной), а это значит, что нужно АВТОМАТИЧЕСКИ КОНТРОЛИРОВАТЬ число запусков теста для одного участника. А это требует для него создания ЛК (личного кабинета). А это значит, что участник должен сообщить нам свои регистрационные параметры (хотя бы адрес э-почты, хотя имя при этом может быть условным ником-псевдонимом).

Почему мы даем несколько попыток? - Потому что данный тест был бы утомительным, если бы в сеансе было сразу 50 экранов (каждое слово надо разгадывать на отдельном экране). В этом случае многие не смогли бы завершить сеанс тестирования. А по 15 заданий при таком формате - это не так трудно, и многие завершают до конца хотя бы первую (одну) попытку. Но... чтобы собрать необходимую для нас приличную статистику ответов, а также получить закономерные дифференцирующие результаты для участников (ведь это конкурс все-таки у нас), нужно, чтобы участник выполнил более 15 заданий. Напоминаем, что при равенстве баллов в лучшей попытке (а в случае 15 заданий это встречается очень часто), преимущество в конкурсе получает тот участник, у которого выше сумма по трем попыткам.