Влияние генеративного ИИ на высококвалифицированный труд: данные трех полевых экспериментов с разработчиками программного обеспечения

Из той же серии

В этом исследовании оценивается влияние генеративного ИИ на производительность разработчиков программного обеспечения путем анализа данных трех рандомизированных контролируемых испытаний, проведенных в Microsoft, Accenture и анонимной компании по производству электроники из списка Fortune 100. Эти полевые эксперименты, которые проводились компаниями в рамках их обычной деятельности, предоставили случайно выбранной подгруппе разработчиков доступ к GitHub Copilot, помощнику по кодированию на основе ИИ, который предлагает интеллектуальное завершение кода. В совокупности по всем трем экспериментам и 4867 разработчикам программного обеспечения наш анализ показывает увеличение на 26,08% (SE: 10,3%) количества завершенных задач среди разработчиков, использующих инструмент ИИ. Примечательно, что менее опытные разработчики показали более высокие показатели внедрения и больший прирост производительности

Источник

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4945566


А Вы как-то используете генеративный ИИ в работе?

Руководители мельчают?
Национальное бюро экономических исследований США (контора частная, но находится в Кембридже) отслеживают динамику оценок генеральных директоров и сделали интересные выводы:
С 2008 года (т.е. после экономического кризиса) «среднестатистический кандидат на должность генерального директора имеет более низкие общие способности, больше ориентирован на исполнение и меньше на межличностные отношения, более аналитичен и менее харизматичен, более ориентирован на детали и менее креативен стратегичен, чем до кризиса»
В анализе использовали данные компании ghSMART – честно признаюсь, первый раз про таких слышу. Нашел в инете, но мне незнакомо название.

Вот их собственный анонс
Используя более 4900 оценок, мы изучаем изменения в характеристиках генеральных директоров и руководителей высшего звена с 2001 года. Четыре фактора объясняют примерно половину вариаций оцененных характеристик генерального директора. После мирового финансового кризиса (GFC) 2008 среднестатистический опрошенный кандидат на должность генерального директора имеет более низкие общие способности, больше ориентирован на исполнение/меньше межличностных отношений, менее харизматичен и менее креативен/стратегичен, чем до GFC. За исключением общих способностей и ориентированности на исполнение/межличностных отношений, эти различия сохраняются у нанятых генеральных директоров. Межличностные или «мягкие» навыки не улучшаются со временем ни у кандидатов на должность генерального директора, ни у нанятых генеральных директоров.

Общие способности это фактически интеллект. Т.е. уровень интеллекта кандидатов становится все ниже (см. диаграмму – причем заметен именно провал после 2008 – они что, решили, что любой может быть гендиром на фоне кризиса?), но в гендиры все-таки берут с более высоким уровнем способностей. Но стратегичность, тем не менее, снизилась даже у нанятых директоров.

На диаграмме – результаты оценок кандидатов, где нижняя граница прямоугольника – первый квартиль, линия посредине – медиана, верхняя граница – третий квартиль.
Источник
https://www.nber.org/papers/w32854

LLM обошли человека в креативности

Сравнение креативности репрезентативной человеческой выборки с GPT-4 показывает, что «творческие идеи, созданные чат-ботами на основе ИИ, оцениваются как более креативные, чем те, которые созданы людьми... Дополнение людей ИИ улучшает креативность человека, хотя и не так сильно, как идеи, созданные одним лишь ChatGPT».


По оси баллы по креативности, чем правее, тем креативней, розовым цветом - креативность GPT-4, голубым - человек + ИИ, т.е. лучше, чем просто человек. Зеленым - просто человек.

Bard - это тоже LLM, но явно хуже людей.

Суть эксперимента

Мы провели масштабный эксперимент с более чем 4000 участников. Сначала мы попросили более 1000 людей и двух генеративных чат-ботов ИИ, ChatGPT и Bard, сгенерировать креативные ответы на открытые творческие задания. Мы определяем креативность как «способность придумывать новые идеи, которые удивительны, но понятны, а также ценны в некотором роде» (Boden, 2001). Мы реализовали форму «открытого» или «дивергентного» творчества, т. е. без предопределенного решения, попросив участников «описать город, город или общество в будущем» или «если бы у вас был талант изобретать вещи, просто думая о них, что бы вы создали?» (Guilford, 1975; Charness and Grieco, 2019). И люди, и чат-боты ИИ получали подсказки одинаково и предоставляли короткий текст, описывающий ответ. Участники-люди получали стандартную сумму за участие в исследовании и могли получить существенную премию, если их идея оказывалась в числе 10% самых креативных ответов по мнению других участников. В базовом варианте участники не получали никакой дополнительной информации; в вариантах HumanPlusAI участники имели доступ к чат-боту на основе ИИ (Bard или ChatGPT) и были проинструктированы использовать их при генерации ответов; а в варианте HumanAgainsAI участникам сообщали, что они соревнуются не только с людьми, но и с чат-ботами на основе ИИ. Впоследствии более 3000 человек, разделенных на три группы, оценивали креативность этих текстов, чтобы определить, считают ли они идеи новыми, удивительными и полезными.

Источник
https://docs.iza.org/dp17302.pdf

Оптимальные параметры описания вакансии на джобсайте
Тоже про психологию: как кандидаты воспринимают текст вакансии.
Взял два слайда с конференции в Англии
• Оптимальный размер описания вакансии - от 200 до 400 слов. Автор презентации утверждает, что самый оптимальный размер - 250 слов. При таком объеме максимальная доля откликов.
• Максимальное число кликов на вакансию, если название вакансии не превышает 3 слов.
На диаграмме
• По оси X - категории описания вакансии по числу слов.
• По оси Y - процент отклика на вакансию от числа всех, кто просмотрел данную вакансию. Интересно было бы посмотреть аналогичную статистику по России. Если у вас есть данные по проценту откликов на ваши вакансии, поделитесь, пожалуйста.

Вы не знаете, нет ли подобных исследований у ХХ? И да, в данным случае речь про английский язык, поэтому параметры, очевидно, могут отличаться

Драйверы отношений.

Почему люди сходятся? Запахи? Флюиды? Ха-ха

На диаграмме показаны корреляции между 22 качествами и вероятностью того, что партнеры завяжут отношения.

На первом месте политические взгляды, там же религиозные взгляды. А потом отношение в курению и алкоголю....
smoke cessation - отказ от курения. Т.е. если оба партнера отказались от курения, корреляция выше 0, 5, что сойдутся.
И там же - уровень образования.
И все 22 фактора значимы, т.е. например, рост дает корреляцию 0, 22 - т.е. чем ближе партнеры по росты, тем выше шансы сойтись.

Пора открывать свой тиндер и создавать рекомендательные алгоритмы....

Источник
https://www.biorxiv.org/content/10.1101/2022.03.19.484997v1.full

Влияние ChatGPT на рынок труда
Есть такая платформа Upwork – джобсайт для найма фрилансеров – т.е. только исключительно фрилансеров. В России этот сервис, к сожалению, уже недоступен по всем известным причинам.
Так вот, чуваки из университетов Нью-Йорка и Вашингтона проанализировали данные платформы (у нас в России одна из любимых затей HR-аналитиков – качать данные с ХХ.ру, почему бы не попробовать повторить результат на российских данных?) и получили следующие результаты.
С момента запуска ChatGPT (ноябрь 2022-го) – на диаграмме эта временная точка обозначена вертикальной линией – по апрель 2023 года, т.е. фактически за полгода число предложений работы на Upwork для фрилансеров упало на 2%, и ежемесячный доход фрилансеров упал на 5,2%.
Как отмечают исследователи, удар был нанесен не только по начинающим спецам, но и по тем, кто имеет серьезный опыт и достижения.


Ссылка
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4527336

Попинайте меня, если такое не стоит публиковать в канале психологии. Хотя мне лично кажется это очень интересным. И да, вопрос к вам: как считаете, рынок психологов / психотерапевтов / кучей будет затронут ChatGPT?

На диаграмме показана динамика числа рабочих мест и месячного дохода фрилансеров на Upwork до и после запуска ChatGPT в ноябре 2022-го.

Классика психологии

-Три дня я гналась за Вами, чтобы сказать Вам, как Вы мне безразличны!

Кинофильм «Обыкновенное чудо», режиссер Марк Захаров, 1978 год.

Как увлечение играми влияет на карьеру.

В Китае очень интересное исследование провели среди студентов.

увеличение использования мобильных приложений на одно стандартное отклонение снижает средний балл на 36,2 процента и снижает заработную плату на 2,3 процента.

1 стандартное отклонение от среднего это 34 %.
Правда,есть еще исследования, которые показывают позитивное влияние игр на когнитивные функции - недавно читал, но решил, что будет неинтересно читателям канала, а сейчас понимаю, как было бы интересно эти два исследования объединить в одном посте.

Вы, кстати, играли в мобильные игры студентом?

Источник
https://www.nber.org/system/files/working_papers/w33054/w33054.pdf

Практичные книги по психологии.
Провел флешмоб в нашей группе VK и в тг канале книг для HR

Поделитесь, какие книги по психологии оказались полезными вам в работе?

Не hr книги, не книги по найму и командообразованию, а именно психологии.

Получился вот такой список:

Э. Берн. «Люди, которые играют в игры. Игры, в которые играют люди»
М. Гоулстон.»Как разговаривать с мудаками»
Э. Бахрах. «Гибкий ум»
К.Прайор «Не рычите на собаку»
Ю. Пирумова. «Хрупкие люди»
У. Боуэн. «Мир без жалоб»
А. Адлер «Наука о характерах: понять природу человека»
Р. Чалдини. «Психология влияния»
Д. Майерс. «Социальная психология»
Ф. Риман. «Основные формы страха»
С. Томли. «Что бы сказал Фрейд?»
Р. Фишер, У. Юри. «Переговоры без поражения. Гарвардский метод.»
Н. Цзен, Ю. Пахомов. «Психотехнические игры в спорте»

Дополним список?

Средний возраст успешного стартапера - 45 лет.

Развенчиваем мифы. Сначала две цитаты

"Молодые люди просто умнее".
— Марк Цукерберг, основатель Facebook1
"В головах инвесторов порог — 32 года… после 32 лет они начинают немного
скептически относиться."
— Пол Грэм, венчурный капиталист и основатель Y Combinator

Анализ стартаперов в США (исследователи представляли кучу разных и важных учреждений: Массачусетс, Вартон, NBER, Университет Пенсильвании и т.п.) показал, что медианный возраст основателей стартапов 42 года, а медианный возраст основателей успешных стартапов (топ 1 % стартапов) - 45 лет!

Источник
https://pubs.aeaweb.org/doi/pdfplus/10.1257/aeri.20180582

Уверен, сейчас найдется много людей, которые скажут: я знал, я знал!!!)))

Психологические профили 263 профессий
Чуваки (ученые из Тарту, Эстония, Монреаля, Эдинбурга) реально заморочились и создали профили по Большой пятерке для 263 профессий.

На этой странице средние значения по шкалам Большой пятерки по всем 263 профессиям.
https://apps.psych.ut.ee/JobProfiles/

Что касается HR, то представители данной профессии по шкале невротизма (эмоциональности) на 10 месте с конца (черта личности, характеризующаяся эмоциональной неустойчивостью, тревогой, низким самоуважением, т.е. у HR все в порядке с устойчивостью). Лидеры по невротизму актеры, а с другого конца – специалисты по базам данных.
По экстраверсии HR на 7 месте (удивительно, я считал HR скорее интровертами), лидеры по экстраверсии – специалисты по рекламе и PR, а антилидеры – интроверты – инженеры по электронике и разработчики ПО (ожидаемо?).
По шкале Открытость новому опыту HR примерно посерединке. Лидеры Visual Artists – хз, кто такие. Аннтилидеры – операторы кранов – ну правильно, они там сидят у себя на высоте. Психологи, кстати, на 4-м месте.
По шкале Доброжелательность HR чуть ниже серединки, лидеры Инженеры-электронщики, а психологи на третьем месте, антилидеры Unspecified Sales Workers - Неуказанные работники отдела продаж и самозанятые и предприниматели - Self-employed/ Entrepreneurs
По шкале Добросовестность HR чуть-чуть не вошли в десятку лидеров. Первое место у судовых инженеров, за ними ассистенты зубных враче и терапевтов, на последнем месте все те же Visual Artists и инженеры электронщики. Журналисты на 5 месте с конца.

Описание исследования (куча статистических деталей)
https://osf.io/preprints/psyarxiv/ajvg2

Факторы депрессии
Связь между семейным положением и депрессией
Американские, китайские и малайзийские ученые провели масштабное исследование (до 18 лет наблюдений).

Целью нашего исследования было изучение связи между семейным положением и симптомами депрессии в странах с различным культурным происхождением с использованием масштабного двухэтапного межстранового анализа. Мы использовали национально репрезентативные, деидентифицированные данные на индивидуальном уровне из семи стран, включая США, Великобританию, Мексику, Ирландию, Корею, Китай и Индонезию (106 556 поперечных и 20 865 продольных участников), что составляет приблизительно 541 миллион взрослых. Продолжительность наблюдения варьировалась от 4 до 18 лет. Наш анализ показал, что у не состоящих в браке людей риск возникновения симптомов депрессии выше, чем у их состоящих в браке во всех странах (объединенное отношение шансов 1,86; 95% доверительный интервал (ДИ) 1,61–2,14). Однако величина этого риска зависела от страны, пола и уровня образования, с большим риском в западных странах по сравнению с восточными (β = 0,36; 95% ДИ, 0,16–0,56; P < 0,001), среди мужчин по сравнению с женщинами (β = 0,25; 95% ДИ, 0,003–0,47; P = 0,047) и среди тех, у кого был более высокий или более низкий уровень образования (β2 = 0,34; 95% ДИ, 0,11–0,56; P = 0,003). Кроме того, употребление алкоголя причинно опосредованно увеличивало риск возникновения симптомов депрессии в дальнейшем среди вдовствующих, разведенных/разлученных и одиноких китайских, корейских и мексиканских участников (все P < 0,001). Аналогичным образом, курение было определено как причинный посредник среди одиноких людей в Китае и Мексике, и результаты остались неизменными при проверке повторной выборки методом бутстрапа.

Т.е. если вы свободный мужчина в западной стране с высшим (или, наоборот, низшим) образованием, то шансы депрессии у вас фактически в два раза выше, чем у семейного человека. А если вы в Китае живете, пьете и курите, то это дополнительные факторы риска (спиртное и курение). Странно, что не во всех странах алкоголь фактор риска депресси, м не казалось это очевидным.

Добавлю еще факторы депрессии из других исследований: у любителей жаренной пищи и физически слабых людей риски депрессии возрастают, физическая нагрузка (занятия спортом) снижают риски (но речь об умеренной нагрузке, а не марафоны и не триатлоны), и число рабочих часов не влияет на уровень депрессии.

Источник
https://www.nature.com/articles/s41562-024-02033-0

Так Кандинский видит себе депрессию.

Психотипы HR
Я когда-то проводил опрос HR, когда они / мы описывали свой функционал, а потом еще проходили тестирование по КОТ и Большой пятерке. Выборка – несколько сотен HR.
В итоге я не просто выделил психотипы, а еще разбил их по функциям HR, получилось вот что:
1. Самый ярковыраженный у C&B (38 % сиэнбишников его носили): высокий IQ, высокий самоконтроль, интроверсия и консерватизм – и очень логично, правда? Это психотип №3.
2. У HRD (33 %) – психотип №2 – интеллект в среднем ниже, чем в среднем по HR (простите), самоконтроль чуть ниже среднего и новаторство чуть выше среднего. Шикарно, правда? На втором месте психотип №1 (29 %) – интеллект выше среднего, экстраверты, новаторы с низким самоконтролем. Всего же почти у двух третей HRD высокое новаторство и низкий самоконтроль.
3. У спецов по обучению – T&D – 27 % носят психотип №3 – как у C&B, а 23 % психотип №2 (23 %) – как у HRD. А эти психотипы крайне противоположны, поэтому в обучении прямо дихотомия.
4. А вот рекрутеры и спецы КДП размазаны достаточно ровным слоем по всем психотипам. Разве что у КДП меньше всего представлен психотип №1 - – интеллект выше среднего, экстраверты, новаторы с низким самоконтролем. Но меня эти результаты сильно не удивляют, поскольку C&B, T&D чаще отдельная функция в крупных компаниях, и туда идут специфичные люди. Также можно выделить отдельно HRD, а вот рекрутеры и кадровики это очень разнородная масса – грубо говоря, основание воронки. И да, есть, конечно, наверное, чистые профи рекрутеры с выраженным психотипом, но у нас в исследовании уже так не вычленить.
В любом случае статистический анализ показывает значимость различий распределения функций по психотипам, т.е. это значит, что психотип определяет выбор функции.
Картинка показывает кластеризацию HR по функциям. Красиво выглядит

Риски смертности зависят от доходов человека


Попинайте меня в комментах, если считаете, что не стоит такое в группу. Или лайками, если считаете, что стоит такое постить.

Исследование в Нидерландах.
Красная линия - риски смертности чувака с доходами ниже медианы, синяя линия - с доходами выше медианы. Да, под рисками смертности брали риски смертности от хронических заболеваний - типа диабет, гипертония и т.п.

До 25 лет примерно риски одинаковые, но после они начинают быстро разъезжаться.

У 35-ти летнего чувака с доходами ниже медианы риски смертности от хроники такие же, как у 50-ти летнего чувака с доходами выше медианы.

А в 70 летнем возрасте разница в 4, 4 % или вероятность умереть от хроники на 67 % выше у нижемедианного, чем у вышемедианного.

Резюме: чтобы дольше жить, зарабатывайте больше.
Кстати, в России это тоже работает.

Источник
https://www.nber.org/bh/20243/how-health-disparities-develop-over-lifecycle

Порядок рождения определяет интеллект ребенка
Первенцы самые умные.
Ученые из университетов Лейпцига и Майнца потестировали более 5 000 человек, и выяснил, что интеллект первых детей в семье выше всех последующих. На графике:
По оси Y – уровень интеллекта, по оси X – порядок рождения ребенка, т.е. 1 – это первенец и так далее. Цветом показано число детей в семье (от двух до четырех).
Также есть значимые различия в самооценке интеллекта, т.е. первенцы еще и оценивали себя по интеллекту выше. Но различий в шкалах Большой пятерки (экстраверсия, доброжелательность, добросовестность, нейротизм, открытость опыту) не обнаружено.

И да, а вы помните, что Иванушка дурачок в сказках это всегда младший сын в семье?

Я не первенец в семье, а вы?)
И, кстати говоря, пропустили важный момент. Обратите внимание: дети из семьи с двумя детьми в среднем умнее детей из семьи с тремя детьми и четырьмя детьми. Не знаю, чем объяснить. Не хватает денег на образование всех?

Источник
https://www.pnas.org/doi/full/10.1073/pnas.1506451112

«Стихи, созданные ИИ, теперь «более человечны, чем люди»… участники с большей вероятностью сочтут стихи, созданные ИИ, написанными человеком, по сравнению со стихами, написанными настоящим человеком… участники оценивают стихи, созданные ИИ, выше, чем стихи, написанные людьми»

На диаграмме по оси X 7-бальная шкала оценки стихов, по оси Y - качества, по которым оценивались стихи. Голубой боксплот - стихи от ИИ, желтым - человеками. Обратите внимание, в лиричности самый большой разрыв, т.е. люди считают, что ИИ пишет более лиричные стихи.....

Как вы к этому относитесь?

Цитата из анонса исследований
Поскольку текст, сгенерированный ИИ, продолжает развиваться, отличить его от контента, написанного человеком, становится все сложнее. В этом исследовании изучалось, могут ли читатели-неэксперты надежно отличать стихи, сгенерированные ИИ, от стихотворений, написанных известными поэтами-людьми. Мы провели два эксперимента с читателями-неэкспертами и обнаружили, что участники показали результаты ниже случайных значений при идентификации стихотворений, сгенерированных ИИ (точность 46,6%, χ2(1, N = 16 340) = 75,13, ​​p < 0,0001). Примечательно, что участники с большей вероятностью оценивали стихотворения, сгенерированные ИИ, как написанные человеком, чем настоящие стихотворения, написанные человеком (χ2(2, N = 16 340) = 247,04, p < 0,0001). Мы обнаружили, что стихи, созданные ИИ, были оценены более благоприятно по таким качествам, как ритм и красота, и что это способствовало их ошибочной идентификации как написанных человеком. Наши результаты показывают, что участники использовали общие, но несовершенные эвристики, чтобы отличить поэзию ИИ от человеческой: простота стихов, созданных ИИ, может быть проще для понимания неспециалистами, что приводит к тому, что они предпочитают поэзию, созданную ИИ, и неверно истолковывают сложность человеческих стихов как бессвязность, созданную ИИ.

Источник

Тест для участников группы. Да, сейчас такие психологические тесты. Не мы такие, жизнь такая.

Одна из этих картин нарисована ИИ, другая известным художником.

Поставьте в комментариях номер картины, которая, по-вашему, была нарисована ИИ.
Написав "левая" или "правая"

Правильный ответ, конечно, дам.

P.S. я не угадал

Правильный ответ на предыдущий пост

Левую картинку в предыдущем посте нарисовал ИИ, а правая картина - картина Поля Гогена.

Соотношение ответов у нас в комментах: 13 за левую и 19 за правую.
И вы знаете, этот результат просто удивителен! Авторы теста говорят о том, что респонденты в 60 % случаев выбирают правую картинку - картину Гогена.
В нашем случае соотношение идеальное: 19 / (13+19) = 59, 4 %

И напомню, что я тоже думал, что правая картинка это ИИ, а не Гоген....

Умение слушать влияет на результаты работы
«Perceived listening» я перевел просто как «умение слушать». Предложите свой вариант, если считаете, что смысл другой.
Суть задачи: тренеры нас учат, что мы должны уметь слушать подчиненных, коллег и т.п... Но какова ценность этого умения? Как это умение слушать влияет на производительность и результаты? Скажете банально? Ну может быть, но это ведь надо еще измерить.
Чуваки из университетов Израиля (Иерусалима, Хайфы), Вашингтона, Мюнхена провели метанализ исследований на тему взаимосвязи слушаний и результатов работы и ответили на вопрос (они взяли 664 исследований и 400 020 наблюдений):
Да, связь между умением слушать и результатами работы есть, корреляция равна 0, 39
Но беда в том, что ¾ исследований базируются на самоотчетах, доверять которым можно условно, поэтому ученые взяли только оставшиеся 25 % исследований, и показали, что и здесь есть корреляция, и эта корреляция равна 0, 21.

Безусловно, 0, 21 это не очень сильная, а точнее слабая связь, но рекомендация проста: лучше уметь слушать, чем не уметь.

Источник
На картинке: по оси Y – это конкретные исследования по теме, а горизонтальные линии показывают наличие или отсутствие корреляции. Если горизонтальная линия полностью справа от вертикальной линии посредине, значит корреляция есть, если пересекает – значит корреляция не обнаружена. Заметно, что далеко не все исследования нашли корреляцию между умением слушать и результатами работы.