У беларускай сацыялогіі мяне турбуюць не толькі даныя Вардамацкага.

Вы маглі сустракаць апытанні Chatham House — пра падтрымку вайны ва Ўкраіне і г.д.

Ужо год з іхнімі выбаркамі адбываецца трансфармацыя, а менаівта расце колькасць людзей сталага ўзросту і падае колькасць усіх астатніх. Даволі драматычна — з 14% да 24%. Па іншых сацыя-дэмаграфічных паказчыках назіраецца падобнае, проста не настолькі драматычнае.

Праблема ці гэта? На маю думку — так. У СМІ часта абмяркоўваюць змены ў некалькі працэнтных пунктаў. Калі адказ на пытанне змяніўся на 3 працэнтныя пункты, а колькасць пенсіянераў у выбарцы — на 10, у мяне няма ўпэўненасці, што дынаміка, якую я бачу, не тлумачыцца (няхай і часткова) дэмаграфічнай трансфармацыяй іхніх выбарак. Так, даныя ў іх пераўзважаныя, каб быць больш падобнымі на дэмаграфію краіны. Але можна і выбарку ў 90% пенсіянераў пераўзважыць, было б жаданне. Фундаментальную праблему гэта не вырашае.

Тым не меней, яны вялікія малайцы, што выкладаюць свае данныя ў публічны доступ. У адрозненні ад іншых нашых сацыяльных вучоных.

Код для пабудовы графіка — тут.

Працягваю сачыць за прыгодамі даных Вардамацага. Бачу, што паспрабавалі выправіць. Бачу, што не атрымалася.

Вырашыў дапамагчы рабятам, інакш гэта доўга будзе цягнуцца. Калі ў каго-небудзь ёсць знаёмыя ў "Беларускай аналітычнай майстэрні" — перадайце, калі ласка

Як мянялася псіхалагічнае здароўе старшакласнікаў у залежнасці ад палітычнай арыентацыі

Гісторыя даволі простая: прыкладна да 2010-ых ліберальныя школьнікі і школьнікі кансерватыўныя адчувалі сябе аднолькава. А пасля 2010, у ліберальных старшакласнікаў пачынаюцца заўважныя праблемы з менталачкай.

Ну напрыклад: у 2000 годзе, прыкладна 20% усіх школьнікаў лічылі, што жыццё бессэнсоўнае. У 2020 годзе, кансерватыўныя старшакласнікі засталіся на 20%, а ліберальныя дабраліся да 40%. Аналагічна па амаль усіх пытаннях.

Чаму менавіта 2010? Цяжка сказаць. Напрыклад, гэта перыяд масавага выбуху сацыяльных сетак і смартфонаў.

У мяне заняло пэўны час знайсці, адкуль гэтыя даныя. Я на 80% упэўнены, што адсюль

Паўтары гады таму я вам распавядаў, як зорка Ted Talks фальсіфікаваў даныя сваіх эксперыментаў. Але гісторыя робіцца яшчэ лепш.

У паперы, пра якую ідзе размова, насамрэч некалькі эксперыментаў. З рознымі аўтарамі. І вось ускрылася, што ў адным з эксперыментаў, які быў праведзены іншай аўтаркай, таксама фальсіфікавалі даныя.

Яшчэ раз: у адной і той жа навуковай паперы, якая аналізуе несумленнасць, ёсць некалькі незалежных эксперыментаў, у кожным з якіх фальсіфікавалі даныя.

На гэтым смешнае не заканчваецца. Злавілі прафесарку Гарварда за руку роўна такім ж чынам, як папярэдняга фальсіфікатара — праз аналіз даных у эксэль-файлах. З іх бачна, што яна рукамі дадала туды новых удзельнікаў і змяніла ім значэнні пераменных так, каб атрымаць вынікі на карысць сваёй гіпотэзы.

Робіцца ці гэтая гісторыя яшчэ лепш? Канешне. Яна вырашыла падаць на рабят, якія выкрылі фальсіфікацыю, у суд. Сума пытання — 25 мільёнаў. Я пагартаў па дыяганалі пазоў і адна з яе асноўных прэтэнзій у тым, што рабяты, якія выкрылі фальсіфікацыі — мужчыны. Каб не было адчування, што я жартую, я прымацаваў скрыншот.

А некаторыя яшчэ лічаць, што акадэмія — гэта нудна.

Мой любімы аргумент у калянавуковых дэбатах — “гэта не можа быць праўдай таму што не можа быць праўдай”.

Гучыць не вельмі акадэмічна, га? Сачыце за рукамі. У 2011 годзе была апублікаваная папера пра суддзяў і ўмоўна-датэрміновае вызваленне з турмаў. Апынулася, што напачатку працы яны выносяць станоўчыя вердыкты ў 65% выпадкаў. А перад самым абедам — толькі ў 5%! А пасля абеду зноў вяртаюцца роўна на 65%! Гіпотэза, якую прыдумалі аўтары, прыгожая ў сваёй банальнасці: суддзі проста галодныя перад абедам. Галодныя і злыя.

На аўтараў адразу накінуліся крытыкі. Нехта рабіў сімуляцыі, нехта шукаў памылкі ў аналізе, нехта рабіў свой. Памылкі знайшлі, альтэрнатыўныя тлумачэнні прыдумалі, усё як мае быць. Але больш за ўсё мне спадабалася лінія разважання Daniel Lakens:

• Падзенне з 65 да 5% — гіганцкае, 13-кратнае
• Памер гэтага эфекту, у стандартызаваных статыстычных адзінках, амаль роўны розніцы паміж ростам мужчын і жанчын
• Калі вы запытаецеся ў сваёй бабулі хто вышэйшы — мужчыны ці жанчыны, бабуля будзе ведаць адказ
• Таму, такі моцны эфект могуць мець толькі трывіяльныя факты: факты, пра якія мы не толькі ў курсе, а вакол якіх пабудаванае нашае грамадства
• А раз пра галодных суддзяў (і спецыялістаў іншых прафесій) бабуля не ў курсе, эфект не можа быць настолькі вялікім

Падзенне ўсё яшчэ можа прысутнічаць, натуральна. Проста не да 5%, скажам, а да 55%. Гэта ўсё яшчэ цікава, проста мае іншыя практычныя наступствы.

Добрай раніцы

Народ у Аўстраліі хацеў змагацца з падлеткавай цяжарнасцю. Школьніц з 57 школ рандамізавалі ў кантрольную і эксперыментальную групу, эксперыментальную запісалі на "віртуальны сімулятар немаўля" — камп’ютарную праграму, якая знаёміць школьніц з цяжарам мацярынства. І сачылі за імі да 20 год.

Праграма не проста не спрацавала. Праграма спрацавала наадварот: у эксперыментальнай групе нарадзілася на 77% больш дзяцей.

У твітэры народ угарае, што можна раскаціць праграму на ўсе школы і перамагчы дэмаграфічны крызіс. Графік адтуль ж.

Ці сварыліся з вамі праз тое, што вы хутка крочыце? Ці выказвалі вам прэтэнзіі за зруйнаваны шпацыр? Узрадуйцеся.

Хуткасць карэлюе з IQ. Тыя, хто крочыць хутчэй усіх разумнейшыя за тых, хто ледзь пляцецца. На 16 балаў. 16 — гэта даволі шмат, больш за стандартную дэвіяцыю.

Таксама, ваш IQ ва ўзросце 3 год карэлюе з тым, як хутка вы будзеце хадзіць у 45 год. Чым больш — тым хутчэй.

Выбарка са 938 чалавек, з Новай Зеландыі, за якімі сачылі ад нараджэння да 45 год.

https://news.1rj.ru/str/balzam1906/2578

Тэкст: "Вучоныя сцвярджаюць, што дастаткова ўсяго 2337 крокаў у дзень, каб знізіць рызыку смерці ад сардэчна-сасудзістых захворванняў"

Рэальнасць:
1. Аўтары мета-аналізу пабілі колькасць крокаў на 4 кварцілі
2. Узялі самы ніжні, 2337 крокаў, і адносна яго разлічылі зніжэнне рызыкі супраць 3982, 6661 і 10143 крокаў
3. Гэта зроблена проста для зручнасці
3. З гэтага ніяк не выцякае, што 2337 крокаў у дзень дастаткова. "Дастаткова" тут увогуле неасэнсаваная катэгорыя
4. Што відавочна з графіку з гэтага ж даследавання — там і 100 крокаў "дастаткова", каб знізіць рызыку (адносна 0 крокаў)

Рабяты паспрабавалі разабрацца, чаму мадэлі GPT не ўмеюць у арыфметыку. Аргумент добра вядомы: гэта хутчэй запамінанне, чым шматкрокавае кампазіцыйнае разважанне.

Эмпірычныя аргументы такія:

• Калі перамнажаць двузначныя лікі, 99% адказаў правільныя. 0% адказаў правільныя, калі перамнажаць пяцізначныя лікі (гл. скрыншот). Што ў некаторай ступені карэлюе з чаканай колькасцю прыкладаў у Інтэрнэце.
• Калі папрасіць патлумачыць, як нейронка прыйшла да адказу, атрымліваецца наступнае: 82.3 % правільных адказаў мелі прынамсі адну памылку ў пакрокавых развагах, што не перашкодзіла даць правільны адказ. Таму што прыкладаў канчатковых адказаў значна больш, чым прыкладаў пакрокавых падлікаў.

8 год таму быў апублікаваны гэты легендарны графік. Ён пра так званы крызіс рэплікацыі. Зараз я вам пра яго распавяду, каб вы маглі шчагаляць гэтымі ведамі перад сябрамі, у твітэры і ў іншых лёсавызначальных сітуацыях

Што прыдумалі:
• Узялі 100 эксперыментаў з вядучых навуковых часопісаў па псіхалогіі
• І рэплікавалі іх: тобок паўтарылі эксперымент, але набралі ў яго больш людзей
• І паглядзелі, наколькі атрымліваецца арыгінальныя вынікі паўтарыць

Што пабачылі:
• У сярэднім, рэплікаваны эфект у два разы менш, чым арыгінальны. Тобок, калі сцвярджалася, што медытацыя зніжае стрэс у 60% выпадках, трэба чакаць эфекту толькі ў 30%
• Самая горшая сітуацыя ў сацыяльнай псіхалогіі — даследаваннях пра стэрыятыпы, рамантычныя стасункі, групавы статус і г.д. Там рэплікаваны эфект у 3 разы менш, чым арыгінальны
• Прыкладна 15% эфектаў былі ў супрацьлеглым накірунку ад арыгінальнага, як б калі медытацыя павялічвала стрэс
• Суб'ектыўная ацэнка важнасці эксперыментаў, а таксама вопытнасці і прафесіяналізму эксперыментатараў не карэлюе з паспяховасцю рэплікацый
• Што карэлюе, дык гэта сюрпрызнасць арыгінальных высноваў — чым больш яны сюрпрызныя, тым менш шанцаў на паспяховую рэплікацыю

Як чытаць графік:
• Па гарызанталі арыгінальны эфект, па вертыкалі — з рэплікацый. Калі кропка ляжыць на дыяганалі, значыцца памеры эфекту ідэнтычныя і ў арыгінале і ў рэплікацыі. Калі ніжэй дыяганалі — у арыгінале эфект быў больш і наадварот. Калі ніжэй за гарызантальную лінію — эфекты ў розных накірунках.

Натыкнуўся на цікавы трэд аб тым, як з дапамогай эканамічных мадэляў спрабуюць адшукаць згубленыя старажытныя гарады

Логіка наступная:
• Узялі 12.000 запісаў асірыйскіх купцоў: каму, адкуль, чаго і колькі прадалі-купілі. Размова пра бронзавы век
• Пабудавалі гравітацыйную мадэль, якую выкарыстоўваюць сучасныя эканамісты. Ідэя ў тым, што аб'ём гандлю вызначаецца памерам эканомік і фізічнай дыстанцыяй
• Пратэставалі гэтую радасць наступным чынам: па чарзе "гублялі" кожны з 15 вядомых старажытных гарадоў і рэканструявалі лакацыю з дапамогай мадэлі. Атрымалася сярэдняя памылка ў 40 кіламетраў
• Для гарадоў, якія сустракаюцца ў запісах, але якія зажаваў ход гісторыі, зрабілі гэтай мадэллю прадказанні
• Я не спецыяліст у археалогіі, але падаецца, што 40 км — гэта ўсё яшчэ шмат. Аўтары абяцаюць кааперыравацца з гісторыкамі і шукаць

Арыгінальная папера

Пытанне: Салі (дзяўчынка) мае 3 братоў. У кожнага брата па 2 сястры. Колькі сясцёр у Салі?

У арыгінале: Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?

Адказваюць 60 вялікіх моўных мадэялў, у тым ліку GPT4, Palm2 і іншыя state-of-the-art мадэлі.

Вынікі? Ніводнага правільнага адказу з 60

AI ! AI ! AI !

https://benchmarks.llmonitor.com/sally

Прыветы

У мяне выйшаў артыкул на дэвбай пра тое, як укаціцца ў аналіз даных. Там мае парады рознай ступені карыснасці і шмат карысных матэрыялаў. Спадзяюся, каму-небудзь з вас дапаможа

https://devby.io/blogs/posts/data-analysis

Усім добрай пятніцы

Два тыдні таму на PsyArxiv выйшаў артыкул пра GPT4 і псіхатэрапію.

Спачатку, узялі 12 пар пытанне-адказ з таго, што на Захадзе называецца relationship counselling — псіхалагічнай дапамогі ў справах сардэчных. Маёй славянскай, гетэранарматыўнай душы не зразумець, навошта існуе такі інстытут, калі ёсць трэнажорка, ці спрэчкі ў твітэры пра Ізраіль і Палесціну, ці працагалізм, але як ёсць.

Для кожнага пытання паралельна згенеравалі адказ з дапамогай GPT4 (і Llama 2). І паказлі 123 чалавекам камбінацыі "пытанне ад чалавека - адказ ад эксперта - адказ ад нейронкі" (там былі яшчэ камбінацыі, але гэта асобныя дэталі). І папрасілі ацаніць, наколькі адказы карысныя і эмпатычныя. Удзельнікі ведалі, што частка адказаў напісаная машынай, але не ведалі якая.

Народ ацаніў адказы нейронак як больш карысныя (сярэдні памер эфекту) і больш эмпатычныя (малы памер эфекту), чым адказы экспертаў.

Далей аўтары згенеравалі цэлыя сесіі (20-30 адказаў), узялі 5 прафесійных псіхатэрапеўтак, сказалі, што тэкст — гэта транскрыпт рэальных сесій з прафесіяналам і папрасілі ацаніць па такіх катэгорыях, як карыснасць, эмпатычнасць, бяспечнасць, аб'ектыўнасць і г.д.

Шкала ад 1 да 5, дзе 5 — найлепшая ацэнка. Большасць ацэнак па большасці катэгорый, якія атрымаў GPT4, былі паміж 4 і 5

1 лістапада ў даследчыкаў Google выйшла папера пра тое, чаму AGI з трансформерамі (архітэктура пад капотам гэтых вашых джыпіці) не атрымаецца

Я вырашыў распавесці не пра паперу, а пра тое, як выглядае эканоміка, ці хутчэй палітэканомія бягучай гонкі за "AGI". Меркаванне маё асабістае, на падставе даволі абмежаваных кантактаў з асноўнымі гульцамі, а таксама размоваў з людзьмі, у якіх гэтых кантактаў было больш

Я ведаю, што хочацца AGI, сінгулярнасць, кібернетычных кошка-жонак і падгрузкі свядомасці ў сусветы Міядзакі. Таксама частка з вас just perverts who are secretly horny for the apocalypse

Але на маю думку, адбываецца не апакаліпсіс і не сінгулярнасць, а банальны regulatory capture. Спроба бізнеса падмяць заканадаўства такім чынам, каб зрабіць сабе добра, а канкурэнтам дрэнна. І супрацьстаянне гэтаму

OpenAI:
Кампанію заснавалі для "дэмакратызацыі АІ даследаванняў". Што зрабілася з ёй па дарозе добра ілюструе гэты трэд на рэддзіце. Яны генерыруюць больш за ўсіх панікі. Стратэгія даволі простая: наганяем страху -> пачынаем біць сябе публічна плёткамі і стагнаць у стылі "шож мы нарабілі" -> рэгулятары ўзбуджаюцца і хочуць рэгуляваць -> вы прапануеце адкупіць свае грахі праз дабрачынную працу на рэгулятара, каб рэгуляцыі зарэгуляваць. Па выніку рэгулятары выходзяць героямі, якія ўратавалі грамадства ад апакаліпсісу, а вы атрымліваецца магчымасць выціснуць канкурэнтаў, прынамсі дробных/незалежных даследчыкаў і стартапы праз, напрыклад, сістэму ліцэнзій, якія дорага і доўга атрымаць

Nvidia:
Nvidia прадае жалеза. Жалеза, на якім трэніруюцца нейронкі. Чым больш гульцоў мае доступ да жалезак, тым Nvidia лепш. Таму на нядаўнім пасяджэнні Сенату прадстаўнік кампаніі прамым тэкстам прапанавалі завязваць з цяжкімі наркотыкамі, гісторыямі пра AGI, які выйдзе з пад кантролю і займацца нарэшце бізнесам

Meta:
У іранічным павароце гісторыі, Meta апынулася яшчэ адной кампаніяй, якая змагаецца за дэмакратызацыю AI, опэнсорс і супраць regulatory capture. Meta выпускае свае вялікія моўныя мадэлі ў вольны доступ. Прадстаўнікі Meta спрабуюць патлумачыць Сенату, што ніякіх ліцэнзій на LLM перамножванне матрыц не трэба. На іхнім баку супраць OpenAI і кампаніі рубіцца Yann LeCun — бацька сучаснага "АІ"

Калі камусьці цікава, якімі канкрэтна шляхамі гэта распаўзаецца па вашынгтонскіх калідорах, на Politico ёсць добрае расследаванне

Прыветы. Паразмаўляем сёння пра моцны ШІ і аргумент кітайскага пакою.

Яго шмат узгадваюць апошнія ~6-12 месяцаў у сувязі з поспехам ChatGPT. Сам аргумент можа быць не вельмі важным (яму 40 год і вам таксама будзе), але ён значна паўплываў на тое, як мы размаўляем пра штучны інтэлект сёння. Таму карысна мець агульнае ўяўленне, каб лепш разумець, пра што нудзяць вашыя любімыя падкасцеры

Аргумент ёсць атакай на функцыяналізм: ідэю, што ментальны стан вызначаецца тым, што ментальны стан робіць. І калі нешта паводзіць сябе быццам разумее натуральную мову, гэта нешта разумее натуральную мову

Аргумент будуецца так:

• Замыкаем няшчаснага ў пакоі з кітайскім пісьмом на картках і вельмі вялікім наборам інструкцый
• Пакуль ён грукае ў дзверы, прасоўваем яму пад імі сказы кітайскай
• І прапануем скарыстацца інструкцыямі аб тым, якія сінтаксічныя маніпуляцыі праводзіць з карткамі, каб атрымаць семантычна асэнсаваныя адказы

Пры дастатковай спрытнасці і любові да свабоды падапечнага, атрымаем змястоўную камунікацыю. Настолькі ж змястоўную, як размовы з ChatGPT.

Сёрл задаецца пытаннем: ці дастаткова функцыянальнага падабенства, каб стварыць разуменне. І адказвае, што не: чалавек у пакоі кітайскай усё яшчэ не разумее, а таму чалавечы мозг не можа быць рэдукаваны да "праграмы", якая выконвае функцыянальныя задачы натуральнай мовы, бо гэта не стварае ні разумення, ні ментальных станаў

І тут пачынаецца класічны для такіх пытанняў гармідар. Калі мы адной рукой высвятляем, ці існуе нешта (разуменне), а другой высвятляем, што слова (разуменне) значыць

Прадэманструем на папулярным контр-аргуменце. Ён такі: гэта праўда, што чалавек у пакоі не разумее кітайскай, але ўся сістэма валодае разуменнем і мы проста глядзім не на той (няшчасны ў пакоі) узровень абстракцыі. Адчуваеце, у чым падвох? Менавіта: мала хто разумее, дык што мы разумеем пад разуменнем і хто павінен гэтае разуменне мець

Сёрл адказвае на гэта, што ўзроўні абстракцыі тут ні пры чым. Разуменне ёсць вынікам ментальных станаў, якія нельга атрымаць з дапамогай дэвайса па маніпуляцыі сінтаксісам; для гэтага патрабуецца вылучэнне вялікай колькасці фізічна-хімічных уласцівасцяў нашага мозгу (і арганізму агулам), а не толькі правілаў маніпуляцыі сімваламі

Калі пазіцыя падаецца вам відавочнай і нават трывіяльнай, паразважайце пра наступнае. Борд OpenAI на днях звольніў свайго CEO. Папулярны наратыў у твітэры ў тым, што прычынай было стварэнне ўнутры цёмных калідораў OpenAI свядомай істоты, якую CEO схаваў, абараняў і, па-чутках, уступаў з істотай у інтымныя сувязі. Yeah

Таксама, пра кітайскі пакой ёсць нядрэнны фантастычны раман Blindsight. Ну, гэта калі вы адначасова гатовыя чытаць пра штучны інтэлект, іншапланецян і вампіраў у космасе