✨ Машинная оценка научных результатов - реальность или утопия?

Оценка научных результатов - неотъемлемая часть управления наукой, ведь на ее основе распределяется часть ресурсов на исследования. При этом сама оценка в масштабе любой крупной страны - весьма ресурсозатратная деятельность. Ученые уже давно ищут оптимальную модель оценки - ту, которая дает справедливые результаты при не очень больших затратах. И, конечно, ученые не могли пройти мимо возможностей искусственного интеллекта и машинного обучения.

Исследованиями этой тематики занимается группа британских ученых под руководством Майка Телвола (Mike Thelwall) и Кайвана Куша (Kayvan Kousha). Ученые тестируют разные алгоритмы и продукты, предлагая им оценивать научные статьи по тем или иным критериям - и сравнивают оценки алгоритмов с "человеческими".

В одном из исследований Майк Телвол загрузил в ChatGPT критерии британской системы оценки исследований REF и попросил чат оценить уровень 51 своей научной статьи. Когда автор сравнил оценки ChatGPT с теми, которые он поставил сам по тем же критериям REF, средняя корреляция оказалась всего 0.281. Однако, если брать не отдельную оценку ChatGPT, а среднюю в серии испытаний, корреляция повышается до 0.509.

В более масштабном исследовании команда авторов тестировала 32 предсказательных алгоритма уже на массиве 85 тысяч статей. Целью было понять могут ли какие-то алгоритмы по набору характеристик статьи точно предсказать, какие оценки ей поставили эксперты REF. В результате точность предсказания варьировалась не только по алгоритмам, но и по областям науки, не превышая 72%.

Опубликованные результаты говорят о том, что пока заменить оценку экспертов на машинную невозможно. Однако, алгоритмы совершенствуются и исследования будут продолжаться. Ученые ищут не только алгоритмы, дающие высокую точность, но и области с высокой предсказательностью - ведь экономию может давать даже частичная замена работы экспертов там, где машинная оценка дает эквивалентный результат. Впрочем, для внедрения таких новаций необходимо их одобрение научным сообществом, а это является отдельным сложным вопросом.

До 30 апреля 2025 года можно еще подать статью для специальной тематической подборки журнала Scientometrics. Журнал ждет статьи об использовании ИИ в наукометрии: от AI-усиленной оценки исследований до анализа научной литературы с LLM.

✨ Cancelling в академии: Публичные обвинения в сексуальных домогательствах приводят к большему падению числа цитирований, чем обвинения в недобросовестной научной работе

В фантастичном мире все исследователи получают оценку (выраженную, например, в числе цитирований) исключительно на основании своих заслуг и обоснованности их претензий на новое знание. Но реальность сложнее: на репутацию ученых и цитируемость их работ влияют и вненаучные факторы. Недавнее исследование, опубликованное в PLOS ONE задается вопросом о "цитатной цене" публичных обвинений в сексуальных домогательствах и научной недобросовестности.

Что проверяли исследователи?

Сюжет работы выстроен на противопоставлении двух проступков, - сексуальных домогательств и актов научной недобросовестности (фабрикации данных, плагиата, и проч.), - и влиянии их публичного обсуждения на дальнейшую цитируемость работ обвиняемых ученых. Если харассмент со стороны автора никак (предположительно) не связан с содержанием производимого им научного знания, то нарушение научной этики (предположительно) способно бросить тень на все портфолио его работ. В реальности, конечно, и публичные обвинения в сексуальных домогательствах могут стать причиной потери цитирования дабы избежать возможные ассоциации с проступками виновных.

Эмпирически, работа основана на анализе погодовых цитирований работ 30 авторов, публично обвиненных в сексуальных домагательствах или нарушениях научной этики (по 15 на каждую категорию проступков), и погодовых цитированиях смэтченных с ними 150 (5 к 1) других ученых. Для попадания в первую группу требовалось иметь не менее 200 цитирований, получить публичное обвинение в 2017 году или ранее, и появиться в соответствующей базе данных: the Academic Sexual Misconduct Database, Retraction Watch, Wikipedia’s List of Scientific Misconduct Incidents. Последнее требовалось авторам для того, чтобы анализируемые группы были примерно сбалансированы по степени освещения их проступков в медиа (что напоминает нам: каузальные дизайны – не только про вычисления, но и про убеждение читателя). Для подбора пар авторы изучали профили сотрудников тех же университетов или с аналогичным рейтингом, и искали соответствия по дисциплине и темам исследований, научной степени и общему числу цитирований.

Всего авторы работали с базой (WoS), состоящей из (1) погодовых цитирований 5888 публикаций за авторством 30 обвиненных авторов, и (2) 26053 публикаций за авторством 142 смэтченных ученых, что в сумме дает 290038 наблюдений за (максимум) 13 лет (до 10 – до обвинения, и 3 года после него). В статье много занимательных и тонких решений (вроде учета естественного роста числа цитирований со временем или перепроверки результатов для публикаций с небольшим числом соавторов), сопутствующих применению метода difference-in-difference-indifferences.

Какие результаты?

Результаты показали (см. график в статье), что, если (1) тренды цитирования обеих контрольных групп и ученых, обвиненных в нарушениях научной этики, значимо не изменились, то (2) для ученых, обвиненных в сексуальных домогательствах, “citation penalty” оказалось значимым и ощутимым. Пикантности этим результатам придает то, что в ходе проведенного авторами летом 2023 года опроса 240 ученых выяснилось, что большинство из них предпочло бы (при условии одинакового содержания) процитировать скорее работы авторов, обвиненных в сексуальных домогательствах (так ответило 85% респондентов). Почему так? Во-первых, ученые могут переоценивать свою способность к разделению научных заслуг и морали, а во-вторых, - они могут просто не желать признаваться, что их практика расходится с нормативными ожиданиями системы науки.

Мы видим, что отдельные акты цитирования очень чувствительны к факторам, не связанным с научной ценностью публикаций (их релевантностью и качеством). И хотя этот вывод уже хорошо знаком социологам, статья производит впечатление сложной смешанной методологией, позволяющей подсветить расхождение между убеждениями ученых и их практиками.

✨ Thesify, Elicit, SciSpace, Jenni AI, Julius AI, AnswerThis, Unriddle, Consensus, Perplexity...

Звучит знакомо или как набор заклинаний из будущего?
Каждый день появляются всё новые AI-инструменты для учёных: они ищут релевантные статьи, предлагают идеи, помогают писать тексты, анализируют исследования и сужают фокус до самого важного. Но уследить за всем этим потоком — не самая простая задача.

💡 Отличный способ держать руку на пульсе — ютуб-канал Andy Stapleton, который тестирует и делится опытом использования самых актуальных AI-инструментов для академической работы. Одно из его последних видео — AI Tools Academics SWEAR By (and the Ones to AVOID!) — рассказывает, какие из них действительно экономят время и нервы.

Рекомендуем также к просмотру:

The AI That Will Save You WEEKS of Research Time! Unriddle AI
The Best AI Tools for Academia in 2025 — Stop Searching, Start Using!
Why NotebookLM Is the Secret Weapon of Top Researchers

И многое другое!

✨OpenAlex: простой способ оценить заполненность метаданных

С ростом популярности OpenAlex все больше исследователей начали разбирать качество ее данных. Ведь платформа предоставляет открытый доступ к метаданным научных статей, которые в Scopus и WoS доступны по подписке.

Владимир Писляков в серии постов для канала «Пульс науки» показал, что по сравнению с коммерческими базами, данные в OAlex заметно проигрывает. Часто отсутствуют аннотации — а без них, к примеру, проблематично построить тематические карты в VOSviewer. Встречаются ошибки в аффилиациях (привет, российский MIT) и путаница с отозванными статьями (см. пост в канале НЖБД).

Один из способов оценить качество заполненности метаданных — загрузить их в Biblioshiny. Для работы с приложением нужно установить R и R Studio, написать 3 строчки кода, и вы получите наглядную оценку метаданных: где есть пропуски и какой анализ возможен.

Конечно, проблемы с OpenAlex не ограничиваются только пропусками, и для серьезной работы нужно проверять строки на ошибки.

ИИ в статьях: казнить нельзя использовать?

Вчера рецензировала статью в одном из топовых журналов по наукометрии – Journal of Informetrics (повторный раунд, когда авторы прислали свою рукопись после доработки).

Столкнулась с новым для себя вызовом: как написать отказ статье, в которой все относительно стройно, но прямо сердцем чуешь, что что-то не так (как-то все идеально, причесано, но при этом есть явные огрехи, которые авторы не стали исправлять?).

В первый раз отказ было писать тоже нелегко, но аргументов было явно побольше, чем во второй, но остальные два рецензента дали шанс рукописи с условием серьезной доработки (это называется рекомендация «major revisions»).

Что еще существенно осложняло дело: внутренняя лень настоятельно склоняла потратить редкие часы вечернего отдыха не на повторную подробную рецензию, а на более приятные дела – соблазн просто нажать кнопку «принять к публикации» и пойти посмотреть фильм был очень высок. Но в итоге внутренние сомнения взяли вверх.

В общем, я прибегла к помощи детекторов AI. Так как я еще не потратилась на профессиональную версию (а чувствую, что уже пора), пользовалась для проверки пробными версииями GPTZero и Scribbr.

К сожалению, мои сомнения совпали с результатами проверки: текст статьи, по мнению обоих детекторов, был по большей части сгенерирован ИИ.

Для кросс-проверки использовала еще текст статьи про мобильных ученых, который мы с коллегами опубликовали в Scientometrics. Теперь ответственно заявляю, что мы с соавторами не роботы 👻.

Для еще дополнительной проверки проконсультировалась по вопросам методологии с другой коллегой, которая настоящая профи в наукометрии. Совместными усилиями решили, что рукопись все-таки надо отклонить (спасибо ей большое!).

Но вся ирония-то в чем: я сама активно стараюсь интегрировать ИИ в свои исследования (не так много, как хотелось бы, кстати, во многом из-за ограничений на работе на vpn) и в целом я уже оценила преимущества и ограничения этих инструментов (то есть в луддизме обвинять меня не стоит).

Но вот что получается. Сейчас границы не в том, чтобы использовать или не использовать ИИ, а применять его грамотно, с указанием целей, не использовать для фальсификации данных и прочего.

Получается, что сейчас в исследованиях и издательском деле очень сильно не хватает подробного этического кодекса использования ИИ в исследованиях; желательно с «приземлением» конкретных примеров (сейчас это есть, то все очень расплывчато и туманно).

И что вот еще. В случае профессиональной экспертизы граница распознавания человеческого и сгенерированного становится все сложнее распознаваемой и тяжело доказуемой.

Со студентами у нас есть большой запас в разрыве опыта, знаний, начитанности. В конце концов, есть возможность узнать студента поближе в процессе преподавания. С коллегами, у которых видишь только их текст, границы которого выходят немного за рамки твоего опыта, это решение становится во много раз сложнее.

Пока что единственный выход мне видится во множественной экспертизе, поэтому очень хорошо, что рецензентов три. Посмотрим, что они скажут, мне очень интересно будет увидеть результат.

✨ Обновились данные Мониторинга эффективности образовательных организаций за 2024 год✨

Мониторинг является самым полным источником открытых данных о российских вузах. Министерство с 2013 года выкладывает показатели каждого университета на сайт, однако, эти данные недоступны для скачивания. В прошлом году мы подготовили данные Мониторинга для широкого пользования, а недавно обновили панель наблюдений, добавив 2024 год. Сейчас панель показателей для каждого университета доступна с 2015 по 2024 годы. Данные выложены в репозиторий и доступны по ссылке.

Подробнее о данных можно прочитать в журнале «Вопросы образования» - в новом номере вышла data-paper "Мониторинг деятельности организаций высшего образования: панель наблюдений за 2015–2023 гг.". В статье Катерины Губы и Руслана Кучакова (ИПП ЕУСПб) представлены данные Мониторинга, а также описаны основные направления использования данных в исследованиях образования, в частности при изучении факторов эффективности российских вузов и построении типологий вузов.

Данные за 2024 годы мы также включили в дашборд с таблицами и графиками. Дашборд предоставляет базовые инструменты для сравнительного анализа показателей эффективности вузов.

Сценарий №1 позволяет для каждого вуза анализировать динамику показателя одним кликом. К примеру, как изменялись баллы ЕГЭ абитуриентов вуза за последние пять лет?
Сценарий №2 позволяет ранжировать все вузы по одному из показателей Мониторинга. К примеру, можно получить список вузов, которые входят в топ-пятьдесят вузов по доле НИОКР. Такие условные рейтинги можно строить за каждый год.

✨ Решение об участии в академических конференциях далеко не всегда дается легко — особенно когда неясно, какую именно пользу они приносят. С опытом ученые все чаще находят дополнительные причины для посещения конференций. Если аспиранты говорят о том, что конференции помогают пересмотреть стратегию исследования и расширить теоретический контекст, то более опытные исследователи часто едут на конференции ради встреч с коллегами и продвижения своих идей.

Но есть ли от конференций ощутимая научная отдача?
Исследования показывают, что участие в конференции напрямую влияет на видимость и влиятельность работы. Один из показательных примеров — случай конференции Американской ассоциации политических наук в 2012 году, отменённой из-за урагана Айзек. Учёные проследили судьбу статей, которые должны были быть представлены на этом мероприятии и оказалось, что публикации, которые не были представлены, с меньшей вероятностью цитировались в последующие четыре года. Более того, отмена конференции повлияла и на социальные связи учёных, сократив число последующих коллабораций.
Похожие выводы сделали и экономисты, изучавшие упоминания конференций в научных статьях. Оказалось, что участие в конференциях способствует не только росту цитируемости за счёт повышения видимости работы, но и расширяет теоретическую базу исследований, что приносит дополнительные цитирования — академические встречи помогают выйти за пределы узкого горизонта.
Вывод прост: Конференции — это не только просто «пообщаться». Это также инвестиция в качество исследования, связи и будущее цитирования, и даже короткое личное взаимодействие имеет свое влияние на научную работу. А проверить это можно, подав доклад на международную конференцию исследователей высшего образования. Конференция пройдет с 29 по 31 октября в Москве (Вышка). До 18 мая открыт прием заявок с докладами!

P.S. О роли конференций: (1) Campos, R. et al. (2018). Lost in the storm: the academic collaborations that went missing in hurricane ISSAC. The Economic Journal, 128(610); (2) Fernanda, L. & Ben, McQ (2020). The role of conferences on the pathway to academic impact. Journal of Human Resources, 55(1); (3) Gorodnichenko, Y. et al. (2021). Conference presentations and academic publishing. Economic Modelling, 95(1); (4) Wang, W. et al. (2017). From triadic closure to conference closure: the role of academic conferences in promoting scientific collaborations. Scientometrics, 113; (5) Kwok, E. et al. (2018). The collaborative effect of scientific meetings: A study of the international milk genomics consortium. PLoS One, 13(8); (6) Hou, L., & Yang, R. (2025). How do academic gatherings promote knowledge production and dissemination?. Journal of Informetrics, 19(2).

✨ Andrew Gelman* и Megan Higgs в новой статье Interrogating the “cargo cult science” metaphor в Theory & Society (2025) предлагают пересмотреть, как мы говорим о «плохой науке».

Метафора "cargo cult science"давно популярна в академии – мол, учёные строят «взлётные полосы» из p-value и ритуальных гипотез, но самолеты (настоящее знание) не прилетают. Физик Ричард Фейнман ввел термин в 1974 году, сравнив некоторых исследователей с жителями тихоокеанских островов, строивших фиктивные аэродромы в надежде, что самолёты снова привезут товары. Метафора карго-культа обращена к критике исследований, которые следуют внешней форме науки, но без ее духа.

Основная проблема метафоры: термин часто переносит фокус с анализа научных практик на критику личности (например, честности учёных). Они предлагают говорить не о "карго-культе", а о ритуальных практиках – более точном термине, не предполагающем технологическую или культурную отсталость. Метафора отвлекает от анализа социальных и институциональных причин, из-за которых возникают «ритуальные» практики в исследовании. Речь идет о системных условиях, где ритуалы (p-value, шаблонные гипотезы, "наукообразность") заменяют рефлексию. Многие так называемые ритуальные практики возникают не из-за некомпетентности, а из-за давления среды и ограниченного доступа к хорошему обучению.

Деревянные наушники и имитация взлётно-посадочных полос не имеют прямой связи (ни в теории, ни на практике) с приземлением самолётов, доставляющих грузы. Тем не менее, они могут выполнять другие функции — например, способствовать установлению социальных связей или служить формой политического высказывания — так же, как и плохие статистические практики не способствуют реальным научным открытиям, но позволяют их приверженцам получать гранты, публиковаться и продвигаться по академической лестнице. Люди следуют этим практикам, не понимая их фундаментальных принципов или предпосылок, либо под влиянием социального давления, либо потому что верят, что «это работает», не имея при этом ясного представления, что именно означает «работает».

Вместо навешивания ярлыков авторы предлагают признание сложностей и постепенные улучшения в практике, начиная с понимания целей исследований и природы их ограничений.

*Andrew Gelman, профессор статистики и политологии в Колумбийском университете. Он широко известен как автор популярного блога Statistical Modeling, Causal Inference, and Social Science. Его работы часто направлены на критику формального, но поверхностного использования статистики в социальных и естественных науках.

✨ Как создать плохой исследовательский центр?

Дэвид Паттерсон, легендарный профессор из UC Berkeley, делится восемью "плохими заповедями" для создания исследовательского центра.

❌ Заповедь 1: Не смешивайте дисциплины. Чем уже специализация — тем лучше. Ведь понимание учеными друг друга из разных областей требует время, которое лучше потратить на сами исследования.
❌ Заповедь 2: Расширяйтесь. Чем больше университетов и исследователей — тем больше такой центр внушает уважения.
❌ Заповедь 3: Не ограничивайте продолжительность работы центра. Пусть проекты длятся десятилетия.
❌ Заповедь 4: Не делайте общих проектов в центре. Пусть каждый исследователь работает над своим проектом.
❌ Заповедь 5: Изолируйтесь. Границы – залог того, что исследователи будут меньше отвлекаться от своих проектов.
❌ Заповедь 6: Не общайтесь с “чужаками”. Вполне достаточно и внутренней экспертизы.
❌ Заповедь 7: Принимайте решения только консенсусом. Рассматривайте всех исследователей как равных друг другу.
❌ Заповедь 8: Публикуйтесь или проиграете! Больше статей — выше рейтинг.

Залог хорошего центра в обратном: ✅ Создавайте мультидисциплинарные команды ✅ Ограничивайте сроки проектов ✅ Делайте коллективные проекты ✅ Слушайте внешнюю критику ✅ Доверьте лидеру ключевые решения ✅ Думайте о реальном вкладе.

Эти рекомендации основаны на его многолетнем опыте создания успешных исследовательских центров и что интересно, они применимы не только к техническим, но и к гуманитарным и социальным наукам.

Представьте библиотекаря, вооруженного цифровыми инструментами, способного автоматизировать обзоры литературы в любой области знаний. Он сокращает идеи тысяч статей до емких мемов и с помощью сетевого анализа наглядно выявляет тенденции в развивающихся направлениях исследований.
Но что, если бы этот библиотекарь пошел дальше? Использовал бы тонкости статистики, погружаясь в облако данных, применяя новейшие методы текстового анализа и дата-майнинга? Что, если бы он смог удовлетворить даже самых требовательных исследователей и сформулировать по-настоящему инновационный научный вопрос?

Десять лет назад это был прогноз о будущем профессии библиотекаря. Прогноз оказался верен — за исключением того, что теперь этим занимается не человек, а ИИ-инструменты. Но как и в любой революции, есть обратная сторона. В недавней статье в PLOS Biology исследуется рост однотипных научных публикаций (formulaic papers), основанных на данных Национального обследования здоровья и питания США (NHANES).

Авторы показывают: доступ к этим данным стал проще, но простота привела к всплеску шаблонных исследований. Многие такие статьи используют упрощенные методы анализа, рассматривая влияние отдельных факторов на здоровье без учета сложных взаимосвязей. Это может приводить к ложным выводам и подрывать доверие к научным исследованиям. Проблема усугубляется тем, что данные могут использоваться «фабриками статей» для массового производства низкокачественных публикаций.

Шаблонные статьи являются и заметной проблемой для наукометрии, ведь интерфейсы дают простые возможности для получения графиков и таблиц. Мы видим сотни статей в виде наукометрического анализа научной области и далеко не все они стоили того, чтобы появится в журнале. Однако исследовать шаблонность таких текстов — это вызов, ведь сложно количественно оценить примитивность анализа без внимательного прочтения всей статьи. Мы думаем над этой задачей и поделимся результатами.

✨Сколько зарабатывают ректоры и преподаватели в российских университетах?

Исследователи ЦИАНО собрали и визуализировали данные о зарплатах в российских вузах за 2018–2024 годы.
Посмотреть интерактивный дашборд можно здесь: 👉 Зарплаты в российских университетах. Мы также выложили данные в открытый доступ.

Дашборд позволяет увидеть:

📌 Как меняются зарплаты ректоров, проректоров и преподавателей (ППС) по годам
📌 Насколько заметно зарплата ректора превышает среднюю зарплату по региону
📌 Каков реальный разрыв между доходами руководства и профессорско-преподавательского состава
📌 Какие вузы платят больше и где зарплата ректора превышает миллион рублей

💡 Что видно по данным за 2024 год:

• Ректор в среднем получает (медианные зарплаты): 496 тыс. рублей в месяц, проректор — 304 тыс. рублей в месяц, преподаватели (ППС) — 104 тыс. рублей в месяц.
• Средняя зарплата ректора в 7 раз выше средней зарплаты по стране
• Средняя зарплата ППС составляет 26,7% от средней зарплаты ректоров/проректоров. В рублях средний разрыв в доходах между руководством вуза и ППС – почти 363 тыс. руб. в месяц.

Исследование на этих данных было опубликовано Дарьей Геращенко (ЦИАНО) “Understanding the salary gap between academic faculty and top administrators: a New Public Management perspective” в Oxford Review of Education. Результаты показали, что разрыв в зарплатах более выражен в исследовательских университетах.

Хотите узнать о самых новых исследованиях науки и новинках наукометрии?

📄Вышел сборник материалов 20-й Международной конференции по наукометрии и информетрии (ISSI 2025) — крупнейшего мирового форума по изучению научной деятельности и её измерению. Большая удача, что в этом году конференция проходит в Ереване, и в ней смогли поучаствовать исследователи из России, в том числе и ЦИАНО.

Даже не присутствуя на конференции, можно получить очень хорошее представление о том, чем сейчас занимаются исследователи. Если вы хотите быть в курсе того, куда движется наукометрия сегодня — этот сборник обязателен к прочтению.

🔗 Читайте сборник здесь: https://issi2025.iiap.sci.am/proceedings/

История ISSI началась в 1987 году с первой конференции в Бельгии, организованной Лео Эгге и Рональдом Руссо. Тогда никто не знал, хватит ли интереса для целой серии встреч. Но интерес оказался огромным — уже к 1993 году была создана Международная ассоциация ISSI, а конференция стала регулярным событием мирового масштаба. Сегодня ISSI — главное место встречи ведущих ученых, аналитиков и практиков наукометрии.

В июне мы завершили воркшоп «Наукометрия для учёных: систематический обзор с нуля» (при поддержке фонда Потанина).
✨Было очень интенсивно: 100+ заявок, онлайн-лекции, консультации, очный финал — и десятки участников, которые начали работу над собственными обзорами.
📌 А теперь — полезности: мы собрали в одном месте ссылки на материалы воркшопа, включая фрагменты видео с лекций и подборку примеров систематических обзоров в социальных науках.
Лето — идеальное время, чтобы спокойно погрузиться и освоить новое. Ссылки тут 👉

• Виды литературных обзоров
• Адаптация систематического обзора для социальных наук
• Основные этапы обзора
• Поиск и отбор научных статей для обзора
• Этика научных публикаций

#фондапотанина
#профессиональноеразвитие
Мы уже думаем о продолжении. А пока — хорошего продуктивного отдыха!

Напомним и наш пост/картинку про явные и латентные функции аспирантуры.

Институт статистических исследований и экономики знаний ВШЭ обновил статистические данные о состоянии аспирантуры в России по итогам 2024 года:

https://www.vedomosti.ru/society/articles/2025/07/02/1121460-dolya-muzhchin-sredi-aspirantov-v-rossii

Привожу ниже основные цифры из публикации в газете «Ведомости»:

В 2024 г. почти 73% аспирантов в российских университетах были мужчинами. Для сравнения: 10 лет назад, в 2015 г., мужчин среди аспирантов было чуть больше половины (52%).

Всего по результатам 2024 г. в российских вузах училось почти 126 000 аспирантов. Их количество за шесть лет увеличилось на треть (33%) с 84 300 в 2019 г. Резкий прирост приема в аспирантуру произошел в 2022 г. Если в 2021 г. в вузы зачислили около 28 000 человек, то на следующий год – свыше 45 100, т. е. на 38% больше.

Наряду с этим растет средний возраст аспирантов в целом. Если в 2015 г. треть из них (33%) были моложе 25 лет, то в 2024 г. каждый третий (33%) оказался старше 29 лет.

В 2024 г. почти половина (48%) поступивших в аспирантуру выбрали для изучения гуманитарные и социальные науки. Всего в прошлом году на программы аспирантуры пришло 35 700 человек. Среди специальностей лидируют «региональная и отраслевая экономика» (более 3000 человек) и «менеджмент» (свыше 1700). Почти половина поступивших (48%) обучаются по договорам об оказании платных образовательных услуг. Наибольшая концентрация платников среди всех специальностей на «менеджменте» (почти 93% от поступивших).

На основе этих сухих цифр читатели могут самостоятельно сделать свои выводы. Не бином Ньютона. Ждем феерического взлета научных исследований по экономике и менеджменту.

✨ В июне на конференции по наукометрии ISSI 2025 в Ереване побывали представители ЦИАНО — Алексей Железнов и Анжелика Цивинская. По возвращении мы расспросили их о самых ярких впечатлениях. Делимся наблюдениями Анжелики.

Заметный фокус конференции — искусственный интеллект, и особенно — влияние LLM-моделей на академическое письмо. Запомнилось сразу несколько выступлений на эту тему.

В докладе Kayvan Koucha и Mike Thelwall “How Much are LLMs Changing the Language of Academic Papers?” (ищите доклад в Vol.1) обсуждалось, как изменяется язык публикаций под влиянием ИИ. Исследователи анализировали распространённость 12 терминов, характерных для текстов, сгенерированных LLM. Некоторые из них точно можно взять на заметку и не использовать слишком часто.

underscore OR underscores OR underscored OR underscoring
delve OR delves OR delved OR delving
showcasing OR showcase OR showcased OR showcases
unveil OR unveils OR unveiled OR unveiling
intricate OR intricacies OR intricately
meticulous OR meticulously
pivotal
heighten OR heightened OR heightens OR heightening
nuanced OR nuance OR nuances
bolster OR bolstering OR bolsters OR bolstered
foster OR fostering OR fosters OR fostered
interplay OR interplays OR interplayed OR interplaying

Отдельное внимание уделялось феномену tortured phrases — «замученных фраз», возникающих из-за неуклюжего автоматического перефразирования научных терминов. Они служат маркером сгенерированных текстов и используются в проектах по выявлению сомнительных публикаций, например, Problematic Paper Screener.

В рамках этого направления был представлен расширенный список из 42 таких фраз для гуманитарных и социальных наук (см. доклад “Unveiling Tortured Phrases in Humanities and Social Sciences”, Vol.2). Вот некоторые примеры:

— geological locale вместо geographical locations
— populaces вместо populations
— money-related quality вместо financial status
— sociology looks into вместо sociology research
— hard and soft casting a ballot вместо hard and soft voting

Эти исследования показывают, как можно находить «следы» ИИ в академических текстах. Но возникает более глубокий вопрос: как LLM изменит саму природу академического языка? Обогатится ли он или, наоборот, упростится? Будут ли тексты формально оригинальны, но по сути — пустыми?

О перспективах изучения текстовых метрик оригинальности рассказывал доклад J. Culbert и соавт. “Originality in Scientific Titles and Abstracts Can Predict Citation Count” (Vol.2). Авторы показали, как текстовые метрики можно использовать для предсказания цитируемости — и это может стать важным направлением будущих исследований.
Мы можем только ожидать, что исследований научных текстов станет еще больше, как для прикладных целей – детекции ИИ, так и для понимания фундаментальных вопросов производства научного знания.

Напоминаем ссылку на сайт, где лежат все доклады конференции.

​​Сложно о сложном: как ChatGPT влияет на научные тексты

С момента выхода ChatGPT в ноябре 2022 года, обсуждение его влияния на академическую среду и научные тексты не прекращается (в частности, мы регулярно затрагиваем эту тему в дайджестах). Для одних тексты, созданные с помощью GPT, кажутся «бездушными» и «поверхностными», для других же — это «великий уравнитель», позволяющий авторам описать свои идеи максимально ясно, независимо от их стиля или писательских навыков.

Недавно в Journal of Informetrics вышла статья, автор которой измерил «читабельность» научных аннотаций до появления ChatGPT и после. В основу исследования легла гипотеза о том, что растущая популярность доступных инструментов генеративного ИИ поспособствовала значительному «утяжелению» (усложнению) научных текстов.

Автор опирался на набор метаданных статей, опубликованных на площадке препринтов arXiv.org в период с 2010 года по 7 июня 2024 года (аннотации, категории, список версий публикации и т.д.). В выборку были включены статьи, относящиеся к следующим категориям (в порядке убывания по представленности): компьютерные науки, физика, математика, электротехника и другие области.

Для оценки текстов на примере аннотаций были использованы 4 различные метрики, основанные на подсчете символов, слогов, слов и предложений: автоматический индекс читаемости (Automated Readability Index), индекс Колмана-Лиау (Coleman–Liau index), индекс удобочитаемости Флеша (Flesch Reading Ease) и шкала Флеша-Кинкейда (Flesch–Kincaid Grade Level).

Исследование показало, что по всем четырём метрикам аннотации становились всё сложнее с 2010 по 2024 год, при этом особенно резкий рост наблюдался между 2022 и 2023 годами, а также между 2023 и 2024 годами.

Так, статьи, в которые вносились изменения после 2022 года, оказались более трудными для восприятия. К тому же использование слов вроде pivotal или showcasing, популярность которых возросла после выхода ChatGPT, также коррелировало с повышением сложности текстов. Скользящее стандартное отклонение показало, что наибольшая изменчивость показателей пришлась на периоды 2021–2023 и 2022–2024 гг. Кроме того, все восемь предметных категорий продемонстрировали рост сложности текстов, причём самые высокие значения были зафиксированы в 2024 году.

Эти результаты поднимают важные вопросы. Хотя LLM помогают многим авторам совершенствовать формулировки, возрастающая «отчуждённость» научных текстов может затруднять их восприятие широкой академической аудиторией и, соответственно, отталкивать. При этом не все исследователи имеют равный доступ к таким инструментам или возможности эффективно их использовать, что может поставить их в менее выгодное положение при публикации.

P.S. Пока научные тексты становятся всё более сложными, GPT всё ещё путается при генерации азбуки. Кажется, усложнить аннотацию легко, а вот воспроизвести кириллический алфавит без сюрпризов — задача более амбициозная. Мы же, в свою очередь, сгенерировали «алфавит наукометрии» — результаты ниже.

 #ChatGPT #ии #иивнауке #читабельностьтекста #азбукаGPT

Юрий Чехович написал о своем уходе из компании Антиплагиат и анонсировал свой канал про AI в науке и в образовании - Сhekhovich.AI. В канале планируется освещать вопросы:

- искусственного интеллекта и машинного обучения,
- систем и алгоритмов поиска плагиата,
- использования академических ИИ-сервисов,
- трансформации процессов в науке и образовании под влиянием новых технологий.
Основное внимание я уделю практическим аспектам, с которыми сталкиваются студенты, ученые, редакторы — все, кто работает с ИИ или взаимодействует с его результатами.

Юрий Чехович – это особый пример, как можно совмещать высокую управленческую должность и научные исследования. В 2022 году вышла его статья в авторитетном Journal of Informetrics про дублирующие публикации в российских журналах. Авторы тогда выложили данные в открытый доступ. На этих данных можно проводить собственный анализ разновидностей академической нечестности – ресайклинга текста, плагиата, скриптерства и покупного соавторства. Тем более, что в данных присутствует самый интересный период российской академии, на который приходится рассвет публикационного давления.

Еще одно исследование в копилку — : как генеративный ИИ влияет на формулировки в заголовках академических публикаций. Все началось с подозрений: почему вдруг так часто стали встречаться одни и те же глаголы в названиях?

Авторы взяли 15 глаголов (navigating, unleashing, deciphering и др.) и посмотрели, как часто они появляются в заголовках статей в SCOPUS с 2015 по 2024 годы. Выяснилось:
— Особенно выросло их использование в обзорах
— Гуманитарные и социальные науки пока затронуты меньше
— Рост идет в основном от авторов из стран, где английский не родной язык

Для автора шаблонный заголовок несет риски: вроде бы хороший заголовок, но, если в нем угадывается ИИ — рецензенты и читатели могут заподозрить, что весь текст написан не вами. Да, редактировать с помощью ИИ — уже почти норма, журналы даже не просят это указывать. Но если стиль или структура вызывают сомнения, это может повлиять на восприятие всей статьи. Берем на заметку и вычеркиваем navigating из заголовка статьи!

✨ Легко ли быть молодым? (автором)

Есть ли в России приличные научные журналы, куда легко попасть молодому автору? А в каких журналах шансов у начинающих ученых почти нет?

📊 Научная Электронная Библиотека elibrary.ru
публикует данные, которые могут помочь с ответом — средний возраст авторов для каждого журнала, индексируемого в РИНЦ.

⚠️ У этих данных есть ограничения.
Например, в расчёте среднего возраста учитываются только те авторы, у которых есть персональный профиль на elibrary.ru.

Но даже с такими оговорками, данные о «возрастном профиле» журналов открывают интересные возможности для анализа!
Как правило, издательства (не только российские, но и зарубежные) не публикуют такую информацию — у них ее и нет. Для российских журналов она стала доступна благодаря интеграции журнальных и авторских профилей на одной платформе.

🔍 Наш предварительный анализ для нескольких областей науки показывает:

📌 в социогуманитарных областях у большинства журналов средний возраст авторов — между 45 и 51 годами

📌 в естественных и точных науках — между 48 и 52 годами

При этом в каждой области науки можно встретить необычно «молодые» и необычно «зрелые» журналы по среднему возрасту авторов.

В ядро РИНЦ такие необычные журналы, как правило, не попадают.
А вот полистать «Метафизику» (средний возраст авторов 69 лет) или «Ректора ВУЗа» (85 лет), и сравнить их с «Барометром экономики, управления и права» (28 лет) — интересно!

Впрочем, надо помнить, что экстремальные значения для отдельных журналов могут объясняться расчётом по неполным данным.

📌 Для 9 областей науки из 11 журналы ядра РИНЦ в среднем «старше» по возрасту авторов, чем все журналы из этой области.
Но есть и исключения — медицина и политическая наука — в них журналы из ядра, наоборот, более «молодые».

🔍 Изучайте свои любимые журналы на elibrary.ru, и оценивайте свои шансы!