>> << >>
Главная Выпуск 25 Considerations and thoughts*
Considerations and thoughts*

НАУКА ИЛИ МУСОР, Исследование по результатам дискуссии в РАН

Михаил Фейгельман, Галина Цирлина

 

 

Наука на фоне мусора. По следам дискуссий на Общем собрании РАН

 07.05.2019 / № 278 / с. 5 /  Михаил Фейгельман, Галина Цирлина /

Недавно президент РАН сделал публичное признание [1] в том, в чем многие из нас не сомневались уже давно. «Коллеги, это прискорбно, но по числу мусорных публикаций Россия лидирует в мире», — сообщил г-н президент и обосновал печальный вывод низкой долей российских публикаций в журналах «первого квартиля» WoS. Дискутировал он с г-ном министром науки, ратовавшим на том же заседании за дальнейшее увеличение числа публикаций.

Можно ли о качестве научных публикаций судить по отнесению их к «квартилям»? Нет, нельзя. Все формальные показатели не без греха, но «квартили» особенно лукавы. Их используют якобы для того, чтобы учесть специфику разных научных направлений. Но направления эти определяют по классификатору Web of Science (WoS), неизменному на протяжении десятилетий и страдающему сильно разной подробностью в разных разделах. По сути, это классификатор журналов, многие из которых имеют крайне расплывчатые тематические границы. Абсурдно его использовать при оценке отдельных научных статей, и про все эти несуразности мы неоднократно писали ранее [23], когда «квартили» еще не были в ходу. За последние годы накопилось много примеров неадекватно заниженной оценки работ, относящихся к узким и редким научным направлениям, поскольку в классификаторе WoS эти направления попадают в какие-то нижние уровни или вовсе отсутствуют. И тогда малые профильные журналы (иногда весьма качественные, но имеющие узкую группу читателей) попадают в одну группу с крупными журналами, ориентированными на гораздо бо́льшую научную аудиторию. «Квартиль» у них получается далеко не первый. Так можно уникальных специалистов списать в мусор, что, впрочем, для российских начальников дело привычное.

Однако с утверждением г-на президента о том, что мусора стало сильно больше, мы согласны. К его массовому производству прямо и повсеместно толкает система оценки людей, коллективов, проектов, а главное диссертаций. Действующие научные работники систематически, почти ежедневно, получают почтой коммерческие предложения приблизительно следующего рода: «поможем опубликовать в журнале, входящем в список ВАК <иногда — в Scopus>, любую чушь за ваши деньги». Именно этот нехитрый «бизнес» ведет к радикальному росту объема того мусора, о коем говорил г-н президент, а отвечает за его существование непосредственно ВАК (и Министерство науки и высшего образования, коему ВАК подчинен). «Элитная» часть этого мусорного потока производится значительным количеством российских журналов из числа недавно подключенных к WoS при помощи RSCI (Российский индекс научного цитирования) — об этом феномене, замеченном при обновлении списков цитирования [4], мы уже сообщали в заметке [5].

Разумеется, мусор следует убирать регулярно и аккуратно, и мы рады, что на этом ответственном участке работает мощная бригада «Диссернета». Однако мирового лидерства, о котором толковал г-н министр [1], от одной лишь уборки мусора не случится. Кто-то должен производить достойную научную продукцию, добывать жемчуг. Даже на замусоренной территории дееспособные научные коллективы всё еще умудряются это делать. Это не всегда замечают государственные фонды и министерство, поскольку крайне сомнительно качество того, что называется у них научной экспертизой (обсуждение этой темы можно найти, например, здесь [6]).

Рис. В.
          Богорада
Рис. В. Богорада

И мы считаем нужным говорить не столько о мусоре, сколько о жемчуге и его добытчиках.

Если нацпроект «Наука», о котором поминал г-н министр [1], рассматривать в традиционном понимании науки как деятельности для получения новых знаний, то главной задачей этого проекта надо считать поддержку всех специалистов, способных работать на «мировом уровне», и создание условий для того, чтобы они также и воспитывали новые научные кадры.

Решает ли эту задачу давно уже принятая правительством РФ стратегия «точечных» вливаний в виде мегагрантов [7] и крупных грантов РНФ [8]?

С сугубо управленческой точки зрения куда проще выбрать очень малую долю ученых, назначить их «самыми крупными», дать им относительно много денег, и… ждать результатов по развитию науки в РФ. В самом ли деле этот подход чем-то обоснован?

Мы предлагаем реалистичный способ первичной оценки ситуации, основанный на цитировании недавно опубликованных работ российских ученых. В этом качестве мы используем ниже семилетний показатель СI7 (см. комментарий на странице [4]). Это лучше «квартилей», если взять на себя труд разобраться в классификации науки и сравнивать в рамках действительно одних и тех же направлений. Ниже обсудим для примера некоторые сравнения только для трех очень крупных направлений, хотя «на будущее» у нас собран материал и для многих других научных направлений, в том числе малых и трудно поддающихся какой-либо статистической обработке.

Наша цель — на конкретных примерах выяснить, являются ли держатели крупнейших госгрантов наиболее продуктивными в РФ учеными.

Итак, примеры. Мы собрали данные по числу статей в WoS за последние 7 лет и их цитированию для 152 руководителей мегагрантов [7] и 167 сравнимых по объему финансирования проектов РНФ «Проведение исследований научными лабораториями мирового уровня…» [8]. Около 40% этих проектов можно уверенно отнести к материаловедению (mater-sci), физике конденсированного состояния (cond-mat) и молекулярной биологии (mol-bio), см. таблицу 1. Данные по зарубежным руководителям проектов сейчас не рассматриваются, так как мы обсуждаем здесь только российский научный ресурс.

Таблица 1. Общие сведения о числе крупных грантов по обсуждаемым направлениям

 

Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

15

19

28

Руководители:

— зарубежные

— диаспора

— работающие в РФ

.

6

5

4

.

6

11

2

.

8

14

6

Число «больших» грантов РНФ

13

19

37

Руководители:

— зарубежные

— диаспора

— работающие в РФ

.

0

0

13

.

1

1

17

.

0

2

35

Получавшие и «большой» грант РНФ, и мегагрант

1

2

4

В качестве контрольных групп ученых мы рассматривали работающих в РФ специалистов тех же крупных направлений, имеющих наиболее высокое активное цитирование, но не получавших указанных выше крупных грантов. В «первой сотне» по CI7 держатели крупных грантов составляют очевидное меньшинство (таблица 2). Попытаемся понять, действительно ли остальные коллеги из «первой сотни» дают принципиально меньший вклад в количественные и качественные характеристики публикационной активности?

Таблица 2. «Топ-группы» работающих в РФ по СI7 (цитирование работ, опубликованных в последние 7 лет) — первая сотня

 

Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

4

3

4

Число «больших» грантов РНФ

<РНФ+мегагрант>

9

<1>

7

<1>

17

<2>

Остальные — контрольные группы

88

91

81

Число реферируемых в WoS статей (таблица 3) как у держателей крупных грантов, так и в контрольных группах различается в очень широких пределах (иногда достигая 15 статей в год, что кажется уже превосходящим все пределы разумного). Две средние колонки таблицы 3 приводят численность авторов, имеющих более 70 или менее 70 публикаций за 7 лет по каждой из исследованных подгрупп. Как видно из таблицы 3, нет значимых различий между «особо финансируемыми» учеными и контрольными группами по всем трем изученным направлениям исследований.

Еще более нас сейчас интересует не количество публикаций, а их качество. Для очень приблизительной его оценки ниже мы сравниваем типичное среднее (т. е. среднее геометрическое) количество ссылок на работы авторов из каждой изучаемой группы. Выбор в пользу анализа типичного среднего значения вместо обычного среднего арифметического сделан нами для сглаживания эффектов от единичных сильных флуктуаций (в малых подгруппах совсем сгладить не удается). Конкретно мы находили отношение числа ссылок на работы последних 7 лет (CI7) к общему числу (M7) этих статей, опубликованных каждым из авторов, входящих в исследуемые подгруппы. Затем вычисляли среднее геометрическое значение Q отношений ­q=CI7/M7 для каждой из групп: Q = (Πi=1…N qi)1/N. Значения параметра Q для каждой из групп приведены в правой колонке таблицы 3.

Разумеется, выбранный нами параметр Q характеризует не собственно качество научных публикаций, а скорее их востребованность на кратком временном интервале, однако некоторая корреляция между этими параметрами, несомненно, существует. Чтобы выяснить, сколько тут жемчуга, а сколько более рутинной продукции, требуется экспертный анализ. Но на этом предварительном этапе мы не обнаруживаем существенных различий между «финансово выделенными» учеными и гораздо более широкой «контрольной группой».

Кстати, в контрольной группе по cond-mat имеется 7 бывших лауреатов фонда «Династия», и еще двое таких лауреатов в контрольной группе по mater-sci. Их «Династия» в последние годы, к сожалению, уже никак не могла поддержать — а научную продукцию они, однако, всё еще производят.

Таблица 3. Число статей, реферируемых WoS, за последние 7 лет, и среднее цитирование одной статьи за последние 7 лет. Сравнение для держателей крупных грантов и «топ-групп» работающих в РФ, см. пояснения в тексте

 

>70

70

Q

Мегагранты, диаспора

Mater-sci (5)

Cond-mat (11)

Mol-bio (14)

.

5

8

6

.

.

3

8

.

25*

14

16

Мегагранты, работающие в РФ

Mater-sci (4)

Cond-mat (2)

Mol-bio (6)

.

4

1

2

.

.

1

4

.

13*

9

12,5

«Большие» гранты РНФ

Mater-sci (13)

Cond-mat (18)

Mol-bio (37)

.

10

14

22

.

3

4

15

.

8,5

7

7,5

Топ-группы работающих в РФ

Mater-sci (88)

Cond-mat (91)

Mol-bio (81)

.

48

55

31

.

40

36

50

.

10

11,5

16

*завышено из-за единичных флуктуаций

Выводы из нашего небольшого исследования таковы.

В стране имеется как минимум в 5−10 раз больше производителей заметного количества вовсе не мусорной научной продукции, чем держателей крупных грантов (на самом деле их, конечно, еще больше — как в трех выбранных для примера крупных областях, так и в других).

Пока бессмысленно ждать от начальства изучения вопроса, каков реальный кадровый ресурс российской науки. Нужно в инициативном порядке, используя грамотную классификацию научных областей, анализировать наукометрические данные и формулировать задачи для экспертной оценки.

Именно поэтому в рамках проекта «Корпус экспертов» мы уже двенадцатый год продолжаем расширять списки цитирования [4], обновлять данные и бороться за максимально точное определение специализаций работающих в науке коллег. Смотрите, пожалуйста, внимательно эти списки, они выводятся сейчас по кодам научного рубрикатора. Будем признательны за исправления и комментарии. Можно писать через личные окна (открываются нажатием на фамилию) или по адресу corr.lists@gmail.com.

В ближайшее время мы планируем серию публикаций по данным, извлекаемым из базы «Корпуса экспертов». В первую очередь попытаемся показать, какие именно научные области еще имеют в РФ достойное представительство и где именно (города, институты) они локализованы.

Михаил Фейгельман, Галина Цирлина

  1. vedomosti.ru/opinion/articles/2019/04/24/800 011-rossiya-liderom-musornim
  2. ufn.ru/tribune/trib160512.pdf
  3. expertcorps.ru/static/cms/Bibliometric_excitement.pdf
  4. expertcorps.ru/science/whoiswho
  5. trv-science.ru/2019/01/29/bronya-krepka/
  6. trv-science.ru/2017/10/10/esli-by-direktorom-byl-ya/
  7. p220.ru
  8. rscf.ru

Читайте также:

Академик Олег Фиговский НАУКА И БЛАГОТВОРИТЕЛЬНОСТЬ В РОССИИ.

Журнал публикует статьи двух постоянных его авторов, в которых формулируются диаметрально противоположные точки зрения на то, возможна ли в современной России благотворительность в науке, образовании и технологиях

ЭТАПЫ БОЛЬШОГО ПУТИна: Российские ученые обязаны писать отчеты о контактах с зарубежными коллегами. Возвращение Советского "права"

МинОбрНауки ужесточило правила контактов российских ученых с иностранными. Теперь о подобных встречах надо будет заранее уведомлять министерство, а по итогам – писать отчеты. Российские научные организации должны будут за пять дней уведомлять Минобрнауки о грядущей встрече с зарубежными коллегами, приложив список участников. На самой встрече должны присутствовать как минимум двое российских ученых – контакты с иностранцами один на один не разрешаются. В нерабочее время с зарубежными коллегами можно видеться лишь с разрешения руководства. Наконец, после встречи следует составить отчет с описанием разговора и сканами паспортов участников. Те же правила действуют и для встреч с российскими учеными, работающими в иностранных организациях.

Как убивали Российскую академию наук

Шесть лет назад 27 сентября 2013 года был принят «похоронный» закон о реформе РАН озаглавленный «О Российской академии наук, реорганизации государственных академий наук...». Сегодня мы подводим печальные итоги процесса уничтожения РАН, который, увы, продолжается.

Российская наука не умерла - она переехала за границу перестав быть российской

 Бедственное состояние образования, науки и технологий в России становится вопиющим, изменяя страну и ставя под угрозу её будущее

Добавить комментарий

Оставлять комментарии могут только зарегистрированные пользователи.
Войдите в систему используя свою учетную запись на сайте:
Email: Пароль:

напомнить пароль

Регистрация