Research Assessment Exercise¶

Research Assessment Exercise (RAE, с англ. — «Упражнение по оценке исследований») — это система периодической оценки качества научно-исследовательской работы в высших учебных заведениях Великобритании, проводившаяся с 1986 по 2008 год. RAE представляла собой экспертную процедуру, направленную на ранжирование университетских кафедр и факультетов по уровню их исследовательской деятельности, результаты которой напрямую влияли на распределение государственного финансирования (блок-гранта на исследования). В 2014 году RAE была заменена на Research Excellence Framework (REF), сохранившую основные принципы, но расширившую критерии оценки.

¶История

¶Предпосылки создания

До середины 1980-х годов государственное финансирование исследований в британских университетах распределялось в основном на основе исторически сложившихся объёмов и численности студентов, без систематической оценки качества. В 1985 году правительство Маргарет Тэтчер, стремясь повысить эффективность расходования бюджетных средств и стимулировать конкуренцию, инициировало реформу высшего образования. Первая попытка оценить исследовательскую работу была предпринята в 1986 году под названием Research Selectivity Exercise, которая впоследствии стала называться RAE.

¶Первые раунды (1986–1992)

Первый RAE (1986) охватил 37 предметных областей и оценивал только публикации за предыдущий период. Оценка проводилась по четырёхбалльной шкале (1–4). В 1989 году шкала была расширена до пяти баллов, а в 1992 году — до семи (1–5*). В 1992 году в оценку впервые были включены бывшие политехнические институты, получившие статус университетов, что значительно расширило охват.

¶Зрелый период (1996–2008)

С 1996 года RAE проводился каждые 4–5 лет. В 2001 году была введена более детальная шкала из 7 уровней (1, 2, 3a, 3b, 4, 5, 5), а в 2008 году — из 4 уровней (4, 3, 2, 1*), что отражало стремление к большей дифференциации. В 2008 году в RAE участвовали 159 британских университетов и колледжей, представивших 234 000 публикаций от 52 000 исследователей.

¶Замена на REF

В 2010 году правительство Великобритании объявило о реформе системы. С 2014 года RAE был заменён на Research Excellence Framework (REF), которая, помимо качества исследований, стала учитывать их «влияние» (impact) на экономику, общество и культуру, а также оценивать среду, в которой проводятся исследования.

¶Методология

¶Принципы оценки

RAE основывался на экспертной оценке (peer review). Каждое высшее учебное заведение подавало заявки по определённым предметным областям (Units of Assessment, UoA), включающие:

• Список активных исследователей (до 2008 года — до 30 человек на подразделение, с 2008 года — без ограничений, но с указанием доли занятости).
• До четырёх лучших публикаций каждого исследователя за оцениваемый период (обычно 5–6 лет).
• Дополнительные материалы: описание исследовательской среды, стратегии, данные о доходах от грантов, аспирантах и т.д.

¶Экспертные панели

Оценку проводили 15–20 экспертных панелей (panels), состоящих из ведущих учёных Великобритании и, с 2008 года, международных экспертов. Панели делились на подпанели по конкретным дисциплинам. Каждую заявку оценивали минимум два эксперта, при разногласиях — вся панель.

¶Шкала оценок

В 2008 году использовалась следующая шкала:

• 4* (World leading) — мирового уровня;
• 3* (Internationally excellent) — международного уровня, но не мирового;
• 2* (Recognised internationally) — признанного международного уровня;
• 1* (Recognised nationally) — признанного национального уровня.

Итоговый рейтинг подразделения представлял собой профиль — процентное распределение его исследовательской активности по каждому из четырёх уровней.

¶Критика

¶Недостатки системы

RAE подвергался критике по нескольким направлениям:

• Игровое поведение (gaming): университеты стремились нанимать «звёздных» учёных перед оценкой, чтобы повысить рейтинг, что приводило к кадровой нестабильности.
• Узкая направленность: система стимулировала публикацию в высокорейтинговых журналах, но не поощряла прикладные исследования, междисциплинарность и работу с промышленностью.
• Бюрократическая нагрузка: подготовка заявок требовала значительных административных ресурсов, отвлекая учёных от исследований.
• Неравенство дисциплин: гуманитарные и социальные науки, где результаты часто имеют форму книг или отчётов, оценивались сложнее, чем естественнонаучные дисциплины с чёткими метриками цитирования.

¶Положительные стороны

Сторонники RAE отмечали, что система:

• Повысила общее качество британских исследований, сделав их более конкурентоспособными на международном уровне.
• Обеспечила прозрачность распределения государственных средств (около 1,5 млрд фунтов стерлингов ежегодно).
• Создала стимулы для университетов инвестировать в исследовательскую инфраструктуру и поддержку молодых учёных.

¶Влияние на мировую практику

Опыт RAE был заимствован рядом стран, включая Австралию (Excellence in Research for Australia, ERA), Новую Зеландию (Performance-Based Research Fund, PBRF) и Италию (Valutazione della Qualità della Ricerca, VQR). В России элементы RAE были использованы при разработке системы мониторинга эффективности вузов, однако полного аналога не создано.

¶Сравнение с REF

Основные отличия RAE от REF:

• Критерии: RAE оценивал только качество исследований, REF — качество (65%), влияние (20%) и среду (15%).
• Периодичность: RAE проводился раз в 4–5 лет, REF — раз в 6–7 лет (2014, 2021).
• Охват: REF требует от каждого исследователя предоставлять данные, а не только от подразделения.
• Прозрачность: REF публикует подробные отчёты панелей и рейтинги по каждому университету.

¶Интересные факты

• В 2008 году в RAE участвовали 159 учреждений, но только 5 из них (Кембридж, Оксфорд, Имперский колледж Лондона, Университетский колледж Лондона и Манчестерский университет) получили 4* оценку по более чем 30% своих заявок.
• Стоимость проведения RAE 2008 составила около 47 млн фунтов стерлингов, из которых 12 млн — прямые затраты на экспертов.
• В 2001 году один из экспертов панели по физике публично заявил, что «не читал поданные работы, а оценивал по названиям журналов», что вызвало скандал и привело к ужесточению процедур.

¶Источники

• Research Assessment Exercise 2008: The Outcome. HEFCE, 2008.
• Elton, L. (2000). The UK Research Assessment Exercise: Unintended Consequences. Higher Education Quarterly, 54(3), 274–283.
• Geuna, A., & Martin, B. R. (2003). University Research Evaluation and Funding: An International Comparison. Minerva, 41(4), 277–304.
• Bates, M. J. (2010). The Research Assessment Exercise in the United Kingdom: A Critical Review. Journal of the American Society for Information Science and Technology, 61(12), 2497–2508.