Research Excellence Framework

Research Excellence Framework (REF) — это система оценки качества научно-исследовательской деятельности в высших учебных заведениях Великобритании, проводимая раз в несколько лет. Она определяет распределение государственного финансирования (блок-грантов) на научные исследования между университетами, а также служит инструментом для измерения влияния науки на общество и экономику. REF является преемником более ранних систем оценки — Research Assessment Exercise (RAE).

История

Предпосылки и Research Assessment Exercise (RAE)

До середины 1980-х годов государственное финансирование научных исследований в британских университетах распределялось в основном на основе числа студентов и исторически сложившихся объёмов. Отсутствие прямой связи между качеством исследований и финансированием вызывало критику. В 1986 году была впервые проведена Research Selectivity Exercise, которая в 1989 году трансформировалась в Research Assessment Exercise (RAE). RAE проводилась в 1992, 1996, 2001 и 2008 годах. Основным её недостатком считалось чрезмерное внимание к публикационной активности в академических журналах и недостаточный учёт практической пользы исследований.

Разработка и внедрение REF

В 2006 году правительство Великобритании (Департамент инноваций, университетов и навыков) инициировало пересмотр системы оценки. Консультации с университетами, исследовательскими советами и бизнесом привели к решению заменить RAE на новую систему, которая бы оценивала не только качество публикаций, но и их «воздействие» (impact) за пределами академической среды. Первый цикл REF был проведён в 2014 году, оценивая результаты исследований за период с 2008 по 2013 год. Второй цикл охватил 2014–2020 годы, а его результаты были опубликованы в мае 2022 года. Третий цикл (REF 2029) в настоящее время находится в стадии разработки, с запланированным изменением методологии.

Структура и методология оценки

Три элемента оценки

Каждое поданное на оценку исследование (обычно от имени «единицы оценки» — кафедры или факультета) оценивается по трём основным критериям:

1. Качество результатов (Outputs) — 60% общей оценки в REF 2021. Оцениваются публикации (статьи, книги, монографии, патенты, программное обеспечение и т.д.), созданные сотрудниками университета. Каждый исследователь может подать от 1 до 5 работ за оцениваемый период. Оценка проводится по 4-балльной шкале:

• 4* (World-leading) — мирового уровня.
• 3* (Internationally excellent) — международно признанные.
• 2* (Internationally recognised) — признанные на международном уровне.
• 1* (Nationally recognised) — признанные на национальном уровне.
• Unclassified — не соответствующие критериям.

1. Воздействие (Impact) — 25% общей оценки. Оценивается влияние исследований на экономику, общество, культуру, здравоохранение, окружающую среду, государственную политику и качество жизни. Университеты представляют «кейсы воздействия» (impact case studies) — конкретные примеры того, как их исследования привели к реальным изменениям. Кейсы должны быть подкреплены доказательствами (данные, отчёты, письма от организаций). Примеры воздействия: разработка новых лекарств, изменение законодательства, создание новых технологий, улучшение методов обучения.

1. Среда (Environment) — 15% общей оценки. Оценивается инфраструктура, стратегия, культура и управление исследованиями в университете. Анализируются такие аспекты, как:

• Доступность ресурсов (лаборатории, библиотеки, оборудование).
• Политика найма и развития персонала (включая поддержку молодых учёных, гендерное равенство, инклюзивность).
• Эффективность управления исследовательскими проектами.
• Связь с бизнесом и другими внешними партнёрами.

Панели и подпанели

Оценка проводится экспертными группами — панелями. В REF 2021 работали четыре основных панели (A — Medicine, Health and Life Sciences; B — Physical Sciences, Engineering and Mathematics; C — Social Sciences; D — Arts and Humanities), каждая из которых делилась на несколько подпанелей (всего 34 подпанели). Члены панелей назначаются из числа ведущих учёных, а также представителей промышленности и общественных организаций.

Результаты и их влияние

Распределение финансирования

Результаты REF напрямую определяют распределение так называемого «качественного исследовательского финансирования» (QR funding) от государственных органов (Research England, Scottish Funding Council, Higher Education Funding Council for Wales, Department for the Economy in Northern Ireland). Университеты с более высокими оценками получают значительно больше средств. Например, по итогам REF 2021, около 70% всего QR-финансирования было направлено университетам, чьи исследования были оценены на 4* (мировой уровень).

Репутационные последствия

Рейтинг университета по REF является важным индикатором его научного престижа. Высокие результаты привлекают лучших исследователей, студентов и частное финансирование. Низкие результаты могут привести к сокращению штата, закрытию кафедр и снижению конкурентоспособности. REF также используется для составления национальных и международных рейтингов (например, Times Higher Education REF ranking).

Критика и недостатки

Искажение исследовательского поведения

Система REF критикуется за то, что она побуждает университеты к «игровым» стратегиям: отбору только самых цитируемых сотрудников, отказу от рискованных и долгосрочных проектов в пользу «безопасных» тем, которые гарантированно принесут высокие оценки. Это может подавлять инновации и междисциплинарные исследования.

Административная нагрузка

Подготовка материалов для REF требует огромных административных и временных затрат со стороны университетов. По оценкам, на один цикл REF уходит несколько лет подготовки, что отвлекает учёных от непосредственной научной работы. Стоимость проведения REF оценивается в десятки миллионов фунтов стерлингов.

Проблема оценки воздействия

Критерий «воздействие» (impact) вызывает наибольшие споры. Критики утверждают, что:

• Воздействие трудно измерить количественно и объективно.
• Оно часто проявляется через годы или десятилетия после завершения исследования.
• Оценка воздействия может быть субъективной и зависеть от умения университета «продать» свои достижения, а не от их реальной ценности.
• Система может поощрять исследования, ориентированные на краткосрочные и узкие практические результаты, в ущерб фундаментальной науке.

Неравенство между дисциплинами

Методология REF лучше подходит для естественных и технических наук, где результаты легко измерить (публикации, цитирования, патенты). В гуманитарных и социальных науках, где важны книги, монографии и качественные исследования, оценка часто оказывается менее точной и более спорной.

REF 2029: планируемые изменения

Для третьего цикла (REF 2029) объявлены следующие ключевые изменения:

• Упрощение процедур: сокращение количества подаваемых материалов и уменьшение административной нагрузки.
• Изменение веса критериев: качество результатов останется 60%, воздействие — 25%, среда — 15%.
• Новый подход к среде: оценка среды будет больше фокусироваться на «людях и культуре» (People, Culture and Environment — PCE), включая вопросы равенства, разнообразия и инклюзивности.
• Отказ от индивидуальных профилей: университеты будут подавать результаты от имени «единицы оценки» в целом, а не отдельных исследователей, что должно снизить давление на учёных.
• Более широкая оценка воздействия: будет учитываться не только прямое влияние, но и косвенное, а также влияние на академическую среду.

Сравнение с другими системами

REF является одной из самых влиятельных и детализированных систем оценки исследований в мире. Она отличается от систем в других странах:

• США: финансирование в основном распределяется через гранты федеральных агентств (NSF, NIH), а не через блок-гранты. Оценка качества проводится на уровне отдельных проектов.
• Германия: используется система «Exzellenzinitiative» (Инициатива превосходства), которая финансирует отдельные университеты и кластеры, а не все учреждения.
• Австралия: система ERA (Excellence in Research for Australia) оценивает качество публикаций, но не включает оценку воздействия.
• Россия: оценка научной деятельности вузов проводится через мониторинг эффективности (количество публикаций в Web of Science/Scopus, цитирования, доходы от НИОКР), но не имеет единого механизма, аналогичного REF.

Источники

• Research Excellence Framework (REF) 2021: Overview report by the four UK higher education funding bodies.
• «The Research Excellence Framework: A Guide for the Perplexed» (Higher Education Policy Institute, 2014).
• «REF 2029: Initial decisions and consultation» (Research England, 2023).
• «The impact of the Research Excellence Framework on research culture» (Royal Society, 2020).
• «Research Assessment in the UK: A Review of the REF» (Universities UK, 2016).