Экспертные оценки

Экспертные оценки — это совокупность мнений, суждений и количественных или качественных оценок объектов, явлений или процессов, выносимых специалистами (экспертами) на основе их профессиональных знаний, опыта и интуиции в условиях недостаточной информации или высокой неопределённости. Экспертные оценки широко применяются в различных областях науки, техники, экономики, социологии, политики и управления для прогнозирования, выявления тенденций, принятия решений, аттестации и анализа сложных систем.

История возникновения и развития

Истоки применения коллективных экспертных оценок восходят к античным временам, когда для принятия важных государственных решений созывались советы старейшин или коллегии жрецов. Однако систематическое развитие методологии экспертных оценок началось в XX веке. В 1920—1930-х годах в США и Европе возникли первые формальные процедуры, такие как метод Дельфи, разработанный в 1940—1950-х годах сотрудниками корпорации RAND (Олаф Хелмер, Норман Далки, Теодор Гордон). Этот метод стал одним из наиболее известных инструментов согласования мнений экспертов. В СССР активное развитие экспертных методов происходило в 1960—1980-х годах в рамках системного анализа, теории принятия решений и прогнозирования научно-технического прогресса. Значительный вклад в теорию экспертных оценок внесли отечественные учёные В. С. Михеев, В. М. Глушков, Ю. А. Шрейдер, Д. А. Поспелов и другие.

Классификация экспертных оценок

Экспертные оценки подразделяются по нескольким основаниям.

По форме представления

• Количественные — выражаются в числах (например, прогноз объёма рынка, вероятностная оценка риска).
• Качественные — выражены в вербальной или порядковой шкале (например, «высокий», «средний», «низкий» уровень качества, категории рейтинга).
• Смешанные — сочетают численные и словесные шкалы.

По числу участников

• Индивидуальные — оценка одного эксперта (например, экспертное заключение в суде или рецензия на научную статью).
• Коллективные — групповое решение, полученное путём агрегации мнений нескольких экспертов.

По характеру задачи

• Прогнозные — направлены на предсказание будущего состояния объекта (например, демографический прогноз, прогноз цен на энергоносители).
• Оценочные — выносят суждение о текущем или прошлом состоянии (например, аудит качества продукции, оценка стоимости недвижимости).
• Аналитические — предназначены для выявления причинно-следственных связей, структурирования проблемы (например, построение дерева целей).

По способу опроса

• Очные — эксперты взаимодействуют непосредственно (например, круглый стол, мозговой штурм, консилиум).
• Заочные — общение опосредованное (письменные опросы, анкетирование, электронная переписка, метод Дельфи).

Методы сбора и обработки экспертных оценок

Основные методы получения экспертных мнений подразделяются на индивидуальные и групповые.

Индивидуальные методы

• Интервью — беседа эксперта с организатором опроса по структурированному или свободному сценарию.
• Аналитический метод — эксперт самостоятельно пишет подробный доклад или аналитическую записку.
• Анкетирование — заполнение формализованной анкеты с вопросами закрытого (с вариантами ответов) и открытого типов.

Групповые методы

• Метод Дельфи — многоэтапный заочный опрос, при котором экспертам анонимно предъявляются результаты предыдущих раундов с целью сближения мнений. Основные принципы: анонимность, итеративность, обратная связь, статистическая обработка.
• Мозговой штурм — очная групповая генерация идей без критики с последующим анализом.
• Метод сценариев — построение согласованными усилиями экспертов нескольких альтернативных вариантов развития событий.
• Метод комиссий — очная дискуссия для выработки согласованной позиции.
• Метод «снежного кома» — отбор экспертов по рекомендациям первых опрошенных.

Математическая обработка

Для получения итоговой групповой оценки применяются статистические процедуры:

• вычисление среднего арифметического или медианы индивидуальных оценок;
• нормирование весов экспертов на основе их компетентности;
• расчёт коэффициентов конкордации (согласованности) Кендалла или коэффициентов ранговой корреляции Спирмена;
• проверка статистических гипотез о согласии.

Требования к экспертам и их отбор

Качество экспертных оценок напрямую зависит от компетентности, объективности и добросовестности специалистов. К основным критериям отбора экспертов относятся:

• профессиональный опыт и стаж работы в данной области (обычно не менее 5–10 лет);
• наличие учёной степени, звания, публикаций, патентов;
• независимость суждений (отсутствие прямой заинтересованности в результатах);
• способность к обобщению и системному мышлению;
• опыт участия в аналогичных экспертизах.

Численность группы варьируется в зависимости от сложности задачи: от 5–7 человек для узких вопросов до нескольких десятков (или сотен) для масштабных прогнозов.

Области применения

Экспертные оценки востребованы в самых разных сферах человеческой деятельности.

Наука и технологии

• Оценка научных проектов и заявок на гранты (РФФИ, РНФ, комиссии по присуждению премий).
• Рецензирование статей и диссертаций.
• Прогнозирование научно-технического прогресса (форсайт-исследования).

Экономика и управление

• Оценка инвестиционных проектов и бизнес-планов.
• Анализ рисков и неопределённостей в менеджменте.
• Формирование рейтингов (кредитных, страновых, вузовских).
• Определение цен на уникальные товары (антиквариат, произведения искусства).

Социология и политика

• Социологические опросы (метод экспертных интервью).
• Анализ общественно-политической ситуации.
• Прогнозирование результатов выборов и референдумов.

Инженерная деятельность и промышленность

• Оценка надёжности и безопасности сложных технических систем.
• Экспертиза промышленной безопасности (например, по закону «О промышленной безопасности опасных производственных объектов»).
• Диагностика аварий и катастроф.

Юриспруденция и судебная практика

• Судебные экспертизы (почерковедческая, автотехническая, строительная, экономическая).
• Оценка ущерба и морального вреда.

Экология

• Экологическая экспертиза проектов (Федеральный закон «Об экологической экспертизе»).
• Оценка экологических рисков и последствий техногенного воздействия.

Достоинства и недостатки экспертных методов

Преимущества

• Возможность получения информации в условиях отсутствия точных статистических данных.
• Учёт неформализуемых факторов и интуитивных суждений.
• Гибкость и адаптируемость к сложным, многокритериальным задачам.

Недостатки

• Субъективизм и зависимость от квалификации и личных качеств экспертов.
• Трудоёмкость и затратность проведения масштабных экспертиз.
• Возможность «группового мышления» (конформизм) при очных обсуждениях.
• Сложность проверки достоверности и верификации результатов.

Методологические проблемы и критика

Основной критической точкой экспертных оценок является отсутствие строгой верификации: мнения экспертов не всегда точнее случайного угадывания или простых статистических моделей. В ряде исследований (например, работа Филипа Тетлока «Экспертные политические суждения: насколько они хороши?») показано, что предсказания экспертов в области социологии и политики нередко уступают по точности простым алгоритмам. Также отмечается проблема «калибровки» экспертов — склонность переоценивать вероятность редких событий или, напротив, недооценивать рутинные риски. В связи с этим в современной практике всё чаще применяются комбинированные подходы, сочетающие экспертные оценки с математическим моделированием, методами машинного обучения и краудсорсинга.

Нормативное регулирование в России

В Российской Федерации проведение экспертных работ регулируется рядом законодательных актов. Так, Федеральный закон «Об экологической экспертизе» (от 23.11.1995 № 174-ФЗ) устанавливает обязательность государственной экологической экспертизы для определённых видов документации. Деятельность судебных экспертов регламентируется Федеральным законом «О государственной судебно-экспертной деятельности в Российской Федерации» (от 31.05.2001 № 73-ФЗ). Экспертиза в области промышленной безопасности проводится в соответствии с требованиями Ростехнадзора.

Источники

1. Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки. — М.: Наука, 1973.
2. Литвак Б. Г. Экспертные оценки и принятие решений. — М.: Патент, 1996.
3. Орлов А. И. Экспертные оценки: учебное пособие. — М.: Экзамен, 2002.
4. Тетлок Ф. Политические прогнозы: что могут эксперты? / пер. с англ. — М.: УРСС, 2010.
5. Форсайт и экспертные методы в научно-технической политике: сборник статей / под ред. Б. Н. Кузыка. — М.: ИНЭС, 2008.
6. Helmer O. Social Technology. — New York: Basic Books, 1966.