Открыть сервис
Главная → Блог → Экспертные оценки

Экспертные оценки

Экспертные оценки — это совокупность мнений, суждений и количественных или качественных оценок объектов, явлений или процессов, выносимых специалистами (экспертами) на основе их профессиональных знаний, опыта и интуиции в условиях недостаточной информации или высокой неопределённости. Экспертные оценки широко применяются в различных областях науки, техники, экономики, социологии, политики и управления для прогнозирования, выявления тенденций, принятия решений, аттестации и анализа сложных систем.

История возникновения и развития

Истоки применения коллективных экспертных оценок восходят к античным временам, когда для принятия важных государственных решений созывались советы старейшин или коллегии жрецов. Однако систематическое развитие методологии экспертных оценок началось в XX веке. В 1920—1930-х годах в США и Европе возникли первые формальные процедуры, такие как метод Дельфи, разработанный в 1940—1950-х годах сотрудниками корпорации RAND (Олаф Хелмер, Норман Далки, Теодор Гордон). Этот метод стал одним из наиболее известных инструментов согласования мнений экспертов. В СССР активное развитие экспертных методов происходило в 1960—1980-х годах в рамках системного анализа, теории принятия решений и прогнозирования научно-технического прогресса. Значительный вклад в теорию экспертных оценок внесли отечественные учёные В. С. Михеев, В. М. Глушков, Ю. А. Шрейдер, Д. А. Поспелов и другие.

Классификация экспертных оценок

Экспертные оценки подразделяются по нескольким основаниям.

По форме представления

  • Количественные — выражаются в числах (например, прогноз объёма рынка, вероятностная оценка риска).
  • Качественные — выражены в вербальной или порядковой шкале (например, «высокий», «средний», «низкий» уровень качества, категории рейтинга).
  • Смешанные — сочетают численные и словесные шкалы.

По числу участников

  • Индивидуальные — оценка одного эксперта (например, экспертное заключение в суде или рецензия на научную статью).
  • Коллективные — групповое решение, полученное путём агрегации мнений нескольких экспертов.

По характеру задачи

  • Прогнозные — направлены на предсказание будущего состояния объекта (например, демографический прогноз, прогноз цен на энергоносители).
  • Оценочные — выносят суждение о текущем или прошлом состоянии (например, аудит качества продукции, оценка стоимости недвижимости).
  • Аналитические — предназначены для выявления причинно-следственных связей, структурирования проблемы (например, построение дерева целей).

По способу опроса

  • Очные — эксперты взаимодействуют непосредственно (например, круглый стол, мозговой штурм, консилиум).
  • Заочные — общение опосредованное (письменные опросы, анкетирование, электронная переписка, метод Дельфи).

Методы сбора и обработки экспертных оценок

Основные методы получения экспертных мнений подразделяются на индивидуальные и групповые.

Индивидуальные методы

  • Интервью — беседа эксперта с организатором опроса по структурированному или свободному сценарию.
  • Аналитический метод — эксперт самостоятельно пишет подробный доклад или аналитическую записку.
  • Анкетирование — заполнение формализованной анкеты с вопросами закрытого (с вариантами ответов) и открытого типов.

Групповые методы

  • Метод Дельфи — многоэтапный заочный опрос, при котором экспертам анонимно предъявляются результаты предыдущих раундов с целью сближения мнений. Основные принципы: анонимность, итеративность, обратная связь, статистическая обработка.
  • Мозговой штурм — очная групповая генерация идей без критики с последующим анализом.
  • Метод сценариев — построение согласованными усилиями экспертов нескольких альтернативных вариантов развития событий.
  • Метод комиссий — очная дискуссия для выработки согласованной позиции.
  • Метод «снежного кома» — отбор экспертов по рекомендациям первых опрошенных.

Математическая обработка

Для получения итоговой групповой оценки применяются статистические процедуры:

  • вычисление среднего арифметического или медианы индивидуальных оценок;
  • нормирование весов экспертов на основе их компетентности;
  • расчёт коэффициентов конкордации (согласованности) Кендалла или коэффициентов ранговой корреляции Спирмена;
  • проверка статистических гипотез о согласии.

Требования к экспертам и их отбор

Качество экспертных оценок напрямую зависит от компетентности, объективности и добросовестности специалистов. К основным критериям отбора экспертов относятся:

  • профессиональный опыт и стаж работы в данной области (обычно не менее 5–10 лет);
  • наличие учёной степени, звания, публикаций, патентов;
  • независимость суждений (отсутствие прямой заинтересованности в результатах);
  • способность к обобщению и системному мышлению;
  • опыт участия в аналогичных экспертизах.

Численность группы варьируется в зависимости от сложности задачи: от 5–7 человек для узких вопросов до нескольких десятков (или сотен) для масштабных прогнозов.

Области применения

Экспертные оценки востребованы в самых разных сферах человеческой деятельности.

Наука и технологии

Экономика и управление

  • Оценка инвестиционных проектов и бизнес-планов.
  • Анализ рисков и неопределённостей в менеджменте.
  • Формирование рейтингов (кредитных, страновых, вузовских).
  • Определение цен на уникальные товары (антиквариат, произведения искусства).

Социология и политика

  • Социологические опросы (метод экспертных интервью).
  • Анализ общественно-политической ситуации.
  • Прогнозирование результатов выборов и референдумов.

Инженерная деятельность и промышленность

Юриспруденция и судебная практика

  • Судебные экспертизы (почерковедческая, автотехническая, строительная, экономическая).
  • Оценка ущерба и морального вреда.

Экология

Достоинства и недостатки экспертных методов

Преимущества

  • Возможность получения информации в условиях отсутствия точных статистических данных.
  • Учёт неформализуемых факторов и интуитивных суждений.
  • Гибкость и адаптируемость к сложным, многокритериальным задачам.

Недостатки

  • Субъективизм и зависимость от квалификации и личных качеств экспертов.
  • Трудоёмкость и затратность проведения масштабных экспертиз.
  • Возможность «группового мышления» (конформизм) при очных обсуждениях.
  • Сложность проверки достоверности и верификации результатов.

Методологические проблемы и критика

Основной критической точкой экспертных оценок является отсутствие строгой верификации: мнения экспертов не всегда точнее случайного угадывания или простых статистических моделей. В ряде исследований (например, работа Филипа Тетлока «Экспертные политические суждения: насколько они хороши?») показано, что предсказания экспертов в области социологии и политики нередко уступают по точности простым алгоритмам. Также отмечается проблема «калибровки» экспертов — склонность переоценивать вероятность редких событий или, напротив, недооценивать рутинные риски. В связи с этим в современной практике всё чаще применяются комбинированные подходы, сочетающие экспертные оценки с математическим моделированием, методами машинного обучения и краудсорсинга.

Нормативное регулирование в России

В Российской Федерации проведение экспертных работ регулируется рядом законодательных актов. Так, Федеральный закон «Об экологической экспертизе» (от 23.11.1995 № 174-ФЗ) устанавливает обязательность государственной экологической экспертизы для определённых видов документации. Деятельность судебных экспертов регламентируется Федеральным законом «О государственной судебно-экспертной деятельности в Российской Федерации» (от 31.05.2001 № 73-ФЗ). Экспертиза в области промышленной безопасности проводится в соответствии с требованиями Ростехнадзора.

Источники

  1. Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки. — М.: Наука, 1973.
  2. Литвак Б. Г. Экспертные оценки и принятие решений. — М.: Патент, 1996.
  3. Орлов А. И. Экспертные оценки: учебное пособие. — М.: Экзамен, 2002.
  4. Тетлок Ф. Политические прогнозы: что могут эксперты? / пер. с англ. — М.: УРСС, 2010.
  5. Форсайт и экспертные методы в научно-технической политике: сборник статей / под ред. Б. Н. Кузыка. — М.: ИНЭС, 2008.
  6. Helmer O. Social Technology. — New York: Basic Books, 1966.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →

Похожие материалы