Экспертная оценка

Экспертная оценка — это процедура получения и анализа мнений специалистов (экспертов) в конкретной области знаний или деятельности для выработки суждений, прогнозов, принятия решений или оценки объектов, процессов и явлений, когда формальные методы (статистические, математические) затруднены или невозможны. Основывается на профессиональном опыте, интуиции и знаниях экспертов, а также на методологически выверенных процедурах сбора и обработки информации.

Экспертные оценки применяются в ситуациях неопределённости, недостатка данных, новизны задачи или её высокой сложности. Результатом экспертизы может быть качественное заключение, количественная оценка, ранжирование вариантов, прогноз развития событий или рекомендация.

История развития метода

Истоки экспертного оценивания восходят к античности, когда советы старейшин или мудрецов использовались для принятия важных государственных и военных решений. Однако как систематизированная научная процедура метод начал формироваться в XX веке.

В 1930–1940-х годах в США в рамках военных и оборонных проектов (например, RAND Corporation) были разработаны первые формальные методы, такие как метод Дельфи. В СССР активное развитие экспертных методов пришлось на 1960–1970-е годы в связи с задачами планирования экономики, прогнозирования научно-технического прогресса и оценки качества продукции. Значительный вклад внесли учёные В. В. Налимов, Г. Г. Азгальдов, Э. П. Райхман.

К концу XX века экспертные оценки стали неотъемлемой частью менеджмента, маркетинга, проектного управления, судебной и технической экспертизы, а также государственного управления.

Классификация экспертных оценок

Экспертные оценки классифицируются по нескольким основаниям.

По цели проведения

• Прогнозные — оценка будущего состояния объекта (например, развитие рынка, технологий).
• Диагностические — оценка текущего состояния (например, техническое состояние оборудования, качество продукции).
• Рекомендательные — выработка вариантов решений (например, выбор стратегии развития).
• Оценочные — определение стоимости, качества, значимости (например, оценка недвижимости, интеллектуальной собственности).

По форме опроса

• Индивидуальные — мнение одного эксперта (например, рецензия, заключение).
• Коллективные — согласованное мнение группы экспертов (например, метод Дельфи, мозговой штурм).

По способу получения данных

• Анкетирование — заполнение формализованных опросных листов.
• Интервьюирование — устный опрос по заранее подготовленным вопросам.
• Экспертные панели — очные или заочные дискуссии, круглые столы.
• Метод комиссий — открытое обсуждение и выработка единого мнения.

По степени формализации

• Интуитивные — основаны на неявном знании и опыте.
• Формализованные — с использованием шкал, баллов, рейтингов, математической обработки.

Методология проведения экспертной оценки

Процесс экспертной оценки включает несколько последовательных этапов.

1. Постановка задачи и формирование цели

Чётко определяется, что именно подлежит оценке, какие критерии важны, в каком виде должен быть представлен результат.

2. Формирование экспертной группы

Ключевой этап, от которого зависит качество оценки. Эксперты должны обладать:

• высокой компетентностью в предметной области;
• опытом практической работы;
• независимостью суждений;
• способностью к аргументации.

Численность группы зависит от сложности задачи. Обычно рекомендуется от 7 до 20 экспертов. Для отбора используются методы самооценки, взаимной оценки, тестирования, анализа публикаций.

3. Разработка методики и инструментария

Создаются опросные листы, анкеты, шкалы, инструкции. Определяется способ сбора данных (очный, заочный, анонимный, открытый) и формат ответов (баллы, ранги, текстовые комментарии).

4. Проведение опроса (сбор данных)

Экспертам предоставляется исходная информация и задаются вопросы. Важно обеспечить однозначное понимание терминов и критериев. При коллективной оценке может проводиться несколько туров с обратной связью (метод Дельфи).

5. Обработка и анализ результатов

Полученные данные обрабатываются статистическими методами: вычисляются средние значения, медианы, дисперсии, коэффициенты конкордации (согласованности), строятся рейтинги и гистограммы. Выявляются выбросы и противоречия.

6. Интерпретация и оформление заключения

Результаты представляются в виде отчёта, заключения, аналитической записки. Оценка должна быть обоснована, аргументирована и содержать выводы.

Основные методы экспертных оценок

Метод Дельфи

Разработан в 1950-х годах в RAND Corporation. Предполагает несколько анонимных туров анкетирования, после каждого тура экспертам сообщается статистика ответов группы. Эксперты могут корректировать своё мнение. Процедура продолжается до достижения устойчивого консенсуса. Метод снижает влияние авторитетов и группового давления.

Метод мозгового штурма (брейнсторминг)

Коллективная генерация идей в условиях свободного высказывания без критики. Используется для поиска нетривиальных решений и прогнозирования. После этапа генерации следует этап анализа и отбора.

Метод комиссий (круглый стол)

Открытое обсуждение проблемы группой экспертов. Позволяет обменяться мнениями, уточнить позиции, выработать согласованное решение. Недостаток — возможное давление авторитетных участников и конформизм.

Метод попарных сравнений

Эксперты сравнивают все возможные пары объектов (вариантов, критериев) и определяют, какой из них предпочтительнее. Позволяет построить ранжирование при большом числе объектов.

Метод анализа иерархий (МАИ)

Разработан Т. Саати. Проблема декомпозируется на иерархию критериев и альтернатив. Эксперты выполняют попарные сравнения элементов, на основе которых вычисляются веса и приоритеты.

Метод «мозговой атаки» (синектика)

Усложнённая версия мозгового штурма, использующая аналогии и метафоры для поиска творческих решений.

Применение экспертных оценок

Экспертные оценки широко используются в различных сферах.

• Наука и техника — оценка научных проектов, экспертиза изобретений, прогнозирование технологического развития.
• Экономика и бизнес — оценка инвестиционных проектов, рыночного потенциала, кредитоспособности, стоимости бизнеса.
• Государственное управление — оценка эффективности программ, стратегическое планирование, экологическая экспертиза, оценка регулирующего воздействия.
• Образование — оценка качества образовательных программ, аттестация преподавателей, рецензирование диссертаций.
• Медицина — диагностика сложных случаев, выбор тактики лечения, оценка новых лекарств и методов.
• Судебная и правовая практика — судебные экспертизы (технические, бухгалтерские, почерковедческие, строительные), оценка доказательств.
• Спорт — оценка выступлений в видах спорта с субъективным судейством (фигурное катание, гимнастика, прыжки в воду).

Достоинства и недостатки

Достоинства

• Возможность оценки в условиях неопределённости и неполноты данных.
• Учёт качественных, неформализуемых факторов.
• Использование уникального опыта и интуиции специалистов.
• Относительная оперативность и низкая стоимость по сравнению с экспериментальными исследованиями.

Недостатки

• Субъективизм и зависимость от компетентности экспертов.
• Возможность группового давления и конформизма.
• Трудность верификации и воспроизводимости результатов.
• Риск ошибок из-за эффекта «ореола», стереотипов, личных предпочтений.
• Высокая трудоёмкость организации и обработки данных.

Критика и ограничения

Основная критика экспертных оценок связана с их субъективностью. Результат может зависеть от состава группы, формулировки вопросов, порядка предъявления информации. Известны случаи, когда экспертные прогнозы оказывались ошибочными (например, недооценка скорости развития интернета или провал предсказаний «конца света»).

Для повышения надёжности применяются методы повышения согласованности, анонимности, статистического контроля, а также комбинирование экспертных оценок с формальными моделями и данными объективных измерений.

Интересные факты

• В методе Дельфи название происходит от Дельфийского оракула, символизирующего предсказание будущего.
• В СССР экспертные методы активно применялись при планировании космической программы и оценке месторождений полезных ископаемых.
• В современной практике для обработки экспертных оценок часто используются программные продукты (например, Expert Choice, SPSS, специализированные онлайн-платформы).

Источники

• Налимов В. В. «Теория эксперимента». — М.: Наука, 1971.
• Азгальдов Г. Г., Райхман Э. П. «О квалиметрии». — М.: Издательство стандартов, 1973.
• Саати Т. «Принятие решений. Метод анализа иерархий». — М.: Радио и связь, 1993.
• Бешелев С. Д., Гурвич Ф. Г. «Математико-статистические методы экспертных оценок». — М.: Статистика, 1980.
• Литвак Б. Г. «Экспертные оценки и принятие решений». — М.: Патент, 1996.
• Орлов А. И. «Экспертные оценки». — М.: Экзамен, 2002.