Метод экспертных оценок

Метод экспертных оценок — это совокупность логических и математико-статистических процедур, направленных на получение от специалистов (экспертов) информации, её анализ и обобщение с целью подготовки и принятия рациональных решений. Метод применяется в ситуациях, когда объект оценки (событие, явление, проект) характеризуется высокой степенью неопределённости, отсутствием или недостаточностью объективных статистических данных, а также когда невозможно или затруднительно использовать формальные математические модели. Относится к классу эвристических методов прогнозирования и анализа.

История возникновения и развития

Истоки метода экспертных оценок восходят к античным временам, когда для принятия важных государственных или военных решений созывались советы старейшин или собрания мудрецов. Однако как научно обоснованная процедура метод начал формироваться в первой половине XX века.

В 1930-х годах в США и Европе стали проводиться первые систематические опросы экспертов для прогнозирования экономических и технологических тенденций. Значительный импульс развитию метода дала Вторая мировая война, когда потребовалось оценивать вероятности успеха военных операций и эффективность новых видов вооружений в условиях неполной информации.

В 1940–1950-х годах в рамках корпорации RAND (США) была разработана методика «Дельфи» (Delphi), ставшая одним из наиболее известных и широко применяемых вариантов метода экспертных оценок. Её авторами считаются Олаф Хелмер, Норман Далки и Николас Решер. Метод «Дельфи» предполагает многоэтапный анонимный опрос экспертов с обратной связью, что позволяет снизить влияние группового давления и конформизма.

В СССР метод экспертных оценок активно развивался с 1960-х годов в рамках системного анализа, прогнозирования научно-технического прогресса и управления народным хозяйством. Значительный вклад в его теоретическое обоснование внесли советские учёные В. М. Глушков, Г. М. Добров, Ю. А. Шрейдер, И. Г. Поспелов и другие.

Классификация методов экспертных оценок

Методы экспертных оценок классифицируются по нескольким основаниям.

По форме взаимодействия экспертов

• Индивидуальные (очные или заочные). Каждый эксперт работает независимо, без общения с коллегами. Примеры: анкетирование, интервью, аналитическая записка.
• Коллективные (групповые). Предполагают совместную работу экспертов, обсуждение и выработку согласованного мнения. Примеры: метод «мозгового штурма», метод «Дельфи», метод комиссий, метод суда.

По способу получения и обработки оценок

• Прямые. Эксперты непосредственно дают количественные или качественные оценки объекту (например, вероятность события, балльная оценка важности фактора).
• Ранговые. Эксперты упорядочивают объекты по степени выраженности некоторого признака (ранжирование).
• Парные сравнения. Эксперты попарно сравнивают объекты, определяя предпочтение в каждой паре.
• Метод анализа иерархий (МАИ). Разработан Томасом Саати в 1970-х годах. Основан на декомпозиции проблемы на иерархию критериев и альтернатив с последующим попарным сравнением элементов на каждом уровне.

По цели применения

• Прогнозные. Направлены на оценку будущего состояния объекта или вероятности наступления события.
• Оценочные. Используются для оценки текущего состояния, качества, эффективности, значимости объекта.
• Классификационные. Применяются для отнесения объектов к определённым категориям или группам.

Основные этапы проведения

Процедура проведения экспертной оценки, как правило, включает следующие последовательные этапы:

1. Постановка цели и формулировка задачи. Чёткое определение того, что именно требуется оценить, с какой точностью и в каких границах.
2. Формирование группы экспертов. Подбор специалистов, обладающих необходимой компетенцией, опытом и независимостью суждений. Количество экспертов зависит от сложности задачи и требуемой точности (обычно от 5 до 20 человек).
3. Разработка процедуры и инструментария. Выбор конкретного метода (например, «Дельфи» или мозговой штурм), подготовка анкет, опросных листов, шкал оценок, инструкций для экспертов.
4. Проведение опроса (сбора мнений). Реализация выбранной процедуры: рассылка анкет, проведение интервью, организация групповой дискуссии.
5. Анализ и обработка результатов. Применение статистических методов (расчёт средних, медиан, дисперсий, коэффициентов конкордации) для выявления согласованности мнений и получения итоговой оценки.
6. Интерпретация результатов и подготовка отчёта. Формулирование выводов, оценка достоверности полученных данных, представление результатов заказчику.

Метод «Дельфи»

Метод «Дельфи» (Delphi) является одним из наиболее строгих и формализованных подходов. Его ключевые особенности:

• Анонимность. Эксперты не знают, кто ещё входит в группу, что снижает влияние авторитетов и психологическое давление.
• Многоэтапность (итеративность). Опрос проводится в несколько туров (обычно 2–4).
• Обратная связь. После каждого тура экспертам сообщаются обобщённые результаты (средние оценки, разброс мнений, аргументы крайних точек зрения) без указания авторства.
• Корректировка оценок. В последующих турах эксперты могут пересмотреть свои первоначальные оценки на основе полученной информации.

Процедура продолжается до тех пор, пока не будет достигнут приемлемый уровень согласованности мнений (консенсус) или стабилизация оценок (отсутствие значимых изменений между турами).

Достоинства и недостатки

Достоинства

• Возможность получения оценок в условиях неопределённости и отсутствия точных данных.
• Учёт неформализуемых факторов (опыт, интуиция, знания экспертов).
• Возможность прогнозирования качественных изменений и новых тенденций.
• Относительная простота реализации (по сравнению с построением сложных математических моделей).

Недостатки

• Субъективность оценок, зависимость от компетентности и добросовестности экспертов.
• Трудность подбора действительно независимых и квалифицированных экспертов.
• Возможность группового давления, конформизма (особенно в очных методах).
• Высокая трудоёмкость и длительность процедуры (особенно для метода «Дельфи»).
• Сложность верификации и проверки достоверности полученных результатов.

Области применения

Метод экспертных оценок широко используется в различных сферах:

• Научно-техническое прогнозирование. Оценка перспектив развития технологий, сроков появления новых продуктов.
• Экономика и бизнес. Оценка инвестиционных проектов, рыночного потенциала, рисков, конкурентоспособности.
• Управление и стратегическое планирование. SWOT-анализ, определение приоритетов развития, оценка эффективности управленческих решений.
• Социология и политология. Прогнозирование результатов выборов, оценка общественного мнения, анализ политических рисков.
• Экология и безопасность. Оценка вероятности и последствий природных и техногенных катастроф, экологических рисков.
• Медицина. Диагностика сложных заболеваний, оценка эффективности новых методов лечения, фармаконадзор.

Критика и ограничения

Основная критика метода экспертных оценок связана с его субъективностью. Результаты могут существенно варьироваться в зависимости от состава группы экспертов, их мотивации, формулировки вопросов и процедуры опроса. Известны случаи, когда экспертные оценки оказывались ошибочными (например, недооценка скорости распространения персональных компьютеров в 1970-х годах). Для повышения достоверности рекомендуется комбинировать метод экспертных оценок с другими методами (статистическим анализом, моделированием), а также проводить тщательный отбор экспертов и использовать формализованные процедуры обработки данных.

Источники

1. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — М.: Статистика, 1980.
2. Литвак Б. Г. Экспертные оценки и принятие решений. — М.: Патент, 1996.
3. Орлов А. И. Теория принятия решений. — М.: Экзамен, 2006.
4. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993.
5. Helmer O. Analysis of the Future: The Delphi Method. — RAND Corporation, 1967.