Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.
Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются:
- научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,
- применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.
Особой разновидностью метода экспертной оценки является экспертный опрос (разновидность опроса, в ходе которого респондентами являются эксперты - высококвалифицированные специалисты в определенной области деятельности).
Эксперт - это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.
Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.
В практике психологических и социологических исследований используется для:
- прогноза развития того или иного явления;
- оценки существующего состояния какого-либо явления;
- сбора предварительной информации о проблеме исследования (зондаж);
- оценки психолого-педагогических характеристик учащихся;
- оценки коллектива;
- аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия).
Достоинства метода экспертных оценок. Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать. Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения. Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.
Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений. Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.
Данный метод применить не удастся, когда:
- исходная статистическая информация недостаточно достоверна;
- некоторая часть информации имеет качественный характер и не поддается количественной оценке;
- в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;
- существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.
Требования к экспертной группе. Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.
Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу.
Отбор экспертов, формирование экспертных групп - достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.
Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова - активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.
Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы. Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. В то же время привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.
Принципиальное значение имеет возможность обеспечения «равноправия» учёных-специалистов различных направлений, различного уровня компетентности с учётом специфики исследуемой проблемы.
Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:
- компетентность потенциального эксперта в исследуемой области,
- эрудированность в смежных областях,
- стаж научной или практической работы в определённой сфере,
- должностное положение,
- принципиальность,
- объективность,
- способность творчески мыслить,
- интуиция.
Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:
- экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);
- документальный (на основе социально-демографических данных);
- при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);
- при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).
Кроме указанных способов возможен расчёт достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. Для этого рассчитывают степень надёжности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще, делится на количество сбывшихся прогнозов). Понятие надёжности и точности эксперта базируется на предположении о том, что существует класс задач, для решения которых эксперт либо подходит, либо не подходит.
Процедура экспертного оценивания. Работа человека, организующего экспертный опрос, включает в себя ещё и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом. В работу входит:
- составление специальных опросных листов для экспертов Основной инструментарий экспертного опроса - анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней, прежде всего, однозначно формулируется подлежащее рассмотрению явление, предусматривается в виде гипотез возможные варианты его исхода;
- выбор группы экспертов;
- постановка задачи и предъявление вопросов экспертам;
- выбор способа экспертных оценок;
- собственно оценивание;
- анализ полученных данных.
Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и дающая возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон дискуссиям (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).
Может оказаться необходимой также:
- проверка входных данных, используемых для экспертных оценок;
- изменение состава экспертных групп;
- повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.
После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.
Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы. Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:
- правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);
- правило авторитета - выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан «вес», учитывающий его уровень компетентности);
- правило средней оценки - определяется либо простая, либо взвешенная средняя оценка мнений экспертов.
Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.
Виды экспертного оценивания. Существующие виды экспертных оценок можно классифицировать по признакам:
1. По форме участия экспертов:
- очное,
- заочное.
Очный метод позволяет сосредоточить внимание эксперта на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. Выбор вариантов работы с экспертами определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает их взаимовлияния, однако делает работу экспертных групп не оперативной.
Разновидности очного опроса.
1. Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, чётче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное - чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.
2. Анкетный опрос экспертов.
3. «Мозговой штурм», «мозговая атака» - прямой обмен мнениями, стимулирование наблюдения. Основная цель - нахождение решения или путей решения какой-либо научной или практической проблемы.
Разновидности заочного опроса.
1. Почтовый анкетный опрос экспертов
2. Дельфийская техника заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.
Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полного единства мнений экспертов по существу вопроса, поэтому, несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.
2. По решаемым задачам:
- генерирующие решения;
- оценивающие варианты.
3. По типу ответа:
- идейные;
- ранжирующие;
- оценивающие объект в относительной или абсолютной (численной) шкале.
4. По способу обработки мнений экспертов:
- непосредственные;
- аналитические.
5. По количеству привлекаемых экспертов:
- без ограничения;
- ограниченные (обычно используется 5 - 12 человек экспертов).
Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.