Результаты обсуждения считаются плодом коллективного тру-
да всей группы. Это вполне закономерно. Ведь любая идея, высказанная в
данный момент одним из участников опроса, могла уже ранее <мысленно
принадлежать> его коллеге, ожидающему слова. Кроме того, конкретное
предложение может быть прямо подсказано идеей, поданной кем-то не-
сколькими минутами раньше. Принимая во внимание указанный аспект,
на рассмотрение не рекомендуется выносить проблемы, затрагивающие чей-
либо приоритет в рассматриваемой области.
С помощью метода коллективной генерации идей можно успешно
решать многие задачи маркетинговых исследований, например:
- определение возможных путей развития прогнозируемого процес-
са или объекта, один из которых оптимальный; при решении подобных
задач данный метод применяется с целью определения полного набора
возможных путей развития;
- определение наиболее широкого круга применяемых методов,
если решение проблемы требует параллельного или последовательного
использования ряда разнообразных методов;
- выявление круга факторов, которые необходимо принимать во
внимание, определяя окончательный вариант решения задачи.
К числу важнейших недостатков метода коллективной генерации идей
относятся значительный уровень информационного шума, создаваемого
тривиальными идеями, спонтанный и стихийный характер генерации идей.
10-3751
290 Глава 5
Принципы метода коллективной генерации идей явно просматрива-
ются в <пятиминутках> и <оперативках>.
5.4. Порядок проведения экспертных
опросов и содержание их отдельных этапов
Можно выделить следующие основные этапы экспертных опросов:
А. Подбор экспертов и формирование экспертных групп.
Б. Формирование вопросов и составление анкет.
В. Формирование правил определения суммарных оценок на основе
оценок отдельных экспертов.
Г. Работа с экспертами.
Д. Анализ и обработка экспертных оценок.
Кратко рассмотрим содержание отдельных этапов экспертных опросов.
А. Подбор экспертов и формирование экспертных групп
На первом этапе, исходя из целей экспертного опроса, решаются воп-
росы относительно структуры экспертной группы, количества экспертов и
их индивидуальных качеств, иными словами, определяются направления
(разработка нового продукта, ценообразование, сбыт и т.п.), по которым
необходимо или желательно привлечь экспертов (устанавливается специа-
лизация экспертов). Далее по каждому направлению выделяются подгруп-
пы экспертов и устанавливается количество экспертов в каждой подгруп-
пе, которое зависит от конкретной постановки задачи и должно обеспечи-
вать необходимый охват и полноту аспектов по каждому конкретному воп-
росу. Затем определяются требования к квалификации экспертов, стажу их
работы в данной области опроса и общему стажу.
Определение численности экспертной группы можно осуществлять
на основе использования рассмотренных выше (разд. 4.11.3) показателей
математической статистики или на основе <прагматического> подхода.
Зачастую расчеты по формулам математической статистики дают
слишком высокие значения численности экспертной группы (порой
больше 100 экспертов), поэтому на практике можно рекомендовать ис-
пользовать <прагматический> подход, который не является столь теоре-
тически обоснованным, как первый подход, но зато легко реализуемым,
Оценки численности группы экспертов в этом случае можно произ-
вести, руководствуясь следующими соображениями. Ясно, что числен-
ность группы не должна быть малой, так как в этом случае был бы
потерян смысл формирования экспертных оценок, определяемых груп-
пой специалистов. Кроме того, на групповые экспертные оценки в зна-
чительной степени влияла бы оценка каждого эксперта. При увеличении
группы экспертов хотя и устраняются эти недостатки, но зато появля-
ется опасность возникновения новых. Так, при очень большом числе
экспертов оценка каждого из них в отдельности почти не влияет на
групповую оценку. Причем рост численности экспертной группы далеко
не всегда приносит повышение достоверности оценок. Часто расшире-
ние группы экспертов возможно лишь за счет привлечения малоква-
лифицированных специалистов, что в свою очередь может привести лишь
к уменьшению достоверности групповых оценок. Одновременно с рос-
Экспертные оценки 291
том числа экспертов увеличиваются трудности, связанные с обработкой
результатов опроса и координацией работы группы. Следовательно, су-
ществуют некоторые граничные оценки численности группы экспертов
Лпцп и Лпа" которые определяются следующим образом.
Нижняя оценка численности Лпш, должна зависеть от числа оценива-
емых событий. Данное предположение основано на существовании прави-
ла, которое обычно соблюдается при работе ученых советов, комиссий
специалистов и т.д., а именно - требований представительности группы,
состоящей из N экспертов, для принятия решений по множеству т собы-
тий, которое можно представить как N. т. Поэтому принимаем Ад,,,, > т.
Верхней границей численности экспертной группы является потен-
циально возможное число экспертов:
пах <
откуда действительное значение численности группы N находится в
пределах
т> пип <- N N < ".
После того как найдена численность группы, определяется ее струк-
тура и состав, т.е. подбираются в группу эксперты требуемой специа-
лизации и квалификации. Для того чтобы экспертная группа могла все-
сторонне произвести оценку событий, число экспертов N1 каждого /-го
направления желательно выбрать одинаковым:
где / == 1,2,...., г;
/ - число направлений.
Далее должно быть учтено одно ограничение, касающееся соответ-
ствия целей экспертов целям экспертного опроса, т.е. необходимо уста-
новить? имеется ли тенденция у отдельных экспертов необъективно
оценивать рассматриваемые события. Для этого желательно выявить по-
тенциальные возможные цели экспертов, противоречащие целям полу-
чения объективных результатов. Анализируя предшествующую деятель-
ность экспертов, необходимо выяснить наличие причин, которые при-
водят к стремлению завышать или занижать оценки так, чтобы повлиять
на групповые в желательном для себя либо для других лиц направлении.
На основе сформулированных выше условий последовательность
формирования группы экспертов может быть следующей. Сначала опре-
деляется потенциально возможное число экспертов Ад, а также мини-
мально допустимая численность группы пщ. После этого среди потен-
циально возможных экспертов выделяют группу специалистов Л (-Л <,
Л) требуемой квалификации для оцениваемого класса событий. Затем
из М], исключают тех экспертов, чьи потенциально возможные цели
могут противоречить целям получения объективных результатов. Из ос-
тавшихся экспертов ТУд (Уц <, Л) формируют группу так, чтобы в ней
обеспечивалось равночисленное представительство разных направлений.
Для этого вначале определяют максимально возможное число предста-
вителей каждого направления как
игтах _ -"Ц
"/ ~ ,
292 Глава 5
Потом находят направление с наименьшим числом экспертов Л"1"1,
которое входит в группу ТУд. Тогда общая численность группы будет оп-
ределяться по формуле
N = Nтт
После этого проверяют соотношение N>, Лщщ- Если оно не удовлетво-
ряется, то необходимо выяснить возможность ослабления приведенных выше
ограничений, либо допустимость нарушения условия М>. УУщщ, что связано
с важностью принимаемых решений на основе экспертных оценок.
Б. Формирование вопросов и составление анкет
Правила опроса экспертов содержат ряд положений, обязательных
к выполнению всеми. Эти правила должны обеспечивать соблюдение
условий, благоприятствующих формированию экспертами объективного
мнения. В число таких условий входит:
- независимость формирования экспертами собственного мнения
об оцениваемых событиях;
- удобство работы с предполагаемыми анкетами (вопросы форму-
лируются в общепринятых терминах, и должны исключать всякую смыс-
ловую неоднозначность и др. -- см. раздел 4.10.4);
- логическое соответствие вопросов структуре объекта опроса;
- приемлемые затраты времени на ответы по вопросам анкеты,
удобное время получения вопросов и выдачи ответов;
- сохранение анонимности ответов для членов экспертной группы;
- проведение коллективных обсуждений оцениваемых событий;
- предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработа-
ны правила проведения опроса и организации работы экспертной груп-
пы. Причем в них должна быть учтена специфика оцениваемых событий,
а также особенности организаций, из которых приглашаются эксперты.
В. Формирование правил определения суммарных оценок на основе
оценок отдельных экспертов
Если имеются оценки Оу событий (факторов) С", определенные каж-
дым п, О N экспертом, то возникает вопрос о том, каким образом могут
быть получены групповые оценки событий.
В общем случае групповая оценка а; каждого С, события зависит от
оценок экспертами этого события и степени компетентности Ь, экспер-
тов. Степень компетентности Ь, эксперта учитывает его опыт и квалифи-
кацию и является основной характеристикой эксперта, которая исполь-
зуется при определении групповых оценок. Поэтому
а/(а,Н), (5.1)
где / = 1, 2,..., р;
] = 1, 2,..., т.
Следовательно, задание способа формирования групповых эксперт-
ных оценок состоит в определении этой функции. Причем необходимо,
чтобы она была строго монотонно возрастающей по ОуИ А|.
Экспертные оценки 293
Этому условию удовлетворяет множество функций. Обычно полага-
ют, что функцию (1) можно представить как
Е
а=---
При равной компетентности экспертов эта формула принимает вид
средней оценки
Р
1.ау
_ =1
а,
Р
В зависимости от специфики экспертного опроса, объекта исследо-
вания и используемой методики обработки экспертных данных оценки
йу могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от О
до 100. Принципиальной разницы в данных шкалах нет, выбор той или
иной из них во многом определяется удобством получения и обработки
оценок, а также вкусом исследователя, проводящего экспертный опрос.
Для того чтобы учитывать различие в компетентности экспертов, им
могут быть приписаны различные <веса>, которые учитываются при
определении групповых оценок. Причем значения этих коэффициентов
интерпретируются как вероятность задания экспертом достоверной оцен-
ки. Тогда 0 < Ау <. 1. Значения весовых коэффициентов могут быть ис-
пользованы при построении системы стимулирования работы группы
экспертов. Например, дополнительная оплата за работу по оценке собы-
тий определится пропорционально весовому коэффициенту эксперта.
Существуют различные приемы оценки компетентности эксперта,
выбор которых определяется как характером решаемой задачи, так и
возможностями проведения конкретного экспертного опроса.
На наш взгляд, оценку следует строить на основе определенной шка-
лы, каждый балл которой определяется с помощью выбора соответствую-
щих характеристик, оценивающих квалификацию эксперта. При этом дол-
жен быть учтен уровень квалификации эксперта в узкой области специали-
зации, уровень теоретической подготовки, его практический опыт и широ-
та кругозора. Перечисленные характеристики лучше всего оценивать по деся-
тибалльной шкале, разработанной специально к конкретному экспертному
опросу. Полученные характеристики следует свести в один показатель, харак-
теризующий объективную оценку компетентности эксперта, - А/.
Кроме того, целесообразно определить показатель относительной
самооценки эксперта (субъективный показатель - Ау). Этот показатель
получается следующим образом: для каждого вопроса или группы вопро-
сов, по которым считается необходимым оценить компетентность экс-
перта, в таблице экспертных оценок предусматривается шкала под на-
званием <относительная самооценка эксперта>. В ней эксперту самому
предлагается проставить себе балл по десятибалльной шкале, ориенти-
руясь, к примеру, на следующие значения баллов:
10 - эксперт специализируется по данному вопросу, имеет по нему
законченные теоретические или практические разработки (научные ис-
294 Глава 5
следования, запущенные в производство технические разработки, дан-
ный вопрос непосредственно относится к области его узкой служебной
деятельности);
8 - в практическом решении данного вопроса эксперт участвует,
но этот вопрос не входит в сферу его узкой специализации;
5 - вопрос входит в сферу тесно связанного с его узкой специали-
зацией направления (смежная прикладная дисциплина, смежная область
практической деятельности);
3 - вопрос не входит в сферу тесно связанного с его узкой специ-
ализацией направления (например, знакомство с проблемой по литера-
турным источникам, по работе на другом предприятии и т. п.).
В целом показатель <относительная самооценка эксперта> направлен
на то, чтобы эксперт сам оценил уровень своей компетентности по
заданному вопросу.
Для того чтобы шкала баллов не оказывала влияния на самооценку,
в графе <относительная самооценка эксперта> можно привести перечень
характеристик компетентности экспертов без проставления баллов. В этом
случае эксперт должен подчеркнуть те характеристики, которые, по его
мнению, определяют уровень личной компетентности. Баллы проставля-
ются рабочей группой при анализе собранных анкет. Анкета для опреде-
ления компетентности экспертов приводится в табл. 5.2.
Произведение объективного и субъективного показателей, деленное
на сто, будет характеризовать компетентность эксперта по данному воп-
росу, т.е.
100
Деление на 100 нужно для приведения диапазона изменения йу к
виду 0 < Ау <_ 1. Тогда показатель компетентности эксперта можно трак-
товать как вероятность задания им достоверной оценки.
При неоднократном повторении опроса одним и тем же коллективом
экспертов (либо устойчивым большинством) по сходным вопросам можно
и необходимо на каждом новом опросе воспользоваться уже накопленны-
ми результатами для уточнения характеристик компетентности экспертов.
Кроме того, компетентность экспертов может быть определена сами-
ми экспертами. Для этого каждый эксперт, входящий в группу, задает ве-
совые коэффициенты всем остальным экспертам, кроме себя. Далее опре-
деляется среднеарифметическая оценка компетентности каждого эксперта.
Для отбора наиболее компетентных и добросовестных экспертов,
участников фокус-групп и других методов, основанных на использова-
нии ограниченного числа опрашиваемых, возможно использование так
называемых фильтрующих вопросов и вопросов-ловушек.
Например, при опросе торговых посредников о проблемах сбыта
конкретных товаров на определенной стадии опроса может быть введен
следующий фильтр: <Следующие вопросы относятся только к тем, кто
параллельно сбывает товары следующих фирм (указано - каких)>.
Вопросы-ловушки помогают выявить недостаточно компетентных
(недобросовестных) экспертов следующим образом. Скажем, в число
оцениваемых товаров включаются товар несуществующей марки. Лица,
оценившие данный товар, подозреваются в невнимательности или заве-
домой недобросовестности.
Таблица 5.2
Анкета для оценки компетентности эксперта
Объективмаяоценка - ПоСубъективная оценка1-Ьс
ЗанимаемаяБал-УровеньБал-Общий стажБал-Стаж работыБал-Степень участия вБал-
должностьлыобразованиялыработылыпо проблемелырешении даннойлы
проблемы
Руководитель10Доктор наук6Более 10 лет10Более 10 лет10Эксперт10
организацииспециализируется
по данному вопросу
Зам.8Кандидат наук4От 10 до 5 лет8От 10 до 5 лет8Эксперт участвует в8
руководителяпрактическом
решении данного
вопроса, но он не
входит в сферу его
узкой
специал изации
Руководитель6Высшее2Менее 5 лет6Менее 5 лет6Вопрос входит в6
подразделе-образованиесферу тесно
ниясвязанного с его
узкой
специализацией
направления
Зам.4Вопрос не входит в3
руководителясферу тесно
подразделе-связанного с его
нияузкой
специализацией
направления
296 Глава 5
Если экспертиза проводится неоднократно одной и той же группой]
(или устойчивым большинством) экспертов по сходным вопросам, сле-
дует при каждом новом опросе воспользоваться уже полученными ре-
зультатами для уточнения характеристик компетентности экспертов.
Практика экспертных опросов показывает, что, хотя методы само-
оценки недостаточны для того, чтобы служить единственным критерием
оценки компетентности экспертов, использование этих методов способ"!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68
да всей группы. Это вполне закономерно. Ведь любая идея, высказанная в
данный момент одним из участников опроса, могла уже ранее <мысленно
принадлежать> его коллеге, ожидающему слова. Кроме того, конкретное
предложение может быть прямо подсказано идеей, поданной кем-то не-
сколькими минутами раньше. Принимая во внимание указанный аспект,
на рассмотрение не рекомендуется выносить проблемы, затрагивающие чей-
либо приоритет в рассматриваемой области.
С помощью метода коллективной генерации идей можно успешно
решать многие задачи маркетинговых исследований, например:
- определение возможных путей развития прогнозируемого процес-
са или объекта, один из которых оптимальный; при решении подобных
задач данный метод применяется с целью определения полного набора
возможных путей развития;
- определение наиболее широкого круга применяемых методов,
если решение проблемы требует параллельного или последовательного
использования ряда разнообразных методов;
- выявление круга факторов, которые необходимо принимать во
внимание, определяя окончательный вариант решения задачи.
К числу важнейших недостатков метода коллективной генерации идей
относятся значительный уровень информационного шума, создаваемого
тривиальными идеями, спонтанный и стихийный характер генерации идей.
10-3751
290 Глава 5
Принципы метода коллективной генерации идей явно просматрива-
ются в <пятиминутках> и <оперативках>.
5.4. Порядок проведения экспертных
опросов и содержание их отдельных этапов
Можно выделить следующие основные этапы экспертных опросов:
А. Подбор экспертов и формирование экспертных групп.
Б. Формирование вопросов и составление анкет.
В. Формирование правил определения суммарных оценок на основе
оценок отдельных экспертов.
Г. Работа с экспертами.
Д. Анализ и обработка экспертных оценок.
Кратко рассмотрим содержание отдельных этапов экспертных опросов.
А. Подбор экспертов и формирование экспертных групп
На первом этапе, исходя из целей экспертного опроса, решаются воп-
росы относительно структуры экспертной группы, количества экспертов и
их индивидуальных качеств, иными словами, определяются направления
(разработка нового продукта, ценообразование, сбыт и т.п.), по которым
необходимо или желательно привлечь экспертов (устанавливается специа-
лизация экспертов). Далее по каждому направлению выделяются подгруп-
пы экспертов и устанавливается количество экспертов в каждой подгруп-
пе, которое зависит от конкретной постановки задачи и должно обеспечи-
вать необходимый охват и полноту аспектов по каждому конкретному воп-
росу. Затем определяются требования к квалификации экспертов, стажу их
работы в данной области опроса и общему стажу.
Определение численности экспертной группы можно осуществлять
на основе использования рассмотренных выше (разд. 4.11.3) показателей
математической статистики или на основе <прагматического> подхода.
Зачастую расчеты по формулам математической статистики дают
слишком высокие значения численности экспертной группы (порой
больше 100 экспертов), поэтому на практике можно рекомендовать ис-
пользовать <прагматический> подход, который не является столь теоре-
тически обоснованным, как первый подход, но зато легко реализуемым,
Оценки численности группы экспертов в этом случае можно произ-
вести, руководствуясь следующими соображениями. Ясно, что числен-
ность группы не должна быть малой, так как в этом случае был бы
потерян смысл формирования экспертных оценок, определяемых груп-
пой специалистов. Кроме того, на групповые экспертные оценки в зна-
чительной степени влияла бы оценка каждого эксперта. При увеличении
группы экспертов хотя и устраняются эти недостатки, но зато появля-
ется опасность возникновения новых. Так, при очень большом числе
экспертов оценка каждого из них в отдельности почти не влияет на
групповую оценку. Причем рост численности экспертной группы далеко
не всегда приносит повышение достоверности оценок. Часто расшире-
ние группы экспертов возможно лишь за счет привлечения малоква-
лифицированных специалистов, что в свою очередь может привести лишь
к уменьшению достоверности групповых оценок. Одновременно с рос-
Экспертные оценки 291
том числа экспертов увеличиваются трудности, связанные с обработкой
результатов опроса и координацией работы группы. Следовательно, су-
ществуют некоторые граничные оценки численности группы экспертов
Лпцп и Лпа" которые определяются следующим образом.
Нижняя оценка численности Лпш, должна зависеть от числа оценива-
емых событий. Данное предположение основано на существовании прави-
ла, которое обычно соблюдается при работе ученых советов, комиссий
специалистов и т.д., а именно - требований представительности группы,
состоящей из N экспертов, для принятия решений по множеству т собы-
тий, которое можно представить как N. т. Поэтому принимаем Ад,,,, > т.
Верхней границей численности экспертной группы является потен-
циально возможное число экспертов:
пах <
откуда действительное значение численности группы N находится в
пределах
т> пип <- N N < ".
После того как найдена численность группы, определяется ее струк-
тура и состав, т.е. подбираются в группу эксперты требуемой специа-
лизации и квалификации. Для того чтобы экспертная группа могла все-
сторонне произвести оценку событий, число экспертов N1 каждого /-го
направления желательно выбрать одинаковым:
где / == 1,2,...., г;
/ - число направлений.
Далее должно быть учтено одно ограничение, касающееся соответ-
ствия целей экспертов целям экспертного опроса, т.е. необходимо уста-
новить? имеется ли тенденция у отдельных экспертов необъективно
оценивать рассматриваемые события. Для этого желательно выявить по-
тенциальные возможные цели экспертов, противоречащие целям полу-
чения объективных результатов. Анализируя предшествующую деятель-
ность экспертов, необходимо выяснить наличие причин, которые при-
водят к стремлению завышать или занижать оценки так, чтобы повлиять
на групповые в желательном для себя либо для других лиц направлении.
На основе сформулированных выше условий последовательность
формирования группы экспертов может быть следующей. Сначала опре-
деляется потенциально возможное число экспертов Ад, а также мини-
мально допустимая численность группы пщ. После этого среди потен-
циально возможных экспертов выделяют группу специалистов Л (-Л <,
Л) требуемой квалификации для оцениваемого класса событий. Затем
из М], исключают тех экспертов, чьи потенциально возможные цели
могут противоречить целям получения объективных результатов. Из ос-
тавшихся экспертов ТУд (Уц <, Л) формируют группу так, чтобы в ней
обеспечивалось равночисленное представительство разных направлений.
Для этого вначале определяют максимально возможное число предста-
вителей каждого направления как
игтах _ -"Ц
"/ ~ ,
292 Глава 5
Потом находят направление с наименьшим числом экспертов Л"1"1,
которое входит в группу ТУд. Тогда общая численность группы будет оп-
ределяться по формуле
N = Nтт
После этого проверяют соотношение N>, Лщщ- Если оно не удовлетво-
ряется, то необходимо выяснить возможность ослабления приведенных выше
ограничений, либо допустимость нарушения условия М>. УУщщ, что связано
с важностью принимаемых решений на основе экспертных оценок.
Б. Формирование вопросов и составление анкет
Правила опроса экспертов содержат ряд положений, обязательных
к выполнению всеми. Эти правила должны обеспечивать соблюдение
условий, благоприятствующих формированию экспертами объективного
мнения. В число таких условий входит:
- независимость формирования экспертами собственного мнения
об оцениваемых событиях;
- удобство работы с предполагаемыми анкетами (вопросы форму-
лируются в общепринятых терминах, и должны исключать всякую смыс-
ловую неоднозначность и др. -- см. раздел 4.10.4);
- логическое соответствие вопросов структуре объекта опроса;
- приемлемые затраты времени на ответы по вопросам анкеты,
удобное время получения вопросов и выдачи ответов;
- сохранение анонимности ответов для членов экспертной группы;
- проведение коллективных обсуждений оцениваемых событий;
- предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработа-
ны правила проведения опроса и организации работы экспертной груп-
пы. Причем в них должна быть учтена специфика оцениваемых событий,
а также особенности организаций, из которых приглашаются эксперты.
В. Формирование правил определения суммарных оценок на основе
оценок отдельных экспертов
Если имеются оценки Оу событий (факторов) С", определенные каж-
дым п, О N экспертом, то возникает вопрос о том, каким образом могут
быть получены групповые оценки событий.
В общем случае групповая оценка а; каждого С, события зависит от
оценок экспертами этого события и степени компетентности Ь, экспер-
тов. Степень компетентности Ь, эксперта учитывает его опыт и квалифи-
кацию и является основной характеристикой эксперта, которая исполь-
зуется при определении групповых оценок. Поэтому
а/(а,Н), (5.1)
где / = 1, 2,..., р;
] = 1, 2,..., т.
Следовательно, задание способа формирования групповых эксперт-
ных оценок состоит в определении этой функции. Причем необходимо,
чтобы она была строго монотонно возрастающей по ОуИ А|.
Экспертные оценки 293
Этому условию удовлетворяет множество функций. Обычно полага-
ют, что функцию (1) можно представить как
Е
а=---
При равной компетентности экспертов эта формула принимает вид
средней оценки
Р
1.ау
_ =1
а,
Р
В зависимости от специфики экспертного опроса, объекта исследо-
вания и используемой методики обработки экспертных данных оценки
йу могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от О
до 100. Принципиальной разницы в данных шкалах нет, выбор той или
иной из них во многом определяется удобством получения и обработки
оценок, а также вкусом исследователя, проводящего экспертный опрос.
Для того чтобы учитывать различие в компетентности экспертов, им
могут быть приписаны различные <веса>, которые учитываются при
определении групповых оценок. Причем значения этих коэффициентов
интерпретируются как вероятность задания экспертом достоверной оцен-
ки. Тогда 0 < Ау <. 1. Значения весовых коэффициентов могут быть ис-
пользованы при построении системы стимулирования работы группы
экспертов. Например, дополнительная оплата за работу по оценке собы-
тий определится пропорционально весовому коэффициенту эксперта.
Существуют различные приемы оценки компетентности эксперта,
выбор которых определяется как характером решаемой задачи, так и
возможностями проведения конкретного экспертного опроса.
На наш взгляд, оценку следует строить на основе определенной шка-
лы, каждый балл которой определяется с помощью выбора соответствую-
щих характеристик, оценивающих квалификацию эксперта. При этом дол-
жен быть учтен уровень квалификации эксперта в узкой области специали-
зации, уровень теоретической подготовки, его практический опыт и широ-
та кругозора. Перечисленные характеристики лучше всего оценивать по деся-
тибалльной шкале, разработанной специально к конкретному экспертному
опросу. Полученные характеристики следует свести в один показатель, харак-
теризующий объективную оценку компетентности эксперта, - А/.
Кроме того, целесообразно определить показатель относительной
самооценки эксперта (субъективный показатель - Ау). Этот показатель
получается следующим образом: для каждого вопроса или группы вопро-
сов, по которым считается необходимым оценить компетентность экс-
перта, в таблице экспертных оценок предусматривается шкала под на-
званием <относительная самооценка эксперта>. В ней эксперту самому
предлагается проставить себе балл по десятибалльной шкале, ориенти-
руясь, к примеру, на следующие значения баллов:
10 - эксперт специализируется по данному вопросу, имеет по нему
законченные теоретические или практические разработки (научные ис-
294 Глава 5
следования, запущенные в производство технические разработки, дан-
ный вопрос непосредственно относится к области его узкой служебной
деятельности);
8 - в практическом решении данного вопроса эксперт участвует,
но этот вопрос не входит в сферу его узкой специализации;
5 - вопрос входит в сферу тесно связанного с его узкой специали-
зацией направления (смежная прикладная дисциплина, смежная область
практической деятельности);
3 - вопрос не входит в сферу тесно связанного с его узкой специ-
ализацией направления (например, знакомство с проблемой по литера-
турным источникам, по работе на другом предприятии и т. п.).
В целом показатель <относительная самооценка эксперта> направлен
на то, чтобы эксперт сам оценил уровень своей компетентности по
заданному вопросу.
Для того чтобы шкала баллов не оказывала влияния на самооценку,
в графе <относительная самооценка эксперта> можно привести перечень
характеристик компетентности экспертов без проставления баллов. В этом
случае эксперт должен подчеркнуть те характеристики, которые, по его
мнению, определяют уровень личной компетентности. Баллы проставля-
ются рабочей группой при анализе собранных анкет. Анкета для опреде-
ления компетентности экспертов приводится в табл. 5.2.
Произведение объективного и субъективного показателей, деленное
на сто, будет характеризовать компетентность эксперта по данному воп-
росу, т.е.
100
Деление на 100 нужно для приведения диапазона изменения йу к
виду 0 < Ау <_ 1. Тогда показатель компетентности эксперта можно трак-
товать как вероятность задания им достоверной оценки.
При неоднократном повторении опроса одним и тем же коллективом
экспертов (либо устойчивым большинством) по сходным вопросам можно
и необходимо на каждом новом опросе воспользоваться уже накопленны-
ми результатами для уточнения характеристик компетентности экспертов.
Кроме того, компетентность экспертов может быть определена сами-
ми экспертами. Для этого каждый эксперт, входящий в группу, задает ве-
совые коэффициенты всем остальным экспертам, кроме себя. Далее опре-
деляется среднеарифметическая оценка компетентности каждого эксперта.
Для отбора наиболее компетентных и добросовестных экспертов,
участников фокус-групп и других методов, основанных на использова-
нии ограниченного числа опрашиваемых, возможно использование так
называемых фильтрующих вопросов и вопросов-ловушек.
Например, при опросе торговых посредников о проблемах сбыта
конкретных товаров на определенной стадии опроса может быть введен
следующий фильтр: <Следующие вопросы относятся только к тем, кто
параллельно сбывает товары следующих фирм (указано - каких)>.
Вопросы-ловушки помогают выявить недостаточно компетентных
(недобросовестных) экспертов следующим образом. Скажем, в число
оцениваемых товаров включаются товар несуществующей марки. Лица,
оценившие данный товар, подозреваются в невнимательности или заве-
домой недобросовестности.
Таблица 5.2
Анкета для оценки компетентности эксперта
Объективмаяоценка - ПоСубъективная оценка1-Ьс
ЗанимаемаяБал-УровеньБал-Общий стажБал-Стаж работыБал-Степень участия вБал-
должностьлыобразованиялыработылыпо проблемелырешении даннойлы
проблемы
Руководитель10Доктор наук6Более 10 лет10Более 10 лет10Эксперт10
организацииспециализируется
по данному вопросу
Зам.8Кандидат наук4От 10 до 5 лет8От 10 до 5 лет8Эксперт участвует в8
руководителяпрактическом
решении данного
вопроса, но он не
входит в сферу его
узкой
специал изации
Руководитель6Высшее2Менее 5 лет6Менее 5 лет6Вопрос входит в6
подразделе-образованиесферу тесно
ниясвязанного с его
узкой
специализацией
направления
Зам.4Вопрос не входит в3
руководителясферу тесно
подразделе-связанного с его
нияузкой
специализацией
направления
296 Глава 5
Если экспертиза проводится неоднократно одной и той же группой]
(или устойчивым большинством) экспертов по сходным вопросам, сле-
дует при каждом новом опросе воспользоваться уже полученными ре-
зультатами для уточнения характеристик компетентности экспертов.
Практика экспертных опросов показывает, что, хотя методы само-
оценки недостаточны для того, чтобы служить единственным критерием
оценки компетентности экспертов, использование этих методов способ"!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68