<<
>>

Метод экспертной оценки

 

Интервьюирование, анкетирование, почтовый и прессовый опросы, телефонное интервью предназначены прежде всего для массовых обследований. Их организаторы стремятся собрать данные, отражающие знания, мнения, ценностные ориентации и установки респондентов, их отношение к тем или иным событиям и т.д.

Источником социологической информации, дающей оценку тем или иным сторонам объекта исследования, выступают, таким образом, представители этого же объекта.

Однако на практике возникают ситуации, когда выделить объект - носитель проблемы и, соответственно, использовать его в качестве источника информации трудно или вообще невозможно. Чаще всего такие ситуации связаны с попыткой прогнозировать изменение того или иного социального явления, процесса; с необходимостью представить состояние интересующего исследователя предмета через один, два, пять и более лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной.

Подобная информация может исходить только от компетентных лиц - экспертов, имеющих глубокие знания о предмете или объекте исследования.

Как сформировать группу экспертов? Прежде всего в качестве критериев целесообразно использовать три признака: род занятий, стаж работы и уровень квалификации по интересующему социолога профилю. При необходимости учитываются также уровень и характер образования, возраст и др.

Центральный среди всех критериев отбора экспертов - их компетентность. Для ее определения применяются два метода; самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки - совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». Первой позиции приписывается числовое значение 1, второй - 0.5, третьей - 0.

В таком случае совокупный индекс - коэффициент уровня компетентности эксперта вычисляется по формуле:

к к1 к2 кз

3 ,5

где к1 -числовое значение самооценки экспертом уровня своих теоретических знаний,

к2 - числовое значение самооценки практического опыта, к3 - числовое значение самооценки способности к прогнозу.

Коэффициент уровня компетентности может изменяться от 1 (полная компетентность, т. е. оценочные значения коэффициентов к=к=к=1) до 0 (полная некомпетентность, т. е. к=к=к=0).

Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего (0,5) и выше (до 1). Получить первичные числовые значения самооценки (к1, к2, к3) для расчета индекса компетентности экспертов можно при помощи вопроса табличной формы (табл. 1).

Таблица 1

Как Вы оцениваете уровень Вашей «приобщенности» к проблемам построения правового государства?

(Отметьте, пожалуйста, крестиком соответствующую оценку в строке против каждой из трех перечисленных характеристик)

Критерии «приобщенности»

Высокий (ая)

Средний (няя)

Низкий (кая)

1

0,5

0

Уровень теоретического знания проблемы (к1)

+

Практический опыт (к2)

+

Способность предвидеть логику событий (к3)

+

Исходя из числовых значений оценок, обозначенных крестиками в клетках таблицы, рассчитаем коэффициент уровня компетентности эксперта по проблемам построения правового государства:

k0,50,52 33

Полученное число свидетельствует о том, что уровень компетентности эксперта по исследуемому вопросу выше среднего.

При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как отмечают специалисты, «опыт многочисленных экспертиз и у нас и за рубежом показывает, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других»1.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Чаще всего это ученые, творческие деятели, известные политики, экономисты.

Рассмотрим метод коллективной оценки на примере формирования группы экспертов.

Предположим, у нас есть список из десяти экспертов. Мы просим каждого из них выделить пять наиболее компетентных коллег. На основании ответов построим табл. 2, обозначив в ней номерами от 1 до 10 в первом столбце тех, кого выбирают, а в первой строке тех, кто выбирает. В клетках таблицы число 1 обозначает выбор, тире- отсутствие выбора, 0- указывает на то, что никто сам себя не назвал.

Таблица 2

Взаимные оценки экспертов

Кого назвали

Кто назвал

Сколько раз назвали

1

2

3

4

5

6

7

8

9

10

1

0

1

1

1

1

1

5

2

1

0

1

1

1

1

1

1

1

8

3

1

0

1

2

4

1

1

0

1

1

1

5

5

1

1

1

1

0

1

1

1

7

6

1

1

0

1

1

1

5

7

1

1

1

1

1

1

0

1

1

8

8

1

0

1

2

9

1

1

1

1

1

0

5

10

1

1

1

0

3

Итого

5

5

5

5

5

5

5

5

5

5

50

В последнем столбце таблицы приводится сумма «голосов», которую получил каждый эксперт.

Эти числа принимаются в качестве веса мнений о соответствующем эксперте. Потом ими заменяются единицы в таблице (по столбцам), в результате чего получится ранжированный ряд оценок уровня компетентности всех десяти экспертов (см. табл. 3).

Таким образом, если мы хотим сформировать группу из пяти наиболее компетентных специалистов, то, соотнеся оценки в последнем столбце с номерами экспертов в первом столбце, должны будем зачислить в нее экспертов под номерами 7, 5, 2, 9, 4.

Опросы компетентных лиц именуются экспертными, а результаты опросов - экспертными оценками. Можно выделить четыре основные функции этого метода в социологическом исследовании: оценка состояния; оценка причин явления или

Таблица 3

Уточненные взаимные оценки экспертов

Кого назвали

Кто назвал

Суммарная

оценка

Ранговая оценка компетентности

1

2

3

4

5

6

7

8

9

10

1

5

7

5

2

3

22

7

2

5

2

5

5

8

2

5

3

35

3

3

8

7

15

8

4

5

8

8

2

3

26

5

5

5

8

2

5

5

8

5

38

2

Кого назвали

Кто назвал

Суммарная

оценка

Ранговая оценка компетентности

1

2

3

4

5

6

7

8

9

10

6

2

7

8

2

5

24

6

7

5

8

2

5

7

5

5

3

40

1

8

5

3

8

10

9

8

2

7

5

8

30

4

10

5

2

5

12

9

процесса; прогноз тенденций развития социальных процессов; выработка форм и методов решения социальной проблемы.

Он наиболее наглядно демонстрирует отличие экспертной оценки от информации, получаемой в ходе массового опроса.

Если в последнем социолог стремится измерить многообразие мнений, установок, поведения респондентов, то задача экспертного опроса состоит в том, чтобы найти такую согласованную коллективную оценку характера проблемы и породивших ее причин, которая может лечь в основу прогноза эволюции проблемы и ее последствий. Действительно, можно ли использовать для практических целей, скажем, мнение тридцати экспертов, высказавших пять-семь взаимоисключающих прогностических оценок? Устойчивость, а порой и достоверность данных как некоторых среднестатистических показателей в массовом опросе тем выше, чем больше совокупность опрошенных. Что же касается экспертного опроса, то благодаря высокой компетентности участвующих в нем лиц мнение даже одного эксперта (а тем более группы) может оказаться достаточно обоснованным и достоверным. В принципе прогностическая экспертная оценка правомерна применительно к любым социальным явлениям и процессам. Можно, например, попросить экспертов высказать свое мнение по поводу того, кто имеет наибольшие шансы в регионе быть избранным главой администрации или депутатом Государственной Думы (в этом случае в качестве экспертов могут выступить журналисты, ученые-политологи, ведущие политики); оценить тенденцию изменения спроса населения на определенные группы товаров (экспертами в этом случае могут быть товароведы крупных магазинов или руководители оптовых торговых баз, торговых домов), дать прогноз перспектив экономического развития страны (его могут сделать руководители и ведущие специалисты научных и аналитических институтов по проблемам экономики), назвать причины кризисных явлений в системе образования (по этим вопросам компетентное мнение могут высказать руководители учебных учреждений) и др.

В прикладной социологии разработан ряд приемов опроса экспертов, используемых для получения прогностической оценки. При этом уместно заметить, что некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты.

Поскольку они должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью, нет никакой нужды применять в экспертной анкете косвенные и контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента. Более того, их использование может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова - активный участник социологического исследования. Попытка скрыть от него цель исследования, превратив тем самым в пассивный источник информации, чревата потерей его доверия к организаторам.

Основной инструментарий экспертных опросов - анкета или бланк-интервью, разработанные по специальной программе.

Программа прогнозного опроса экспертов, в отличие от массового опроса, не столь детализована и носит преимущественно концептуальный характер. В ней однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные варианты его исхода. В тех случаях, когда однозначно сформулировать их причины сложно, в анкете эксперта лучше всего использовать открытые вопросы с полной свободой выбора формы ответа.

Предположим, исследователя интересует, как может измениться в ближайшие 10 лет время просмотра телепередач, однако он затрудняется выдвинуть гипотезы о причинах изменений в ту или иную сторону. Тогда первым среди задаваемых эксперту в свободной форме вопросов может быть такой: «Как Вы считаете, время, уделяемое человеком для просмотра телепередач, в ближайшие 10 лет увеличится, уменьшится, не изменится?». Далее, независимо от варианта ответа, следует вопрос: «А на каких фактах или предположениях основан Ваш вывод?».

Если же исследователь располагает приемлемыми предположениями о причинах исхода прогноза, он сам может сформулировать прогностические гипотезы. Последние в виде утверждений составляют основу формализации анкеты эксперта. Обращаясь к предыдущему примеру, покажем, как может выглядеть закрытый прогностический вопрос, адресуемый эксперту (см. табл. 4).

Процедура опроса экспертов может быть очной или заочной (почтовый опрос, телефонное интервью). Одна из наиболее простых форм экспертного прогноза - обмен мнениями. Он предполагает единовременное присутствие всех экспертов за «круглым столом», где и выявляется доминирующая позиция по дискутируемому вопросу, сформулированному исследователем.

Группа экспертов для дискуссии подбирается по определенному правилу. Она должна включать несколько подгрупп: «генераторов идей», активно выдвигающих всевозможные предположения о прогнозируемом социальном явлении или процессе; «регуляторов», следящих за тем, чтобы полемика не приобретала хаотический характер, проходила в рамках объективного обсуждения; «селекторов», оценивающих и отбирающих наиболее значимые идеи, выдвигаемые «генераторами идей»; «стимуляторов», путем формулировки все новых

Прогноз изменения времени просмотра телепередач

С таким утверждением согласен(а)

С таким утверждением не согласен(а)

1. В ближайшие 10 лет улучшится качество телевизионных программ, расширится диапазон телевещания. Это обстоятельство, а также рост культурного уровня населения будут способствовать дальнейшему увеличению интереса к телевизионным передачам. Поэтому время, которое человек будет уделять телевидению, увеличится.

1

2

2. В ближайшие 10 лет наряду с расширением возможностей телевидения будут улучшены качество и доступность и других форм приобщения к культурным ценностям. Поэтому время, которое будет уделять человек телевидению, уменьшится.

3

4

3. В ближайшие 10 лет, как и в настоящее время, примерно в равной степени будут действовать как факторы, способствующие повышению интереса к телепередачам, так и факторы, отвлекающие от них. Действия этих факторов более или менее уравновесят друг друга. Поэтому время, которое индивид будет уделять телевидению, практически не изменится.

5

6

Таблица 4

Мнение экспертов о вероятном изменении времени просмотра населением телепередач в ближайшие 10 лет

и новых предположений стимулирующих «генераторов идей» к выработке оценок и, наконец, «президента круглого стола», удерживающего внимание экспертов на центральной теме дискуссии. В качестве последнего может выступить сам организатор исследования. Оптимальное число экспертов за «круглым столом» - 10-15 человек.

Обсуждение проблемы может происходить в несколько туров, пока не удастся выработать некоторую более или менее согласованную оценку.

Эффективно может быть применен в прикладной социологии и такой метод экспертного прогноза, как «дельфийская

техника». Речь идет о выработке согласованных мнений путем многократного опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, вя, ысказанную на предыдущем этапе, либо изменяют оценку в соответствии с мнением большинства. Так повторяется три-четыре раза. В ходе подобной процедуры вырабатывается согласованная оценка, при этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей позиции.

Конечно, экспертная оценка - не «истина в последней инстанции». Эксперты тоже могут допустить ошибку. Это, однако, не отменяет важности участия экспертов в составлении прогностических моделей при выработке управленческих решений. 

<< | >>
Источник: Горшков Михаил Константинович. Прикладная социология: Учебное пособие для вузов. — М. — 312 с.. 2003

Еще по теме Метод экспертной оценки:

  1. Методы экспертной оценки
  2. 6.3.4. Метод прямой экспертной оценки
  3. Экспертный метод как механизм научно-педагогической экспертизы
  4. Занятие 3. ЭКСПЕРТНАЯ ОЦЕНКА РАБОТЫ ПЕДАГОГОВ И РУКОВОДИТЕЛЕЙ ДОУ
  5. Занятие 1. ЭКСПЕРТНЫЕ ОЦЕНКИ И НАУЧНО-ПЕДАГОГИЧЕСКАЯ ЭКСПЕРТИЗА В ТЕОРИИ И ПРАКТИКЕ ДОШКОЛЬНОГО ОБРАЗОВАНИЯ
  6. Технология экспертной оценки при аттестации и аккредитации дошкольных образовательных учреждений
  7. Деловая игра.Экспертная оценка уровня политической стабильности
  8. Технология экспертной оценки при лицензировании дошкольных образовательных учреждений
  9. Экспертные оценки в образовании как результат научно-педагогической экспертизы
  10. Качество дошкольного образования как объект экспертной оценки
  11. 5.4. Экспертные методы