Проблема повышения надежности экспертных оценок

Суть экспертных процедур — получение некоторого суждения, основанного на опыте и компетентности эксперта. Но любой такой эксперт — прежде всего, человек, не лишенный пристрастий, сложившихся взглядов, предубеждений, не всегда им рефлексируемых. Никто в связи с этим не застрахован от влияния субъективных факторов на формирование мнения экспертов в рамках поставленной перед ними задачи.

Таким образом, чтобы повысить надежность оценки экспертного прогноза, существует необходимость снизить влияние субъективных факторов.

Решение этой задачи достигается комплексом мер, включающим:

• подбор экспертов;
• комплектование экспертной группы;
• выбор конкретной процедуры экспертизы;
• оптимальную организацию самой экспертной деятельности.

Подбор экспертов

Одним из существенных условий, способствующих повышению надежности экспертных оценок, даваемых социальным объектам, является научно обоснованный отбор и формирование экспертной группы. Для этого необходимо осуществить отбор лиц, обладающих некоторыми значимыми для выполнения этой деятельности качествами. К таким качествам обычно относят надежность, обусловленную профессиональной компетентностью, квалиметрической компетентностью и самооценкой, заинтересованность, деловитость и объективность.

Квалиметрическая компетентность подразумевает знание методов оценки, умение пользоваться различными типами оценочных шкал, различая при этом большое число градаций.

Оценка специалистами своей компетентности существенно влияет на точность уже их экспертных суждений. Так, выявлено, что эксперты с высокой самооценкой ошибаются в своих вердиктах при проведении экспертизы меньше других.

Заинтересованность специалистов в результатах экспертизы определяется многими факторами: возможностью использовать полученные результаты, загруженностью эксперта, целями экспертизы, характером выводов, которые могут быть сделаны, индивидуальными особенностями субъекта.

Объективность эксперта подразумевает, что тот не допускает сознательного смещения оценок в выгодную для себя сторону. Деловитость эксперта обеспечивается его собранностью, способностью переключать внимание, что позволяет быстро переходить с оценки одного показателя на оценку другого, умением мотивировать выносимые суждения.

Для некоторых процедур аттестации персонала важным показателем является деловая коммуникативная близость эксперта с оцениваемым. При прочих положительных условиях, чем прочнее эта близость, тем точнее оценки.

Наличие у экспертов некоторых неадекватных установок, которые не всегда осознаются ими самими, приводит к заметному искажению оценок, поскольку возникают следующие типы ошибок:

• «ошибки великодушия» как проявление тенденции фиксировать внимание только на социально одобряемых образцах поведения или положительных качествах;
• «ошибки центральной тенденции» как следствие либо низкой самооценки, либо установки избегать крайних суждений;
• «ошибки по аналогии или контрасту со своими качествами и способами поведения»;
• «гало-эффект» — тенденциозность при оценке лиц, принадлежащих к определенным профессиональным, социальным, возрастным группам;
• «упрощение задачи»: оценивая, эксперт задействует лишь часть критериев
  или их упрощает;
• «иллюзия контроля», возникающая при игнорировании проявления маловероятных взаимосвязей и факторов;
• ошибки по причине несерьезного, недостаточно внимательного отношения к самой процедуре экспертизы.

Отсев лиц, склонных к подобного рода искажениям, из числа претендентов на роль эксперта, осуществляется либо по данным пробной экспертизы, либо на основе специальных опросников, как это делается при определении уровня самооценки эксперта и его коммуникативной близости к оцениваемому.

Как мы уже указывали, выявлена зависимость между групповой самооценкой экспертов и их средней групповой ошибкой. Если группа кандидатов в эксперты представлена двумя подгруппами, одна из которых характеризуется более высокой самооценкой, чем группа в целом, а другая более низкой, то первая дает более точные, а вторая менее точные, чем группа в целом, оценки. Все это обусловливает отбор экспертов в соответствии с уровнем их самооценки по данному виду деятельности.

Еще одну интересную особенность в деятельности экспертов, оценивающих целесообразность тех или иных профессиональных действий в конкретных проблемных ситуациях, отметил А. Г. Шмелев. Опираясь на данные А. А. Потапкина, он указал на связь между согласованностью/точностью оценок экспертов и их профессиональной компетентностью. Наиболее высокий уровень согласованности наблюдался у средних по уровню профессиональной компетентности специалистов, а наименьший — у представителей полярных групп. На основании этих данных делается вывод о том, что «первоначальное накопление компетентности сводится к освоению определенных шаблонов, сближающих операциональные категориальные системы, а дальнейшее накопление профессионализма приводит к определенной дивергенции — формированию индивидуального стиля».

Следует отметить, что в организационной практике достаточно часто встречаются ситуации, когда профессионалы высокого уровня привлекаются для того, чтобы оценить целесообразность действий конкретных лиц в проблемных ситуациях — например, аварийных. Аналогичным образом они участвуют в составлении примерного алгоритма действий специалиста (инструкций) при определенных обстоятельствах. И в том, и в другом случае рассмотренная тенденция к увеличению рассогласованности выбранных вариантов действий в связи с ростом профессионализма может создать дополнительные сложности в экспертном взаимодействии специалистов подобного уровня.