Методология тестирования

Приступая к рассказу о тестировании, мы начнем с самого главного — с определения понятия «тест». В общенаучном смысле тест (от англ. test — опыт, проба) — это кратковременное стандартизованное испытание, направленное на получение в относительно сжатый отрезок времени наиболее существенной информации о признаках данного конкретного объекта с целью установления у него наличия или степени выраженности определенного психического свойства (черты, характеристики) или качества, а также совокупности психических свойств личности или психических состояний (отношений, взаимовосприятия) групп и коллективов. Тест позволяет с заранее установленной степенью вероятности определить существующий у человека в данное время уровень знаний, относительно устойчивые личностные свойства, черты поведения, а также получить качественные и количественные оценки измеряемых характеристик.

Концепция тестирования как метода оценки и измерения качеств личности базируется на следующих общих предпосылках:
1. Внутренние (психологические) свойства личности выявляются с помощью индикаторов — показателей или внешних поведенческих характеристик (ответов на вопросы, результатов решения разного рода задач и т.п.), посредством которых проявляются структуры и свойства личности.
2. Эти индикаторы имеют такое выражение, которое может быть объектом наблюдения и измерения с помощью специальных процедур.
3. Между внешней (поведенческой) чертой и внутренним свойством личности существует однозначная причинная зависимость:
наблюдаемое действие или реакция человека порождены определенным личностным свойством и только им.
4. Измеряемые тестами черты и соответственно получаемые результаты распределены среди большой совокупности людей достаточно равномерно. Это означает, что тест должен не только оценивать конкретно взятого человека, но и быть применимым к большой совокупности людей.

Последнее требование отражается в понятии «норма теста», под которой понимается «средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик»3. Иными словами, норма теста — это средний уровень распределения выявляемых с его помощью характеристик в большой группе людей, на применимость в которой он претендует. В большинстве случаев норма теста определяется с помощью усреднения результатов тестирования большой выборки людей одного пола, примерно одинакового возраста и дифференциации полученных результатов по важнейшим показателям. Норма теста отражает его репрезентативность или свойство выборочной совокупности людей (группы или ряда групп, на основе анализа качеств которых был разработан тест) представлять генеральную совокупность всех лиц, обладающих подобными типологическими характеристиками. Репрезентативность позволяет классифицировать результаты тестирования и выступает показателем качественности тестовой методики.

Еще одним критерием добротности теста, тесно связанным с репрезентативностью, является его адаптированность — способность учитывать национальные (в том числе и социальные) и региональные особенности. Авторы берут нужный для построения тестов материал из исторически сложившейся культуры близкой им социальной общности. Тесты, «свободные от культуры», а значит одинаково понятные по материалу индивидам из разных социальных общностей, создать нельзя — это неустранимое свойство тестовых программ. При использовании тестов, разработанных в иной социально-культурной среде, в проверке и переоценке нуждаются нормы, валидность, надежность тестов, а также их применимость в целом. Особенно остро проблема адаптированности заявила о себе в последние годы, когда в Россию широким потоком хлынули западные тестовые методики и российские специалисты в области кадрового менеджмента бросились применять их, подчас не задумываясь о необходимости внесения определенных корректив.

В силу фактического запрета на использование тестов, существовавшего в СССР (после известного постановления ЦК ВКПб 1936 г. «О педологических извращениях в системе Наркомпроса»), российский кадровый менеджмент является дилетантом в этой области. Многих буквально очаровывает магия «фирменных» латинских букв, аббревиатур, обозначающих «классические» методики, такие, например, как MMPI (личностный опросник, разработанный в Миннесотском университете), на основании которых» предлагается получение развернутых заключений о сотрудниках фирмы или кандидатах на имеющиеся вакансии. Несомненно, вышеупомянутый тест занимает в мировой психологии лидирующую (по популярности) позицию. Однако нельзя забывать тот факт, что он был разработан специально для пациентов психиатрических клиник (!) и широко используется в практике психоанализа. При приеме нормальных здоровых людей в американские фирмы этот тест в последние годы не применяется! Лица , подвергшиеся подобному тестированию, уже выиграли по суду немало исков, а компаниям пришлось уплатить солидные штрафы за нанесение морального ущерба.

Вообще западные личностные тесты, в том числе и более подходящие для ситуации приема на работу («16 личностных факторов» Кэттелла— 16PF, Калифорнийский личностный перечень — CPI, Опросник Айзенка — EPI, Тест Майерс—Бриггс, основанный на типологии Юнга), для корректного применения в России нуждаются в серьезной доработке («культурной и психометрической адаптации»). Неадаптированное, без внесения существенных поправок использование этих и подобных им тестов в современных, российских условиях явно неправомерно, хотя бы уже потому, что в нашей стране условия труда, его оплаты, традиции трудового сознания во многом отличны от западных. Далеко не для всех тестов проведена адаптация, что уж говорить о «пиратских» версиях западных тестов. Как правило, неадаптированные версии используют дилетанты в области психометрики, которые наивно полагают, что достаточно просто перевести на русский язык тестовые задания и тест будет работать. На самом же деле работа по адаптации тестовых методик должна включать пересчет не только так называемых тестовых норм, но и ключей к тест-заданиям (пунктам).

Для того чтобы тесты соответствовали своему назначению, адекватно выявляли и достаточно точно измеряли определенные качества, они должны также соответствовать таким критериям, как объективность, валидность, надежность и научность. Объективность означает, что результаты тестирования должны быть интерсубъективны, т.е. независимы от того, кто проводит тест. Валидность (от англ. valid— действительный, пригодный) — это пригодность теста для измерения именно того качества, на оценку которого он направлен. Так, например, если тест используется для оценки уровня знаний человека в области управления персоналом, он должен измерять именно эти знания, а не, например, общую эрудицию или знания в области экономики. Существуют, по меньшей мере, три условия обоснования валидности: валидность относительно критерия (требующая демонстрации корреляции или иного статистического взаимоотношения между результатами теста и требованиями работы); валидность относительно содержания (требующая демонстрации того, что содержание теста представляет важнейшие относительно работы черты поведения); валидность относительно конструктов (требующая демонстрации того, что тест определяет именно тот конструкт или характеристику, для определения которой он предназначен, и что эта характеристика важна для успешности в работе).

Надежность отражает степень точности и постоянства, с которой измеряется качество личности, и характеризует свободу процедуры тестирования от погрешностей. Точность проявляется в уровне совпадения результатов данного теста с показателями других тестов, используемых для этой же цели, постоянство — в устойчивости, стабильности результатов при повторной оценке той же группы тестируемых. Вместе с тем специалисты отмечают существование нескольких причин, по которым индивид, вновь проходящий тест, не получает сходные оценки. К ним относятся: временные психологические или физические изменения состояния тестируемого; факторы окружения (температура комнаты, освещение, уровень шума или даже личность проводящего тест); форма теста (многие тесты имеют разную форму или версию — на бумажном носителе, в электронном виде, в устном исполнении) и т.п. Указателем надежности теста является степень, в которой сфера оценок теста не подвержена влиянию указанных факторов.

Надежность теста определяется его коэффициентом, который может колебаться от 0 до 1. Обычно говорится, что если надежность теста 0,9 и более, то результаты его превосходны, тест с надежностью 0,8—0,89 дает хорошие результаты, тест с надежностью 0,7—0,79 дает адекватные результаты, тест с надежностью менее 0,7 имеет ограниченную применимость. Допустимый уровень надежности будет отличаться в зависимости от типа теста и используемой оценки его надежности. Ниже приводятся основные типы надежности тестовых процедур:
♦ надежность типа «тест — повторный тест» указывает на возможность получения таких же результатов по тесту по прошествии времени;
♦ надежность альтернативной, или параллельной, формы: речь идет о том, что результаты теста подобны, если индивид выбирает одну или несколько его альтернативных форм;
♦ надежность типа «интероценка» указывает, что результаты теста подобны при проведении его двумя или более оценщиками;
♦ надежность типа «внутренняя непротиворечивость» указывает границы, в которых тест измеряет одно и то же.

Надежность и валидность теста взаимосвязаны. Вместе с тем между ними следует проводить различия: надежность говорит о том, насколько истинные результаты дает тест, валидность — насколько хорош тест для отдельной ситуации. Таким образом, тест может быть надежным, но не быть валидным. Он может оказаться невалидным для различных целей: например, адекватно показывать технические навыки, но быть бесполезным при определении лидерских качеств. Сходным образом валидность теста обоснована относительно специфических групп индивидов (так называемых референтных групп); вполне реальна ситуация, когда целевая группа может не входить в число последних. В целом валидность теста может быть либо равна (идеальный случай), либо меньше его надежности.

Научность — это обоснованность теста фундаментальными исследованиями, его концептуальная осмысленность. Особенно необходимо научное обоснование при обращении к батарее тестов — серии испытаний, призванных оценить комплекс качеств человека, свидетельствующий о его профессиональной пригодноста и ожидаемых трудовых успехах, — широко применяемой при отборе персонала.

Масштабность использования процедуры тестирования в управлении персоналом объясняется, на наш взгляд, целым рядом ее достоинств:
♦ объективностью оценки (итоги тестирования практически не зависят от субъективного подхода тестирующего; к тому же они могут быть оценены не только качественно, но и количественно);
♦ оперативностью оценки (сама процедура тестирования занимает сравнительно немного времени, в то же время с ее помощью можно в короткий срок собрать требующуюся информацию о большом количестве людей);
♦ простотой и доступностью тестирования (в управлении персоналом используются стандартизированные тесты, которые содержат описание процедуры их проведения и оценки результатов; после профессиональной апробации ими может пользоваться широкий круг руководителей, а также сотрудников служб персонала);
♦ пригодностью результатов тестирования для компьютерной обработки и использования статистических методов оценки;
♦ большими эвристическими оценочными возможностями;
♦ конкретностью и непосредственной практической направленностью (тесты позволяют получить сведения об определенных свойствах личности и ее поведении, а не о человеке вообще).

В то же время, как и любые другие инструменты кадрового менеджмента, метод тестирования имеет свои ограничения и тонкости, которые необходимо знать в процессе его применения:
♦ существует серьезная проблема установления однозначной причинно-следственной связи между выявляемыми вопросами (заданиями) тестов и качествами личности, определяющими ее профессиональный успех: при разработке тестов далеко не всегда удается однозначно «перевести» тестовые задания (индикаторы черт) в конкретные качества личности, а последние — в факторы трудовых достижений;
♦ результаты тестов обычно оценивают лишь актуальные, т.е. существующие в данный момент, качества; в то же время большинство характеристик личности и ее поведения подвержены изменениям, порой достаточно динамичным;
♦ квалифицированное использование тестов требует соответствующей психодиагностической и этической подготовки тестирующего;
♦ применение тестов может вызывать у испытуемых страх, искажающий результаты тестирования;
♦ публичное объявление результатов тестирования может задевать чувство собственного достоинства аутсайдеров, компрометировать их в глазах окружающих и тем самым осложнять отношения в коллективе.

Существует строго математизированная, экспериментальная наука — тестология, мало известная в нашей стране, которая позволяет вполне однозначно установить, какой тест можно считать хорошим, а какой — плохим. В развитых странах все профессиональные и психологические тесты проходят сертификацию — неависимую экспертизу. В некоторых случаях проводящие специалисты объединены в национальную психологическую ассоциацию, в других — в специализированную тестологическую ассоциацию. К сожалению, в России подобная практика находится пока в зачаточном состоянии.

Тесты могут быть полезными только при условии их грамотного применения подготовленными к этому специалистами. Избегать проблем и получать объективные результаты помогают общие правила тестирования, к которым относятся следующие:
♦ любое сложное тестирование должно проводиться при участии специалиста по психодиагностике или при последующем его участии в качестве консультанта;
♦ человека нельзя подвергать психологическому обследованию обманным путем или против его воли, недопустимы никакие формы прямого или косвенного принуждения;
♦ перед проведением тестирования испытуемого необходимо предупредить о том, что в ходе исследования он невольно может сообщить такую информацию о себе, своих мыслях и чувствах, которую не осознает сам;
♦ любой человек (за исключением случаев, оговоренных за коном) имеет право знать результаты своего тестирования; итоговые данные в доступной для понимания форме предоставляет испытуемым тот, кто проводил обследование; ознакомление с результатами тестирования должно исключать их неправильное толкование или появление у испытуемых каких-либо опасений;
♦ результаты тестирования не должны травмировать исследуемого или снижать его самооценку, поэтому их следует сообщать в ободряющей форме, по возможности сопровождая конструктивными рекомендациями;
♦ испытуемый должен быть информирован о целях тестироввания и формах использования его результатов;
♦ тестирующий должен обеспечить беспристрастный подход к процедуре и результатам исследования;
♦ информация о результатах тестирования должна предоставляться только тем, кому она предназначается; тестирующий обязан обеспечить конфиденциальность психодиагностической информации, полученной от испытуемого на основе «личного доверия» или в социометрических тестах.

Помимо вышеперечисленных правил, обеспечивающих эффективность процедуры тестирования, особые требования предъявляются и к тестирующему. Общеизвестно, что эффективность тестирования во многом зависит не только от соответствующих знаний, но и от личностных качеств проводящего его человека. Важными для профессионального тестирования качествами являются: общительность и коммуникабельность; динамичность и гибкость поведения; эмоциональная сдержанность и терпимость; профессиональный такт (основой которого являются прежде всего соблюдение профессиональной тайны и деликатность); умение держать свою линию поведения; эмпатия (т.е. готовность и способность проникнуться чувствами и переживаниями других людей и тем самым эмоционально понять их); умение привлекать других людей к активному сотрудничеству, совместному анализу и решению проблем, а также конфликтологическая грамотность. В процессе подготовки и проведения тестирования можно выделить четыре основных этапа, учет особенностей которых во многом определяет успех использования этого метода:
♦ выбор тестовых методик (ознакомление с методиками и их проверка на предмет соответствия целям исследования и удобности применения);
♦ инструктирование испытуемых (разъяснение им целей и задач тестирования, порядка выполнения тестовых заданий и поведения во время их выполнения);
♦ контроль за выполнением заданий;
♦ интерпретация результатов и подведение итогов тестирования.

Еще одним непременным условием эффективности тестирования является учет особенностей различных типов тестов. По предмету исследования можно выделить три класса тестов: а) общеличностные, с помощью которых фиксируют некоторую целостность психических свойств личности (одно из направлений современной психологии личности — дифференциальная психология — целиком опирается на использование приемов психодиагностики); б) личностные — специальные тесты, предназначенные для диагностики той или иной особой черты, характеристики, свойства субъекта (например, творческих способностей, уровня общей ответственности, самоконтроля и т.п.); в) групповые, предназначенные для диагностики групповых психических процессов — уровня сплоченности групп и коллективов, особенностей группового психологического климата, межличностного восприятия, силы нормативного «давления» группы на ее членов и др.

Общие особенности психологических тестов определяются предметом изучения и спецификой применяемой техники. С точки зрения технических приемов обычно выделяют четыре разновидности тестов: а) так называемые объективные, преимущественно аппаратурные, часто психофизиологические испытания (на пример, измерение кожно-гальванического рефлекса, служащее индикатором эмоционального состояния); б) опросные методики или субъективные тесты, как, например, общеличностные тесты Г. Айзенка и Р. Кеттела (эти тесты состоят из серии взаимоконтролирующих суждений о различных проявлениях личностных черт с предложением испытуемому фиксировать наличие или отсутствие данного свойства, черты, особенности поведения); в) тес ты «с карандашом и бумагой», например, для диагностики внимания — вычеркивание определенных букв в тексте («корректорский тест» — см. приложение 1) или вычерчивание оптимального вы хода из лабиринта (оценка некоторых свойств интеллекта) и т .д.; г) тесты, основанные на экспертной оценке поведенческих проявлений испытуемых, например активно использовавшаяся советски ми психологами методика «ГОЛ» — групповой оценки личности.

Источник: 
Добреньков В.И., Методы социологического исследования
Темы: