А-П

П-Я

А  Б  В  Г  Д  Е  Ж  З  И  Й  К  Л  М  Н  О  П  Р  С  Т  У  Ф  Х  Ц  Ч  Ш  Щ  Э  Ю  Я  A-Z

 

Х
- количество правильных ответов "нет"; W - количество непра-
вильных ответов "нет"; п - количество вариантов выбора в задани-
ях.
Следует отметить четыре момента, касающиеся этой формулы.
(1) Предполагается, что все неправильные ответы даны в резуль-
тате угадывания. Это не всегда так, поскольку испытуемые могут
часто иметь неверные сведения.
(2) Предполагается, что при угадывании каждый вариант ответа
может быть выбран с одинаковой вероятностью. Это не так, посколь-
ку в заданиях с несколькими вариантами выбора испытуемый может
правильно отбросить все варианты, кроме двух. Следовательно, для
данного испытуемого коррекция на угадывание будет занижена (од-
нако, см. пункт 4).
(3) Для заданий с различным количеством вариантов ответов
нужна различная коррекция угадывания.
(4) Коррекция угадывания применима к так называемому средне-
му испытуемому. В индивидуальных случаях она будет неверной.
Из сказанного ясно, что коррекция на угадывание - это в лучшем
случае лишь грубое оценивание.
В общем, я соглашаюсь с Vernon (1950), который утверждает, что
на практике при условии, что тест имеет достаточное количество
заданий, угадыванием можно пренебречь. Это особенно верно для
заданий с несколькими вариантами выбора. Альтернативные задания
больше подвержены влиянию угадывания, и это является причиной
отказа от использования этого вида заданий, если только он не явля-
ется единственным удовлетворительным. Если требуется высокая
скорость выполнения тестов, то это подстегивает испытуемых к слу-
чайному угадыванию ответов. Однако проведение тестов в столь сжа-
тые сроки, что испытуемые не могут завершить их выполнения, не
будет хорошей практикой тестирования. Это привносит в тест внеш-
нюю переменную скорости выполнения. Короче говоря, случайное
угадывание не является основной проблемой тестирования, а коррек-
89
ция угадывания полезна только для тестов с альтернативными зада-
ниями, использование которых, однако, не рекомендовано.
Заключение
Полагаю, было сказано уже достаточно, чтобы основные положе-
ния формулирования заданий для тестов способностей и достижений
стали понятными. Имея большое количество правильно сконструи-
рованных заданий, не измеряющих тривиальные вещи лишь потому,
что их легко измерять, и используя статистические процедуры, кото-
рые будут обсуждаться в последующих главах, можно будет разраба-
тывать эффективные тесты для выявления способностей человека. Я
также надеюсь, что подробная демонстрация методик формулирова-
ния заданий (возможно, даже раздражающая своей подробностью)
выявила также, почему так много объективных тестов, особенно те-
стов достижений, являются такими слабыми. Многие объективные
тесты разрабатывались неопытными энтузиастами-любителями. Не
достаточно применять мощный статистический аппарат для подбора
заданий. Прежде всего сами задания должны быть эффективными.
Формулирование заданий не является простым делом. Основных
принципы, указанные в данном руководстве, должны способствовать
устранению многих крупных просчетов.
Глава 3. Создание надежных тестов II;
Личностные опросники. Разработка заданий
Личностные опросники - широко используемые методики изме-
рения личностных качеств, поскольку они могут разрабатываться
так, что им будут присущи многие атрибуты эффективных тестов:
надежность, дискриминативность и стандартизованность. Однако, в
силу природы личностных переменных, труднее всего бывает устано-
вить валидность именно этих методик.
Проблемы конструирования личностных опросников
Как и в случае тестов способностей, качество отдельных заданий
(вопросов, утверждений) является определяющим для всего опрос-
ника, и поэтому в данной главе будут рассматриваться трудности,
возникающие при формулировании заданий, а также преимущества
различных типов заданий.
При разработке заданий для личностных опросников необходимо
учитывать следующие проблемы, которые, если их не обойти, неиз-
бежно приведут к низкой валидности тестов.
(1) Установка на согласие (response set of acquiescence). Это
тенденция испытуемого соглашаться с утверждениями или отвечать
на вопросы "да" независимо от их содержания. Чаще всего проявля-
ется, согласно Guilford (1959), когда утверждения (вопросы) неодно-
значны и неопределенны.
(2) Установка на социально одобряемые ответы (response set of
social desirabiliiy). Это тенденция испытуемых отвечать на вопросы
теста так, чтобы выглядеть "социально положительным": если воз-
можен "социально желательный" ответ, то весьма вероятно, что
испытуемые будут его давать. Эта установка, как показал Edwards
(1957), оказывает, в частности, влияние на результаты теста ММР1
(Minnesota Multiphasic Personality Inventory).
(3) Установка на неопределенные или средние ответы (response
set of using the uncertain or middle category). Если в опроснике пред-
ставлена средняя категория ответов, отражающая нерешительность
или неуверенность в ответе (напр., "не уверен", "не знаю", или
"затрудняюсь ответить"), то многие испытуемые склонны к ней при-
бегать, как к безопасному компромиссу. Это приводит к снижению
валидности заданий, поскольку большинство методов анализа вопро-
сов основывается на крайних значениях показателей.
(4) Установка на "крайние? (расположенные по краям шкалы)
ответы (response set of using the extreme response). Эта установка
может проявляться при использовании многоэлементной рейтинго-
91
вой шкалы. Некоторые испытуемые, независимо от содержания воп-
росов предпочитают выбирать крайние ответы (Vernon, 1964).
(5) Очевидная валидность (face validity) вопросов (утвержде-
ний). Несомненно, в тестах личности необходима уверенность в том,
что ответы на вопросы могут рассматриваться как правдивые. Catfell
и Kline (1977) рассматривают данные опросника как данные Q и Qi.
Данные из первого множества рассматриваются так, как если бы они
отражали поведение испытуемого, данные из второго - как ответ на
отдельный вопрос, ответ, который либо нагружен некоторым факто-
ром, либо нет, независимо от того, отражает ли он поведение испы-
туемого.
(6) Выборка из генеральной совокупности вопросов. В тестах
интеллекта и специальных способностей, обсуждавшихся в предыду-
щей главе, относительно легко убедиться в том, что задания принад-
лежат или с высокой степенью вероятности выглядят принадлежа-
щими к подразумеваемой для них генеральной совокупности. Линг-
вистические задания нелегко перепутать с математическими или
какими-либо другими. Однако, в области особенностей личности и
темперамента все гораздо сложнее.
В самом деле, иногда даже опытные и искусные разработчики
вопросов (например, Cattell, 1957) бывают удивлены тем, что вопро-
сы нагружены не теми факторами, для выявления которых они были
созданы, а также тем, что вопросы вообще не нагружены ни одним из
факторов. Эта проблема с точки зрения классической теории тестов
состоит в трудности определения конкретной выборочной совокупно-
сти вопросов. В результате возникает проблема подбора адекватной
выборки из выборочной совокупности вопросов или утверждений для
теста, а без этого тест не может быть валидным.
(7) Выборка из генеральной совокупности испытуемых. Как ука-
зано выше, в личностных тестах труднее обеспечить адекватность
выборки из выборочной совокупности, чем в тестах способностей.
При использовании тестов способностей обычно известна вполне оп-
ределенная категория лиц (популяция), для которой данный тест
предназначен, и таким образом, по крайней мере в принципе, можно
эффективно подбирать выборки. Однако, в личностных тестах, в
отличие от тестов, разрабатывающихся для испытуемых с той или
иной патологией, в идеале нужны выборки из общей популяции (т.е.
всего населения страны), в которой встречаются все возможные по-
казатели. Такие выборки, как показано, должны быть большими, и
их обычно трудно получить.
(8) Проблемы в установлении адекватного критерия валидное
ти. Существует, как уже подробно обсуждалось в разделе о валид-
92
ности, значительная трудность в нахождении адекватного критерия.
Например, если мы пытаемся измерить авторитаризм, то будем вы-
нуждены полагаться на рейтинги, поскольку нет никаких других
внешних мерил (в отличие от, например, школьных экзаменов в
случае диагностики способностей). Рейтинги - это неадекватный
инструмент (см. гл. 1), а если бы они подходили, тест был бы не
нужен. Аналогично, если существуют высокоэффективные тесты ав-
торитаризма, которые могут быть использованы в качестве критерия
валидности, вероятно, в новом тесте нет необходимости.
Таким образом, мы вынуждены ограничиваться исследованиями
конструктной валидности, обычно основывающимися на мультива-
риативном анализе разрабатываемого теста по сравнению с другими
переменными, а также исследованиями специальных групп, имею-
щих по предположению контрольные показатели по рассматривае-
мой переменной.
Таковы основные сложности, возникающие при конструировании
личностных опросников, и следует отчетливо их себе представлять,
прежде чем вы приступите к формулированию вопросов или утверж-
дений. Две последние проблемы, хотя они и являются определяющи-
ми, выходят на первый план уже после того, как подобраны задания
теста.
Формулирование вопросов (утверждений ) для личностных
опросников
Практически нет необходимости особо говорить о том, что для
тестов личности имеет большое значение то, чтобы ответы на вопро-
сы могли быть объективно и с высокой надежностью оценены. Следо-
вательно, мы должны сделать это возможным путем разработки фор-
мы вопросов. Ниже приведены формы вопросов, используемых в
наиболее известных опросниках - тех, которые оказались наиболее
эффективными на практике.
(1) Вопросы с ответом типа "да-нет". Такие вопросы исполь-
зовались автором этой книги в разработанных им тестах личности,
Ai3Q (Kline, 1971), OOQ и OPQ (Kline and Storey, 1978). Их легко
формулировать, они понятны испытуемым и ответы на них даются
быстро. Такова форма вопросов личностных тестов Айзенка. Типич-
ный дихотомический вопрос: "Любите ли вы загорать на пляже?"
(2) Вопросы с ответа.ш типа "да-?-нет", "да - затрудняюсь
ответить - нет". Это вариант вопросов типа "да-нет", описан-
ных выше, с добавлением категории неопределенности, потому что
некоторые испытуемые становятся раздражительными и несговорчи-
93
выми, если их заставляютотвечатьлибо "да", либо "нет" на вопросы,
в ответах на которые они не очень уверены.
Трудность с такими вопросами состоит в том, что эта "средняя"
категория очень привлекательна для испытуемых и редко бывает
информативной. Bendig (1959) показал ото на примере теста МР1
(Maudsley Personality Inventory - ранней версии EPI, Eysenck Perso-
natoy Inventory), в котором не делалось различие между дихотоми-
ческой и трихотомической формой вопросов, и сделал заключение о
том, что дихотомические вопросы более предпочтительны, посколь-
ку они заставляют преодолевать нежелание делать выбор. С моей
точки зрения между вопросами типа "да-нет" и "да-?-нет" раз-
личие столь невелико, что вопрос о том, какую форму выберет раз-
работчик теста, становится не более, чем делом личного предпочте-
ния. Cattell и его коллеги используют трихотомическую форму для
некоторых из вопросов в своих факторных тестах личности.
(3) Альтернативные задания (сответами типа "правда-ложь";.
Эти задания состоят из утверждений (часто от первого лица), кото-
рые испытуемые должны отметить как верные или неверные для них.
Примером альтернативного задания является: "Я ненавижу втиски-
ваться в переполненный автобус". Это форма утверждений, исполь-
зуемая з ММР1. По существу, она ненамного отличается от дихото-
мических вопросов, хотя формулирование их как альтернативных
утверждений, а не как дихотомических вопросов, может до некото-
рой степени повлиять на языковую представленность задания.
(4) Задания с ответами типа "нравится-не нравится" (одно
слово или фраза). Это весьма оригинальная форма задания, которая
в настоящее время используется у Grygier (1961) в динамическом
тесте личности (DPI - Dynamic Personality Inventory), тесте, осно-
ванном на шкале личностных предпочтений Кроута (Krout Personal
PreferenceScale) (KroutandTabin, 1954). Примерамитакихзаданий
могут быть: (1) "фонарщики"; (2) "воротники из бобрового меха";
(3) "бас-барабан". Испытуемые должны указать, нравится им пред-
ложенное или не нравится. Grygier и Grygier в своем руководстве по
DPI утверждают, что эти задания являются сугубо проективными по
своей природе, a DPI - это в сущности проективный опросник. Од-
нако, так это или нет, такие задания не обязательно должны быть
проективными, и может оказаться, что это чрезвычайно полезная,
хотя и необычная, форма заданий.
(5) Задания с рейтинговыми шкалами. Эти задания состоят из
предложений, к которым прилагаются рейтинговые шкалы. Cornrey
(1970)- наиболее видный исследователь, использовавший эти зада-
ния - отдавал им предпочтение потому, что в них преодолеваются
94
трудности, связанные с коррелирующими дихотомическими зада-
ниями (см. обсуждение далее, в гл. 6), а также потому, что исптуй-
мым они кажутся более разумными, нежели дихотомические зада-
ния, хотя и может проявиться установка на крайние ответы (см.
выше). Сошгеу использует две семибалльные шкалы, крайними зна-
чениями которых являются: "всегда-никогда" и "определенно да -
определенно нет", в зависимости от формулировки задания. Типич-
ным примером может быть: "Мне нравится бывать с друзьями в кафе:
всегда, очень часто, часто, от случая к случаю, редко, очень редко,
никогда". Очевидной проблемой для этой шкалы является различная
интерпретация индивидуумами терминов частоты.
(6) Разнообразные трихотомические задания. В действительно-
сти это варианты трихотомической формы вопроса типа "да-кет"
(тип 1 в данном списке). Cattell, например, в тесте 16PF использует
эти задания, потому что они более подходят по смыслу в отношении
некоторых утверждений, чем "да - затрудняюсь ответить - нет".
Примерами трихотомий являются: "обычно - иногда - никогда",
"верно - не знаю - неверно", "согласен - не уверен- не согласек".
Эти варианты предоставляют большую гибкость при формулирова-
нии заданий, чем жесткие формы типа "да-нет" (дихотомическая)
или альтернативные.
(7) Трихотомические задания с выбором. Это варианты типа (6),
позволяющие вложить в лаконичную форму задания почти любую
мысль. В них используются три завершающих предложение фразы,
одну из которых испытуемый должен выбрать. Вот типичный пример:
"Когда мне нечего делать, я могу: (а) позвонить другу, чтобы побол-
тать; (б) заняться разгадыванием трудного кроссворда; (в) пойти на
джазовый концерт". Некоторые разработчики тестов использовали
такие задания (например, Myers-Briggs, 1962) сдвумя, тремя и более
вариантами выбора. Они могут быть упомянуты как отдельная кате-
гория заданий.
(8) Задания с вынужденным выбором. В таких заданиях, как уже
говорилось выше, испытуемые принуждаются к выбору того, какое
из (обычно двух) утверждений более точно применимо к ним или
более верно для них, хотя может быть и больше вариантов выбора.
Однако, задания с вынужденным выбором включены в данный список
как отдельная категория не потому, что они концептуально отлича-
ются от трихотомических заданий с выбором, а потому, что Edwards
(1959) разработал довольно много заданий с вынужденным выбором,
которые были специально сконструированы в парк, уравновешенные
по тенденции к социально одобряемым ответам, чем пытался устра-
нить влияние этой установки.
95
(9) Другие формы. Основные типы заданий, описанные в пунктах
(1) - (8), - это те, которые в основном используются в наиболее
известных личностных опросниках. Все они, с точки зрения формы
(в отличие от содержания), довольно легко формулируются, для них
существует несколько правил, которые буду обсуждены ниже, они
лаконичны, наконец, просты в работе, а также для подсчетов.
Очевидно, возможны и другие типы заданий, и в Myers-Briggs
Type Indicator (МВТЗ) , например, находим тип заданий, которые
более напоминают проективный тест, хотя они оцениваются объек-
тивно. Испытуемые должны указать, какое из пары слов более при-
влекательно для них. Вероятно, их лучше рассматривать как вариант
заданий "нравится-не нравится" (тип 3 в данном списке).
CaUeii и др. (1970) используют аналогичные задания в тесте MAT
(Motivational Analysis Test - тест анализа мотивов), хотя можно
было бы возразить, что это задания объективного теста, а не теста
личности; разработка объективных тестов описана в главе 4.
Все рассматривавшиеся до сих пор виды заданий требуют от испы-
туемых самостоятельной работы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39