а что измеряет стандартное отклонение?" На
это задание, хотя в нем и предусматривается произвольный ответ, мы
должны получить такие ответы как "изменчивость", "дисперсия"
или "разброс показателей". Несмотря на это, форма задания со сво-
бодным ответом не будет здесь столь эффективна, как форма задания
с ограничениями на ответ. Интересно заметить, что данное задание
может быть легко записано в виде других уже известных нам форм:
(1) Д/Н: Стандартное отклонение измеряет изменчивость по-
казателей.
(2) Восстановление соответствия:
А
1. Арифметическое среднее
2. Стандартное отклонение
3. Медиана
4. Корреляция
.......-inLuc среднее Изменчивость
2. Стандартное отклонение Центральная тенденция
3. Медиана Согласованность
4. Корреляция Рассогласованность
Разброс
Связь
Кластеризация
Укажите, какой элемент списка Б измеряется статистическа
методикой из списка А.
(3) Варианты выбора: Стандартное отклонение измеряет:
(а) степень согласованности между двумя переменными;
(б) стандартный показатель по тесту;
(в) дисперсию показателей по тесту;
(г) средний показатель по тесту;
(д) экстремальное отклонение показателей по тесту.
Представляется, что хотя и могут быть сконструированы все типы
заданий, наиболее эффективным в данном случае без сомнения будет
задание с вариантами выбора.
На этом первом примере ясно проиллюстрирована основная труд-
ность при разработке заданий как со свободными, так и с ограничен-
ными ответами - необходимость так формулировать задания, чтобы
испытуемые, имеющие достаточный запас навыков или знаний, да-
вали правильный ответ. Это означает, что необходимо создавать
задания, на которые возможен только один правильный ответ, и
такой ответ, конечно же, должен быть точным.
82
ПРИМЕР 2.
Здесь в качестве материала для тестирования предлагаются зна-
ния об облических (зависимых) факторах в факторном анализе.
(1) Задание с произвольным ответом: Что такое облические фак-
торы?
Об облических факторах так много может быть написано и уже
написано, что любой адекватный ответ будет неизбежно длинным. В
результате возникнет безнадежная проблема попытки вычислить
баллы по данному заданию. Очевидно, что это крайне неудачный
пример, а поэтому следует быть более точным при формулировке
заданий. Прежде надо было бы конкретно решить, что же мы хотим
выяснить.
(2) Задание с ограниченным ответом: Облические факторы --
это. . . (одно слово).
Хотя в этой форме задания длина ответа ограничивается, ясно, что
это более удачное задание. Так, в качестве ответов могли бы быть
следующие слова: "коррелирующие", "подвергнутые ротации" ,
"значимые" (поскольку только значимые факторы подвергаются ро-
тации), "комплексные" (потерминологииГилфорда), "простые" (по
Кэттеллу), и так далее. Как же тогда данное задание может быть
сделано еще более конкретным?
Если мы хотим протестировать знание того, что облические фак-
торы являются коррелирующими, это, конечно же, проще всего сде-
лать при помощи альтернативного задания: "Облические факторы
являются коррелирующими. Д/Н". Если окажется, что возможность
случайного угадывания правильного ответа оказывает слишком
большое влияние на результат, то тогда должно быть сконструирова-
но задание с несколькими вариантами выбора: "Облические факторы
являются: (а) некоррелируемыми; (б) не подвергаемыми ротации;
(в) коррелируемыми; (г) ортогональными; (д) эвклидовыми." В дан-
ном задании информация тестируется весьма точно, и все дистракто-
ры были выбраны исходя из того, что каждый из них является терми-
ном описания факторов или других многомерных векторов, но под-
ходит только один правильный ответ. Таким образом, если мы хотим
протестировать знания о корреляции облических факторов, то ясно,
что обе формы заданий - альтернативного типа и с вариантами
выбора - просты и их легко сформулировать. Чтобы создать эквива-
лентные задания со свободными или ограниченными ответами, необ-
ходимо заставить испытуемого, посредством специальной фразиров-
ки задания, сосредоточиться на корреляционном аспекте зависимос-
ти факторов. Так:
В англ.языке это одно слово (Прим.ред,)
83
Задание со свободным ответом:
Каким образом облические факторы отличаются от ортого-
нач-ьных?
Ответ на задание будет засчитан как правильный, если испытуе-
мые укажут, что облические факторы коррелируют. Однако, это
задание все еще является "слабеньким", поскольку испытуемые мо-
гут дать правильный ответ,- облические факторы размещены отно-
сительно друг друга не пот гг".""- -
сительно
--"" имиры размещены отно-
niCJibHO друг друга не под прямыми углами. Следовательно, эта
форма, хотя и лучшая, чем в исходной формулировке, все еще не
является достаточно эффективной.
Какая информация о психологическом значении может быть
получена из угла, образуемого облическими факторами?
Наконец-то этот вопрос отточен; теперь возможен только один
правильный краткий ответ. Если испытуемые знают об облических
факторах, они должны упомянуть о корреляциях; если они сделают
это, то получат свои баллы.
Нет никакого сомнения в том, что создание заданий, подобных
этому (которое наконец-то выглядит достойным анализа заданий, о
чем будет говориться далее), - гораздо более трудная задача, чем
конструирование подобных точно работающих заданий с нескольки-
ми вариантами выбора. Выигрыш, получаемый разработчиком тес-
тов от применения заданий со свободными ответами, подобных при-
веденному выше, состоит в том, что для испытуемых они более инте-
ресны, менее очевидны как проба проверки знаний и предполагают
некоторый элемент логических рассуждений, - вот почему задания
со свободными ответами затрагивают больше сведений, чем задания
с вариантами выбора. Так, наше задание с вариантами выбора могло
было быть выполнено при условии, что испытуемые знали, о том, что
облические факторы коррелируют. Однако, чтобы выполнить зада-
ние со свободным ответом, испытуемый должен знать: (1) что обли-
ческие факторы коррелируют; (2) что корреляция связана с зависи-
мостью; (3) что корреляция является психологически значимой. Сле-
довательно, задание со свободным ответом является более богатым и
более трудным. Чтобы протестировать фрагмент (2) из этого задания,
пришлось бы построить еще одно задание с вариантами выбора.
Именно относительная сложность делает задания со свободными от-
ветами более привлекательными, чем задания с вариантами выбора,
которые неизбежно будут закостеневшими и примитивными.
Задание с ограниченным ответом:
/70 углам между облическими факторами может быть получена
их. . . (одно слово)
84
Такая форма задания с ограничением на ответ привлекательна
тем, что, поскольку для его выполнения нужно указать только одно
слово, обеспечивается превосходная надежность, а ответ считается
правильным или нет, без привлечения каких-либо субъективных
суждений. Это задание срабатывает более точно, чем задание со
свободным ответом, принуждая испытуемого дать желаемый ответ
(как и почти всегда при сравнении заданий с ограниченными и сво-
бодными ответами), но по этой причине оно может быть несколько
проще.
Есть один интересный момент, касающийся формулировки этого
задания с ограничением на ответ, а именно в словах "может быть
получена". Они намеренно подобраны как в некоторой мере обоб-
щенные. Если мы вместо этого напишем более точно "подсчитана"
или "вычислена", я полагаю, что они будут содержать большую долю
подсказки относительно того, что требуется некий статистический
термин. При практическом испытании этого задания было бы инте-
ресно сравнить его на небольшой подгруппе из выборки испытуемых,
с заданием со словом "вычислена", чтобы увидеть, до какой степени
изменилась значимость данного задания как средства тестирования.
И наоборот, если задание оказалось слишком трудным, при втором
практическом испытании должна быть подставлена его новая форма.
С моей точки зрения материал данного задания хорошо подходит к
форме ограниченного ответа. Такое задание выглядит гораздо более
точным, чем задание со свободным ответом, тогда как задание с
вариантами выбора кажется слишком простым и тестирующим лишь
механическое запоминание.
ПРИМЕРЗ.
Какое слово должно быть следующим в стихотворении, озаглав-
ленном "Необразованный":
Жизнь его схожа с Прокрустовым ложем:
День за днем ее он терял
За каждую книгу, что не. . . (прочитал)
При указанном заглавии стихотворения только одно слово: "про-
читал"- может служить ответом на это задание с ограничением на
ответ. Заметьте, что без заглавия "Необразованный" дать ответ ста-
новится трудно. Для ответа на этот вопрос требуется способность как
подбирать, так и рифмовать слова. Некоторых читателей может уди-
вить этот пример конструирования объективных вопросов для тести-
рования таких способностей.
На данном материале нельзя построить задание со свободным
ответом, а вот задание с вариантами выбора - можно:
85
Какое из следующих слов наилучшим образом завершает строку:
(а) написал, (б) прочитал, (в) сказал, (г) продавал, (д) знал.
Сложность при разработке такого задания состоит в подборе вари-
антов, и нет сомнения в том, что лучшие варианты будут получены в
результате анализа ограниченных ответов на этот вопрос.
Таким образом, в наших примерах задания с ограничениями на
ответы всегда казались превосходящими аналогичные им задания со
свободными ответами благодаря их дополнительной точности. Одна-
ко это не всегда так. Если мы хотим протестировать только лишь
некоторые специальные сведения, то задание со свободным ответом
может быть более эффективным.
ПРИМЕР 4.
В данном примере материалом для тестирования являются знания
о зависимости между квадратом гипотенузы и суммой квадратов
катетов прямоугольного треугольника.
(1) Задание со свободным ответом: Чему ровна сумма квадратов
катетов прямоугольного треугольника?
Благодаря этому точному определению существует только один
ответ, и его возможные формы будут легко распознаны подсчитыва-
ющими показатели по тесту (что обеспечит высокую надежность).
(2) Задание со свободным ответом: Какая связь между гипотену-
зой и катетами прямоугольного треугольника?
Как и в предыдущем случае, нет сомнений относительно правиль-
ности и точности ответа.
В случае, подобном этому, использование задания с ограничен-
ным выбором ответов не приведет к улучшению; в самом деле, их
гораздо труднее создавать, так как крайняя специфичность правиль-
ного ответа заставляет разработчика теста включать в текст задания
его определенную часть. Например: (1) "Сумма квадратов катетов
равна ... ... прямоугольного треугольника." Необходимые здесь
два слова не столь очевидны, так что несведущий не сможет их
вписать, а также задание не обязательно подтолкнет память испыту-
емого с нетвердыми знаниями. Другое задание выглядит так: (2)
"Если дана сумма квадратов катетов, то гипотенузу прямоугольного
треугольника можно найти как ... . .. ... "
Задания с ограничениями на ответы и со свободными ответами
полезны как дополнительные методы представления заданий в тес-
товой форме. Какое из них будет лучшим, зависит от специфики
тестируемой информации. Если она очень специфична, то эффектив-
ным будет задание со свободными ответами; если она не столь четко
86
определена, то лучше использовать задание с ограничениями на от-
вет.
Как и ранее, при выборе формы задания часто полезным бывает
на одном и том же материале сформулировать задания всех видов, а
затем выбрать наилучшее в соответствии с критериями, обсуждав-
шимися в данной главе. Следует помнить, что та часть теста, в кото-
рую входят задания со свободными и ограниченными ответами (при
условии, что они не менее эффективны, чем другие формы заданий)
больше нравятся испытуемым, чем чисто объективные задания. Од-
нако, это исключает автоматизированный подсчет показателей.
И последнее. Thorndike и Hagen (1977) перечисляют ряд момен-
тов, которые должны учитываться при формулировании заданий,
рассматривавшихся в данной главе. Некоторые из этих правил на-
столько очевидны, что вряд ли заслуживают комментариев: слова
должны подбираться тщательно и быть точными; требуемые от испы-
туемых ответы должны быть правильными; задачи должны быть спе-
цифичными; в заданиях на дополнение не следует оставлять столько
многоточий, что задание становится непонятным.
Достаточно о различных типах заданий. При попытке сконструи-
ровать задания каждого типа, релевантные определенному материа-
лу, можно сравнительно легко написать задания, удовлетворитель-
ные для их первого практического испытания и отбора.
Упорядочивание заданий для испытания теста
Как было указано в первой главе этой книги, ясные инструкции,
обеспечивающие простоту понимания того, что испытуемые должны
делать, способствуют повышению надежности и валидности теста.
Есть несколько простых правил для упорядочения заданий при испы-
таниях теста, которые настолько очевидны, что заслуживают лишь
кратких комментариев.
(1) Располагайте задания каждого типа вместе. Это дает возмож-
ность испытуемым приспособиться к данному типу заданий, а, сле-
довательно, достаточно понимания одной части инструкции для
множества заданий.
(2) Располагайте задания в порядке трудности. Это предотвратит
случаи, когда слишком старательный испытуемый тратит все свое
время (или слишком много времени) на задания, которые он не может
решить и, таким образом, лишает себя возможности попытаться вы-
полнить другие, по которым он мог бы получить баллы, а в результате
все формы анализа заданий будут неточными.
87
(3) В рамках ограничений (1) и (2), располагайте материал на-
столько случайно (произвольно), насколько это возможно. Это сни-
жает монотонность и связанное с ней утомление.
(4) Не комплектуйте вместе такое количество заданий, что сред-
нему испытуемому для их выполнения потребуется более полутора
часов (для взрослых). Для детей период сосредоточения в тестах
способностей должен быть более ограниченным. Посоветуйтесь об
этом с учителями, знающими испытуемых.
(5) Чтобы убедиться, сколько времени требуется на выполнение
заданий теста, дайте указание испытуемым отмечать, какое задание
теста они выполняют в различные моменты времени в процессе тес-
тирования.
(6) Если вы следуете этим методам конструирования тестов и
проведения тестирования, то есть все шансы, что после выполнения
статистических процедур анализа, описанных далее в этой книге, вы
получите эффективный, надежный и валидный тест для измерения
интеллекта, специальных способностей и достижений.
Случайное угадывание правильного ответа
Остается обсудить еще одну проблему в конструировании тестов
интеллекта, специальных способностей и достижений, которую я
мимоходом уже упоминал в данной главе - случайное угадывание
правильных ответов. Очевидно, что для объективных заданий слу-
чайное угадывание исказит до некоторой степени показатели по тес-
ту. Если тесты используются для таких серьезных целей, как отбор
на рабочие места или продвижение по службе, то очевидно, что
испытуемые имеют сильные мотивы для угадывания ответов. Слу-
чайное угадывание, конечно, снижает надежность и валидность тес-
тов. Что в таком случае следует предпринимать?
(1) Ввести требование угадывать ответы. Одним из возможных
решений является потребовать от испытуемых в инструкциях угады-
вать ответы. Это легко сделать так: "Не пропускайте ответы на воп-
росы. Если вы не знаете ответа или не уверены в его правильности,
попытайтесь угадать правильное решение."
(2) Перед подсчетом показателей по тесту ответьте на все пропу-
щенные испытуемыми вопросы произвольным образом. Это будет
эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут
искажены случайным угадыванием. Следовательно, валидность тес-
та не будет очень сильно искажена. К сожалению, даже при указании
в инструкциях не пропускать ответов на вопросы, не все испытуемые
подчиняются этому требованию, поэтому если исследователь не при-
8
бегает к действию (2), следует вносить некоторую коррекцию на
случайное угадывание ответов (если влияние угадывания считается
существенным).
ФОРМУЛА КОРРЕКЦИИ УГАДЫВАНИЯ
Общая формула коррекции на угадывание:
У - у . W
"correct - л _ 1
где: Xcorrect - показатель, скорректированный на угадывание;
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
это задание, хотя в нем и предусматривается произвольный ответ, мы
должны получить такие ответы как "изменчивость", "дисперсия"
или "разброс показателей". Несмотря на это, форма задания со сво-
бодным ответом не будет здесь столь эффективна, как форма задания
с ограничениями на ответ. Интересно заметить, что данное задание
может быть легко записано в виде других уже известных нам форм:
(1) Д/Н: Стандартное отклонение измеряет изменчивость по-
казателей.
(2) Восстановление соответствия:
А
1. Арифметическое среднее
2. Стандартное отклонение
3. Медиана
4. Корреляция
.......-inLuc среднее Изменчивость
2. Стандартное отклонение Центральная тенденция
3. Медиана Согласованность
4. Корреляция Рассогласованность
Разброс
Связь
Кластеризация
Укажите, какой элемент списка Б измеряется статистическа
методикой из списка А.
(3) Варианты выбора: Стандартное отклонение измеряет:
(а) степень согласованности между двумя переменными;
(б) стандартный показатель по тесту;
(в) дисперсию показателей по тесту;
(г) средний показатель по тесту;
(д) экстремальное отклонение показателей по тесту.
Представляется, что хотя и могут быть сконструированы все типы
заданий, наиболее эффективным в данном случае без сомнения будет
задание с вариантами выбора.
На этом первом примере ясно проиллюстрирована основная труд-
ность при разработке заданий как со свободными, так и с ограничен-
ными ответами - необходимость так формулировать задания, чтобы
испытуемые, имеющие достаточный запас навыков или знаний, да-
вали правильный ответ. Это означает, что необходимо создавать
задания, на которые возможен только один правильный ответ, и
такой ответ, конечно же, должен быть точным.
82
ПРИМЕР 2.
Здесь в качестве материала для тестирования предлагаются зна-
ния об облических (зависимых) факторах в факторном анализе.
(1) Задание с произвольным ответом: Что такое облические фак-
торы?
Об облических факторах так много может быть написано и уже
написано, что любой адекватный ответ будет неизбежно длинным. В
результате возникнет безнадежная проблема попытки вычислить
баллы по данному заданию. Очевидно, что это крайне неудачный
пример, а поэтому следует быть более точным при формулировке
заданий. Прежде надо было бы конкретно решить, что же мы хотим
выяснить.
(2) Задание с ограниченным ответом: Облические факторы --
это. . . (одно слово).
Хотя в этой форме задания длина ответа ограничивается, ясно, что
это более удачное задание. Так, в качестве ответов могли бы быть
следующие слова: "коррелирующие", "подвергнутые ротации" ,
"значимые" (поскольку только значимые факторы подвергаются ро-
тации), "комплексные" (потерминологииГилфорда), "простые" (по
Кэттеллу), и так далее. Как же тогда данное задание может быть
сделано еще более конкретным?
Если мы хотим протестировать знание того, что облические фак-
торы являются коррелирующими, это, конечно же, проще всего сде-
лать при помощи альтернативного задания: "Облические факторы
являются коррелирующими. Д/Н". Если окажется, что возможность
случайного угадывания правильного ответа оказывает слишком
большое влияние на результат, то тогда должно быть сконструирова-
но задание с несколькими вариантами выбора: "Облические факторы
являются: (а) некоррелируемыми; (б) не подвергаемыми ротации;
(в) коррелируемыми; (г) ортогональными; (д) эвклидовыми." В дан-
ном задании информация тестируется весьма точно, и все дистракто-
ры были выбраны исходя из того, что каждый из них является терми-
ном описания факторов или других многомерных векторов, но под-
ходит только один правильный ответ. Таким образом, если мы хотим
протестировать знания о корреляции облических факторов, то ясно,
что обе формы заданий - альтернативного типа и с вариантами
выбора - просты и их легко сформулировать. Чтобы создать эквива-
лентные задания со свободными или ограниченными ответами, необ-
ходимо заставить испытуемого, посредством специальной фразиров-
ки задания, сосредоточиться на корреляционном аспекте зависимос-
ти факторов. Так:
В англ.языке это одно слово (Прим.ред,)
83
Задание со свободным ответом:
Каким образом облические факторы отличаются от ортого-
нач-ьных?
Ответ на задание будет засчитан как правильный, если испытуе-
мые укажут, что облические факторы коррелируют. Однако, это
задание все еще является "слабеньким", поскольку испытуемые мо-
гут дать правильный ответ,- облические факторы размещены отно-
сительно друг друга не пот гг".""- -
сительно
--"" имиры размещены отно-
niCJibHO друг друга не под прямыми углами. Следовательно, эта
форма, хотя и лучшая, чем в исходной формулировке, все еще не
является достаточно эффективной.
Какая информация о психологическом значении может быть
получена из угла, образуемого облическими факторами?
Наконец-то этот вопрос отточен; теперь возможен только один
правильный краткий ответ. Если испытуемые знают об облических
факторах, они должны упомянуть о корреляциях; если они сделают
это, то получат свои баллы.
Нет никакого сомнения в том, что создание заданий, подобных
этому (которое наконец-то выглядит достойным анализа заданий, о
чем будет говориться далее), - гораздо более трудная задача, чем
конструирование подобных точно работающих заданий с нескольки-
ми вариантами выбора. Выигрыш, получаемый разработчиком тес-
тов от применения заданий со свободными ответами, подобных при-
веденному выше, состоит в том, что для испытуемых они более инте-
ресны, менее очевидны как проба проверки знаний и предполагают
некоторый элемент логических рассуждений, - вот почему задания
со свободными ответами затрагивают больше сведений, чем задания
с вариантами выбора. Так, наше задание с вариантами выбора могло
было быть выполнено при условии, что испытуемые знали, о том, что
облические факторы коррелируют. Однако, чтобы выполнить зада-
ние со свободным ответом, испытуемый должен знать: (1) что обли-
ческие факторы коррелируют; (2) что корреляция связана с зависи-
мостью; (3) что корреляция является психологически значимой. Сле-
довательно, задание со свободным ответом является более богатым и
более трудным. Чтобы протестировать фрагмент (2) из этого задания,
пришлось бы построить еще одно задание с вариантами выбора.
Именно относительная сложность делает задания со свободными от-
ветами более привлекательными, чем задания с вариантами выбора,
которые неизбежно будут закостеневшими и примитивными.
Задание с ограниченным ответом:
/70 углам между облическими факторами может быть получена
их. . . (одно слово)
84
Такая форма задания с ограничением на ответ привлекательна
тем, что, поскольку для его выполнения нужно указать только одно
слово, обеспечивается превосходная надежность, а ответ считается
правильным или нет, без привлечения каких-либо субъективных
суждений. Это задание срабатывает более точно, чем задание со
свободным ответом, принуждая испытуемого дать желаемый ответ
(как и почти всегда при сравнении заданий с ограниченными и сво-
бодными ответами), но по этой причине оно может быть несколько
проще.
Есть один интересный момент, касающийся формулировки этого
задания с ограничением на ответ, а именно в словах "может быть
получена". Они намеренно подобраны как в некоторой мере обоб-
щенные. Если мы вместо этого напишем более точно "подсчитана"
или "вычислена", я полагаю, что они будут содержать большую долю
подсказки относительно того, что требуется некий статистический
термин. При практическом испытании этого задания было бы инте-
ресно сравнить его на небольшой подгруппе из выборки испытуемых,
с заданием со словом "вычислена", чтобы увидеть, до какой степени
изменилась значимость данного задания как средства тестирования.
И наоборот, если задание оказалось слишком трудным, при втором
практическом испытании должна быть подставлена его новая форма.
С моей точки зрения материал данного задания хорошо подходит к
форме ограниченного ответа. Такое задание выглядит гораздо более
точным, чем задание со свободным ответом, тогда как задание с
вариантами выбора кажется слишком простым и тестирующим лишь
механическое запоминание.
ПРИМЕРЗ.
Какое слово должно быть следующим в стихотворении, озаглав-
ленном "Необразованный":
Жизнь его схожа с Прокрустовым ложем:
День за днем ее он терял
За каждую книгу, что не. . . (прочитал)
При указанном заглавии стихотворения только одно слово: "про-
читал"- может служить ответом на это задание с ограничением на
ответ. Заметьте, что без заглавия "Необразованный" дать ответ ста-
новится трудно. Для ответа на этот вопрос требуется способность как
подбирать, так и рифмовать слова. Некоторых читателей может уди-
вить этот пример конструирования объективных вопросов для тести-
рования таких способностей.
На данном материале нельзя построить задание со свободным
ответом, а вот задание с вариантами выбора - можно:
85
Какое из следующих слов наилучшим образом завершает строку:
(а) написал, (б) прочитал, (в) сказал, (г) продавал, (д) знал.
Сложность при разработке такого задания состоит в подборе вари-
антов, и нет сомнения в том, что лучшие варианты будут получены в
результате анализа ограниченных ответов на этот вопрос.
Таким образом, в наших примерах задания с ограничениями на
ответы всегда казались превосходящими аналогичные им задания со
свободными ответами благодаря их дополнительной точности. Одна-
ко это не всегда так. Если мы хотим протестировать только лишь
некоторые специальные сведения, то задание со свободным ответом
может быть более эффективным.
ПРИМЕР 4.
В данном примере материалом для тестирования являются знания
о зависимости между квадратом гипотенузы и суммой квадратов
катетов прямоугольного треугольника.
(1) Задание со свободным ответом: Чему ровна сумма квадратов
катетов прямоугольного треугольника?
Благодаря этому точному определению существует только один
ответ, и его возможные формы будут легко распознаны подсчитыва-
ющими показатели по тесту (что обеспечит высокую надежность).
(2) Задание со свободным ответом: Какая связь между гипотену-
зой и катетами прямоугольного треугольника?
Как и в предыдущем случае, нет сомнений относительно правиль-
ности и точности ответа.
В случае, подобном этому, использование задания с ограничен-
ным выбором ответов не приведет к улучшению; в самом деле, их
гораздо труднее создавать, так как крайняя специфичность правиль-
ного ответа заставляет разработчика теста включать в текст задания
его определенную часть. Например: (1) "Сумма квадратов катетов
равна ... ... прямоугольного треугольника." Необходимые здесь
два слова не столь очевидны, так что несведущий не сможет их
вписать, а также задание не обязательно подтолкнет память испыту-
емого с нетвердыми знаниями. Другое задание выглядит так: (2)
"Если дана сумма квадратов катетов, то гипотенузу прямоугольного
треугольника можно найти как ... . .. ... "
Задания с ограничениями на ответы и со свободными ответами
полезны как дополнительные методы представления заданий в тес-
товой форме. Какое из них будет лучшим, зависит от специфики
тестируемой информации. Если она очень специфична, то эффектив-
ным будет задание со свободными ответами; если она не столь четко
86
определена, то лучше использовать задание с ограничениями на от-
вет.
Как и ранее, при выборе формы задания часто полезным бывает
на одном и том же материале сформулировать задания всех видов, а
затем выбрать наилучшее в соответствии с критериями, обсуждав-
шимися в данной главе. Следует помнить, что та часть теста, в кото-
рую входят задания со свободными и ограниченными ответами (при
условии, что они не менее эффективны, чем другие формы заданий)
больше нравятся испытуемым, чем чисто объективные задания. Од-
нако, это исключает автоматизированный подсчет показателей.
И последнее. Thorndike и Hagen (1977) перечисляют ряд момен-
тов, которые должны учитываться при формулировании заданий,
рассматривавшихся в данной главе. Некоторые из этих правил на-
столько очевидны, что вряд ли заслуживают комментариев: слова
должны подбираться тщательно и быть точными; требуемые от испы-
туемых ответы должны быть правильными; задачи должны быть спе-
цифичными; в заданиях на дополнение не следует оставлять столько
многоточий, что задание становится непонятным.
Достаточно о различных типах заданий. При попытке сконструи-
ровать задания каждого типа, релевантные определенному материа-
лу, можно сравнительно легко написать задания, удовлетворитель-
ные для их первого практического испытания и отбора.
Упорядочивание заданий для испытания теста
Как было указано в первой главе этой книги, ясные инструкции,
обеспечивающие простоту понимания того, что испытуемые должны
делать, способствуют повышению надежности и валидности теста.
Есть несколько простых правил для упорядочения заданий при испы-
таниях теста, которые настолько очевидны, что заслуживают лишь
кратких комментариев.
(1) Располагайте задания каждого типа вместе. Это дает возмож-
ность испытуемым приспособиться к данному типу заданий, а, сле-
довательно, достаточно понимания одной части инструкции для
множества заданий.
(2) Располагайте задания в порядке трудности. Это предотвратит
случаи, когда слишком старательный испытуемый тратит все свое
время (или слишком много времени) на задания, которые он не может
решить и, таким образом, лишает себя возможности попытаться вы-
полнить другие, по которым он мог бы получить баллы, а в результате
все формы анализа заданий будут неточными.
87
(3) В рамках ограничений (1) и (2), располагайте материал на-
столько случайно (произвольно), насколько это возможно. Это сни-
жает монотонность и связанное с ней утомление.
(4) Не комплектуйте вместе такое количество заданий, что сред-
нему испытуемому для их выполнения потребуется более полутора
часов (для взрослых). Для детей период сосредоточения в тестах
способностей должен быть более ограниченным. Посоветуйтесь об
этом с учителями, знающими испытуемых.
(5) Чтобы убедиться, сколько времени требуется на выполнение
заданий теста, дайте указание испытуемым отмечать, какое задание
теста они выполняют в различные моменты времени в процессе тес-
тирования.
(6) Если вы следуете этим методам конструирования тестов и
проведения тестирования, то есть все шансы, что после выполнения
статистических процедур анализа, описанных далее в этой книге, вы
получите эффективный, надежный и валидный тест для измерения
интеллекта, специальных способностей и достижений.
Случайное угадывание правильного ответа
Остается обсудить еще одну проблему в конструировании тестов
интеллекта, специальных способностей и достижений, которую я
мимоходом уже упоминал в данной главе - случайное угадывание
правильных ответов. Очевидно, что для объективных заданий слу-
чайное угадывание исказит до некоторой степени показатели по тес-
ту. Если тесты используются для таких серьезных целей, как отбор
на рабочие места или продвижение по службе, то очевидно, что
испытуемые имеют сильные мотивы для угадывания ответов. Слу-
чайное угадывание, конечно, снижает надежность и валидность тес-
тов. Что в таком случае следует предпринимать?
(1) Ввести требование угадывать ответы. Одним из возможных
решений является потребовать от испытуемых в инструкциях угады-
вать ответы. Это легко сделать так: "Не пропускайте ответы на воп-
росы. Если вы не знаете ответа или не уверены в его правильности,
попытайтесь угадать правильное решение."
(2) Перед подсчетом показателей по тесту ответьте на все пропу-
щенные испытуемыми вопросы произвольным образом. Это будет
эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут
искажены случайным угадыванием. Следовательно, валидность тес-
та не будет очень сильно искажена. К сожалению, даже при указании
в инструкциях не пропускать ответов на вопросы, не все испытуемые
подчиняются этому требованию, поэтому если исследователь не при-
8
бегает к действию (2), следует вносить некоторую коррекцию на
случайное угадывание ответов (если влияние угадывания считается
существенным).
ФОРМУЛА КОРРЕКЦИИ УГАДЫВАНИЯ
Общая формула коррекции на угадывание:
У - у . W
"correct - л _ 1
где: Xcorrect - показатель, скорректированный на угадывание;
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39