Еще одним сигналом будет необычная компоновка ответов любого ученика —например, правильные ответы на сложные вопросы и неправильные на простые. Это особенно подозрительно на фоне тысяч учеников из других классов, которые отвечали на тот же тест примерно одинаково и предсказуемо. Более того, алгоритм определяет класс, результаты учеников которого были гораздо хуже во время предыдущих и последующих тестов. Конечно, резкий скачок успеваемости в один год можно приписать хорошему учителю, но когда он так же резко обрывается, высока вероятность, что он был вызван искусственно.
Теперь давайте рассмотрим ответы, которые дали ученики двух шестых классов школ Чикаго на вопросы идентичного теста по математике. Каждая строка представляет ответы одного ученика. Буквы a, b, c и d обозначают правильные ответы, а цифрами отмечены неправильные, причем 1 соответствует а, 2 — b и так далее. Нуль обозначает отсутствие ответа. В одном из этих классов учительница явно жульничала, а в другом — нет. Попробуйте определить мошенничество сами, но хотим сразу предупредить, что сделать это невооруженным глазом не так уж просто.
Класс А
112a4a342cb214d0001acd24a3a12dadbcb4a0000000
d4a2341cacbddad3142a2344a2ac23421c00adb4b3cb
1b2a34d4ac42d23b141acd24a3a12dadbcb4a2134141
dbaab3dcacb1dadbc42ac2cc31012dadbcb4adb40000
d12443d43232d32323c213c22d2c23234c332db4b300
db2abad1acbdda212b1acd24a3a12dadbcb400000000
d4aab2124cbddadbcb1a42cca3412dadbcb423144bc1
1b33b4d4a2b1dadbc3ca22c000000000000000000000
d43a3a24acb1d32b412acd24a3a12dadbcb422143bc0
313a3ad1ac3d2a23431223c000012dadbcb400000000
db2a33dcacbd32d313c211423 23cc30000000000000
d43ab4d1ac3dd43421240d24a3a12dadbcb400000000
db223a24acb11a3b24cacd12a241cdadbcb4adb4b300
db4abadcacb1dad3141ac212a3a1c3a144ba2db41b43
1142340c2cbddadb4b1acd24a3a12dadbcb43d133bc4
214ab4dc4cbdd31b1b2213c4ad412dadbcb4adb00000
1423b4d4a23d24131413234123a243a2413a21441343
3b3ab4d14c3d2ad4cbcac1c003a12dadbcb4adb40000
dba2ba21ac3d2ad3c4c4cd40a3a12dadbcb400000000
d122ba2cacbd1a13211a2d02a2412d0dbcb4adb4b3c0
144a3adc4cbddadbcbc2c2cc43a12dadbcb4211ab343
d43aba3cacbddadbcbca42c2a3212dadbcb42344b3cb
Класс Б
db3a431422bd131b4413cd422a1acda332342d3ab4c4
d1aa1a11acb2d3dbc1ca22c23242c3a142b3adb243c1
d42a12d2a4b1d32b21ca2312a3411d00000000000000
3b2a34344c32d21b1123cdc000000000000000000000
34aabad12cbdd3d4c1ca112cad2ccd00000000000000
d33a3431a2b2d2d44b2acd2cad2c2223b40000000000
23aa32d2a1bd2431141342c13d212d233c34a3b3b000
d32234d4a1bdd23b242a22c2a1a1cda2b1baa33a0000
d3aab23c4cbddadb23c322c2a222223232b443b24bc3
d13a14313c31d42b14c421c42332cd2242b3433a3343
d13a3ad122b1da2b11242dc1a3a12100000000000000
d12a3ad1a13d23d3cb2a21ccada24d2131b440000000
314a133c4cbd142141ca424cad34c122413223ba4b40
d42a3adcacbddadbc42ac2c2ada2cda341baa3b24321
db1134dc2cb2dadb24c412c1ada2c3a341ba20000000
d1341431acbddad3c4c213412da22d3d1132a1344b1b
1ba41a21a1b2dadb24ca22c1ada2cd32413200000000
dbaa33d2a2bddadbcbca11c2a2accda1b2ba20000000
Если вы уже сами догадались, что руководство школы обманывала учительница класса А, то примите наши поздравления. А теперь еще раз рассмотрим ответы учеников после того, как компьютер применил алгоритм мошенничества и провел поиск подозрительных конструкций.
Класс А
(С ПРИМЕНЕНИЕМ АЛГОРИТМА МОШЕННИЧЕСТВА)
1. 112a4a342cb214d0001acd24a3a12dadbcb4a0000000
2. 1b2a34d4ac42d23b141acd24a3a12dadbcb4a2134141
3. db2abad1acbdda212b1acd24a3a12dadbcb400000000
4. d43a3a24acb1d32b412acd24a3a12dadbcb422143bc0
5. d43ab4d1ac3dd43421240d24a3a12dadbcb400000000
6. 1142340c2cbddadb4b1acd24a3a12dadbcb43d133bc4
7. dba2ba21ac3d2ad3c4c4cd40a3a12dadbcb400000000
8. 144a3adc4cbddadbcbc2c2cc43a12dadbcb4211ab343
9. 3b3ab4d14c3d2ad4cbcac1c003a12dadbcb4adb40000
10. d43aba3cacbddadbcbca42c2a3212dadbcb42344b3cb
11. 214ab4dc4cbdd31b1b2213c4ad412dadbcb4adb00000
12. 313a3ad1ac3d2a23431223c000012dadbcb400000000
13. d4aab2124cbddadbcb1a42cca3412dadbcb423134bc1
14. dbaab3dcacb1dadbc42ac2cc31012dadbcb4adb40000
15. db223a24acb11a3b24cacd12a241cdadbcb4adb4b300
16. d122ba2cacbd1a13211a2d02a2412d0dbcb4adb4b3c0
17. 1423b4d4a23d24131413234123a243a2413a21441343
18. db4abadcacb1dad3141ac212a3a1c3a144ba2db41b43
19. db2a33dcacbd32d313c21142323cc300000000000000
20. 1b33b4d4a2b1dadbc3ca22c000000000000000000000
21. d12443d43232d32323c213c22d2c23234c332db4b300
22. d4a2341cacbddad3142a2344a2ac23421c00adb4b3cb
Обратите особое внимание на ответы, выделенные жирным шрифтом. Могли ли пятнадцать из двадцати двух учеников умудриться дать шесть одинаковых правильных ответов подряд (d-a-d-b-c-b) сами по себе?
Есть, по меньшей мере, четыре причины, по которым это маловероятно. Первая: эти вопросы расположены в конце теста и сложнее предыдущих. Вторая: эти ученики не были даже хорошистами и едва ли могли дать шесть правильных ответов даже на простые вопросы, не то что на сложные. Третья: до этого момента в тесте ответы пятнадцати учеников почти не совпадали. Четвертая: трое из этих учеников (номера 1, 9 и 12) оставили без ответа минимум один вопрос перед подозрительным рядом, а закончили тест еще рядом пулей. Это указывает на то, что длинная непрерывная цепочка пропусков была прервана не учениками, а учительницей.
Есть и другая странность в этих ответах. В девяти из пятнадцати тестов перед правильными ответами шла другая одинаковая цепочка 3-а—1—2, которая включала три неправильных ответа. А во всех пятнадцати тестах после шести правильных ответов следовал один и тот же неправильный ответ 4. Почему же учительница озаботилась тем, чтобы подправить тесты учеников и вставить в них неправильные ответы?
Вероятно, в том была ее стратегия. В случае, если бы ее поймали и отвели в кабинет директора, она могла указать на неправильные ответы как на доказательство своей невиновности. А может быть — что вполне вероятно — она просто не знала правильных ответов сама. (В тестах на стандартизацию учителям обычно не дают ключа с ответами.) Если это так, то становится ясно, почему ее ученики нуждались в подделке результатов: у них просто была плохая учительница.
Еще одним доказательством обмана этой учительницы является общий результат класса А. Шестиклассники, которым дали тест на восьмом месяце учебного года, должны были бы выдать средний балл примерно 6,8, что соответствовало бы норме по стране. (Ученики пятого класса на восьмом месяце обучения должны были набрать 5,8, седьмого — 7,8 и т.д.) Ученики же класса А получили средний балл только 5,8, что на одну целую ниже, чем должны были. Это ясно показывает, что они плохо учились (или их плохо учили). Однако годом ранее они показали еще худший результат, получив за тест в пятом классе средний балл 4,1. Вместо того чтобы улучшить показатели на одну целую в шестом классе, как можно было ожидать, они улучшили их на 1,7 — почти на две целых. Но этот потрясающий скачок был кратковременным и весьма подозрительным. Когда эти ученики перешли в седьмой класс, они показали средний балл 5,5 — более чем на две целых ниже нормы и даже хуже, чем в шестом классе. Давайте теперь рассмотрим различия в результатах трех отдельных учеников класса А:
Балл 5-го класса Балл б-го класса Балл 7-го класса
Ученик 3 3 6,5 5,1
Ученик 6 3,6 6,3 4,9
Ученик 14 3,8 7,1 5,6
Между тем баллы, полученные за эти три года учениками класса Б, также были плохими, но, по крайней мере, указывали на их честные усилия: 4,2, 5,1 и 6,0. Таким образом, либо ученики класса А резко поумнели, а через год так же резко поглупели, либо их учительница немножко поколдовала своим карандашом. Как вы думаете, что более вероятно?
Есть два заслуживающих внимания момента, которые касаются отношения детей из класса А к мошенничеству как таковому. Во-первых, от результатов теста зависело, перейдут ли они в следующий класс или же останутся на второй год. А во-вторых, их ожидало огромное потрясение в седьмом классе. Они думали только о том, что благополучно продолжили учиться лишь благодаря результатам своих тестов. (Действительно, ни один ученик не был оставлен на второй год.) Это не они искусственно завысили показатели. Но они ожидали высоких результатов в седьмом классе и были горько разочарованы. Это, пожалуй, является самой неприятной стороной итогового тестирования. Учитель может сколько угодно говорить себе, что помогает ученикам, но на самом деле он делает им только хуже, поскольку гораздо больше беспокоится о себе.
Анализ всех данных по Чикаго обнаружил факты мошенничества учителей в более чем двухстах классах ежегодно, что дает примерно 5% от общей цифры. И это по скромным подсчетам, поскольку алгоритм позволил определить только самый грубый обман, когда учителя систематически подменяли ответы учеников. К сожалению, более изощренные формы нарушений он доказать не мог. Однако при недавнем опросе учителей Северной Каролины 35% респондентов сказали, что были свидетелями мошенничества их коллег в той или иной форме. Например, оно проявлялось в предоставлении ученикам дополнительного времени на тест, подсказывании ответов и их фальсификации [6.2].
Каковы же общие приметы такого мошенника? Собранные в школах Чикаго данные свидетельствуют, что к обману почти в равной степени склонны и мужчины, и женщины. Как правило, нечестную игру ведут более молодые и менее квалифицированные учителя. Причем, как правило, они начинают обманывать после смены своих стимулов. Поскольку чикагские исследования охватывают период с 1993 по 2000 год, в них упоминается введение итогового тестирования в 1996-м. Нетрудно догадаться, что главный пик мошенничества пришелся именно на этот год. И обман был в школах совсем не редким явлением. Наиболее к нему были склонны учителя самых слабых классов. Следует также отметить, что премию в двадцать пять тысяч долларов для учителей Калифорнии со временем отменили, частично из-за подозрений, что деньги идут мошенникам.
Впрочем, не все результаты чикагского анализа свидетельствовали о нарушениях. Помимо выявления обмана, алгоритм позволял также определить лучших учителей. Ведь влияние хорошего учителя было почти так же заметно, как и влияние мошенника. Вместо отдельных правильных ответов его ученики демонстрировали реальное улучшение знаний по тем вопросам, в которых ранее “плавали”. Кроме того, ученики хорошего учителя не теряли, а только набирали темпы освоение наук в следующем классе.
Большинство академических аналитических отчетов подобного рода имеют свойство тихо пылиться непрочтенными на дальних полках библиотек. Но в начале 2002 года с авторами исследований связался новый директор общественных школ Чикаго Арни Дункан. Он вовсе не хотел оспорить сделанные ими открытия или заставить их умолкнуть. Скорее, он желал убедиться, что учителя, определенные алгоритмом как мошенники, действительно вели себя нечестно, и дать делу ход.
Дункан был отнюдь не типичным человеком на этой должности. Ему было всего тридцать шесть лет, ранее он преподавал в Гарварде и даже профессионально играл в баскетбол в Австралии. До того как возглавить общественные школы Чикаго, он сотрудничал с ними только три года, ни разу не занимая достаточно серьезную должность, чтобы иметь собственного секретаря. Между тем Дункан вырос в Чикаго. Его отец преподавал психологию в местном университете, а мать на протяжении сорока лет бесплатно занималась после школы с детьми бедных соседей. Когда Арни был маленьким мальчиком, его товарищами по играм были отпрыски малообеспеченных семей. Поэтому, когда он возглавил общественные школы, его симпатии были больше на стороне учеников и их родителей, чем учителей и их профсоюза [6.3].
Дункан решил, что оптимальным способом избавиться от мошенников среди учителей будет повторное проведение тестов. Однако у него были ресурсы, чтобы протестировать заново только сто двадцать классов, а потому он попросил создателей алгоритма помочь ему с выбором.
Каким образом можно было использовать эти тесты с максимальной эффективностью? Казалось, разумнее было бы перепроверить только те классы, которые вызывали подозрение. Но даже если бы новые результаты были ниже, учителя могли заявить, что дети просто работали хуже, так как им сказали, что тесты не повлияют на их судьбу. И к этому заявлению было бы трудно придраться, поскольку все ученики действительно знали, что им нечего бояться. Чтобы сделать результаты повторной проверки убедительными, необходимо было привлечь несколько честных учителей в качестве контрольной группы. Но кто мог войти в такую группу? Ответ очень прост: учителя тех классов, в которых, как определил алгоритм, баллы учеников были получены справедливо. Если бы успеваемость в их классах осталась на том же уровне, а ученики подозреваемых учителей провалили тест, не могло бы быть никаких отговорок. Уж тогда бы мошенники не могли сказать, что их ученики отвечали хуже потому, что их ответы ни на что не влияли.
Итак, все было готово. Более половины из 120 классов, которым предстояла повторная проверка, входили в число тех, чьи учителя подозревались в мошенничестве. Остальные представляли собой классы, высокие результаты учеников которых не вызывали сомнений, и, для большей уверенности, посредственные классы, также свободные от подозрений.
Повторный тест провели через несколько недель после исходного. Ни детям, ни учителям его истинную причину не объяснили. Впрочем, последние могли догадаться и сами, когда было объявлено, что проводить тест будут представители общественных школ Чикаго. Учителей при этом попросили побыть в кабинетах вместе со своими учениками, но даже близко не подходить к листочкам с ответами.
Результаты оказались именно такими, как предсказывал алгоритм мошенничества. В классах, выбранных для контроля, где не подозревался обман, средний балл почти не изменился, а то и стал выше. Зато те ученики, чьих учителей подозревали в мошенничестве, получили баллы гораздо ниже — более чем на один балл.
Это привело к тому, что общественные школы Чикаго постепенно начали увольнять учителей, пойманных на жульничестве. Конечно, доказательств хватило только на то, чтобы избавиться от дюжины мошенников, зато остальные получили серьезное предупреждение. Главным результатом чикагского исследования стало отличное подтверждение силы стимулов: на следующий год количество случаев мошенничества в школах сократилось более чем на треть.
Вы можете подумать, что, чем старше классы, тем более изощренно работают в них мошенники. Однако эту мысль опровергает исследование, проведенное осенью 2001 года в Университете Джорджии. Объектом его был итоговый тест по курсу “Тренерские принципы и стратегии в баскетболе”, который включал двадцать вопросов. Среди них были такие:
Сколько половин в матче баскетбольной команды колледжа?
а. 1 б. 2 в. 3 г. 4
Сколько очков приносит трехочковый бросок в баскетболе?
а. 1 б. 2 в. З г. 4
Как называется экзамен, который должны сдать все выпускники в штате Джорджия?
а. Глазной экзамен
б. Экзамен вкуса овсянки
в. Экзамен контроля жуков
г. Выпускной экзамен Джорджии
Кто, по вашему мнению, является самым лучшим помощником тренера в Первом дивизионе?
а. Рон Джирса
б. Джон Пелфри
в. Джим Хэррик младший
г. Стив Войцеховски
Если вас поставил в тупик последний вопрос, то вам будет полезно узнать, что “Тренерские принципы” преподавал Джим Хэррик младший, помощник тренера университетской баскетбольной команды. Вам может быть также интересно, что его отец, Джим Хэррик старший, был главным тренером по баскетболу в университете. Неудивительно, что “Тренерские принципы” были любимым курсом среди игроков команды Хэрриков. [7] Все студенты получали только высшие баллы. Правда, вскоре после проведенных исследований оба Хэррика были освобождены от своих обязанностей.
Итак, допустим, вы потрясены действиями школьных учителей Чикаго и преподавателей Университета Джорджии, которые должны были бы сеять разумное, доброе, вечное. Тогда вас наверняка обеспокоит мысль о возможности обмана среди борцов сумо. [8] Ведь для Японии сумо — это не только национальный спорт, но и отражение религии страны, ее военных и исторических традиций. Благодаря своим ритуалам очищения и благородным корням сумо является, по сути, священным видом спорта, чего нельзя сказать ни об одном американском виде спорта. К сожалению, далее пойдет речь не столько о соревновании, сколько о чести как таковой.
Правда в том, что спорт и обман всегда идут рука об руку. Ведь мошенничество гораздо чаще встречается там, где жизнь бьет ключом (например, где проходит граница между победой и поражением), чем там, где все спокойно. Олимпийские спринтеры и тяжелоатлеты, велосипедисты “Тур де Франс”, футболисты и бейсболисты — все они рано или поздно принимают различные пилюли и порошки. Это называется допинг, который спортсмены считают просто необходимым для того, чтобы превзойти соперников. Существует также огромное количество трюков, которые используются непосредственно во время соревнований. Причем жульничают далеко не одни только спортсмены. Коварные бейсбольные менеджеры пытаются украсть талисманы и опознавательные знаки соперников. Во время соревнований по фигурному катанию на Зимней Олимпиаде 2002 года французский и русский судьи были пойманы на попытке подтасовать голоса в пользу своих фигуристов. (Организатором этого был назван известный российский мафиозо Алимжан Токтахунов, подозреваемый в совершении нескольких преступлений в Москве.)
Спортсмена, пойманного на мошенничестве, обычно клеймят позором, но большинство фанатов хотя бы понимают мотив, который им двигал. Ведь он так хотел выиграть, что нарушил правила. (Как сказал однажды бейсболист Марк Грейс: “Если ты не обманываешь, то не делаешь попыток”.) В то же время спортсмен, который жульничает, чтобы проиграть, попадает на дно спортивного ада. В 1919 году чикагская команда White Sox (“Белые носки”) договорилась с букмекерами проиграть чемпионат США по бейсболу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
Теперь давайте рассмотрим ответы, которые дали ученики двух шестых классов школ Чикаго на вопросы идентичного теста по математике. Каждая строка представляет ответы одного ученика. Буквы a, b, c и d обозначают правильные ответы, а цифрами отмечены неправильные, причем 1 соответствует а, 2 — b и так далее. Нуль обозначает отсутствие ответа. В одном из этих классов учительница явно жульничала, а в другом — нет. Попробуйте определить мошенничество сами, но хотим сразу предупредить, что сделать это невооруженным глазом не так уж просто.
Класс А
112a4a342cb214d0001acd24a3a12dadbcb4a0000000
d4a2341cacbddad3142a2344a2ac23421c00adb4b3cb
1b2a34d4ac42d23b141acd24a3a12dadbcb4a2134141
dbaab3dcacb1dadbc42ac2cc31012dadbcb4adb40000
d12443d43232d32323c213c22d2c23234c332db4b300
db2abad1acbdda212b1acd24a3a12dadbcb400000000
d4aab2124cbddadbcb1a42cca3412dadbcb423144bc1
1b33b4d4a2b1dadbc3ca22c000000000000000000000
d43a3a24acb1d32b412acd24a3a12dadbcb422143bc0
313a3ad1ac3d2a23431223c000012dadbcb400000000
db2a33dcacbd32d313c211423 23cc30000000000000
d43ab4d1ac3dd43421240d24a3a12dadbcb400000000
db223a24acb11a3b24cacd12a241cdadbcb4adb4b300
db4abadcacb1dad3141ac212a3a1c3a144ba2db41b43
1142340c2cbddadb4b1acd24a3a12dadbcb43d133bc4
214ab4dc4cbdd31b1b2213c4ad412dadbcb4adb00000
1423b4d4a23d24131413234123a243a2413a21441343
3b3ab4d14c3d2ad4cbcac1c003a12dadbcb4adb40000
dba2ba21ac3d2ad3c4c4cd40a3a12dadbcb400000000
d122ba2cacbd1a13211a2d02a2412d0dbcb4adb4b3c0
144a3adc4cbddadbcbc2c2cc43a12dadbcb4211ab343
d43aba3cacbddadbcbca42c2a3212dadbcb42344b3cb
Класс Б
db3a431422bd131b4413cd422a1acda332342d3ab4c4
d1aa1a11acb2d3dbc1ca22c23242c3a142b3adb243c1
d42a12d2a4b1d32b21ca2312a3411d00000000000000
3b2a34344c32d21b1123cdc000000000000000000000
34aabad12cbdd3d4c1ca112cad2ccd00000000000000
d33a3431a2b2d2d44b2acd2cad2c2223b40000000000
23aa32d2a1bd2431141342c13d212d233c34a3b3b000
d32234d4a1bdd23b242a22c2a1a1cda2b1baa33a0000
d3aab23c4cbddadb23c322c2a222223232b443b24bc3
d13a14313c31d42b14c421c42332cd2242b3433a3343
d13a3ad122b1da2b11242dc1a3a12100000000000000
d12a3ad1a13d23d3cb2a21ccada24d2131b440000000
314a133c4cbd142141ca424cad34c122413223ba4b40
d42a3adcacbddadbc42ac2c2ada2cda341baa3b24321
db1134dc2cb2dadb24c412c1ada2c3a341ba20000000
d1341431acbddad3c4c213412da22d3d1132a1344b1b
1ba41a21a1b2dadb24ca22c1ada2cd32413200000000
dbaa33d2a2bddadbcbca11c2a2accda1b2ba20000000
Если вы уже сами догадались, что руководство школы обманывала учительница класса А, то примите наши поздравления. А теперь еще раз рассмотрим ответы учеников после того, как компьютер применил алгоритм мошенничества и провел поиск подозрительных конструкций.
Класс А
(С ПРИМЕНЕНИЕМ АЛГОРИТМА МОШЕННИЧЕСТВА)
1. 112a4a342cb214d0001acd24a3a12dadbcb4a0000000
2. 1b2a34d4ac42d23b141acd24a3a12dadbcb4a2134141
3. db2abad1acbdda212b1acd24a3a12dadbcb400000000
4. d43a3a24acb1d32b412acd24a3a12dadbcb422143bc0
5. d43ab4d1ac3dd43421240d24a3a12dadbcb400000000
6. 1142340c2cbddadb4b1acd24a3a12dadbcb43d133bc4
7. dba2ba21ac3d2ad3c4c4cd40a3a12dadbcb400000000
8. 144a3adc4cbddadbcbc2c2cc43a12dadbcb4211ab343
9. 3b3ab4d14c3d2ad4cbcac1c003a12dadbcb4adb40000
10. d43aba3cacbddadbcbca42c2a3212dadbcb42344b3cb
11. 214ab4dc4cbdd31b1b2213c4ad412dadbcb4adb00000
12. 313a3ad1ac3d2a23431223c000012dadbcb400000000
13. d4aab2124cbddadbcb1a42cca3412dadbcb423134bc1
14. dbaab3dcacb1dadbc42ac2cc31012dadbcb4adb40000
15. db223a24acb11a3b24cacd12a241cdadbcb4adb4b300
16. d122ba2cacbd1a13211a2d02a2412d0dbcb4adb4b3c0
17. 1423b4d4a23d24131413234123a243a2413a21441343
18. db4abadcacb1dad3141ac212a3a1c3a144ba2db41b43
19. db2a33dcacbd32d313c21142323cc300000000000000
20. 1b33b4d4a2b1dadbc3ca22c000000000000000000000
21. d12443d43232d32323c213c22d2c23234c332db4b300
22. d4a2341cacbddad3142a2344a2ac23421c00adb4b3cb
Обратите особое внимание на ответы, выделенные жирным шрифтом. Могли ли пятнадцать из двадцати двух учеников умудриться дать шесть одинаковых правильных ответов подряд (d-a-d-b-c-b) сами по себе?
Есть, по меньшей мере, четыре причины, по которым это маловероятно. Первая: эти вопросы расположены в конце теста и сложнее предыдущих. Вторая: эти ученики не были даже хорошистами и едва ли могли дать шесть правильных ответов даже на простые вопросы, не то что на сложные. Третья: до этого момента в тесте ответы пятнадцати учеников почти не совпадали. Четвертая: трое из этих учеников (номера 1, 9 и 12) оставили без ответа минимум один вопрос перед подозрительным рядом, а закончили тест еще рядом пулей. Это указывает на то, что длинная непрерывная цепочка пропусков была прервана не учениками, а учительницей.
Есть и другая странность в этих ответах. В девяти из пятнадцати тестов перед правильными ответами шла другая одинаковая цепочка 3-а—1—2, которая включала три неправильных ответа. А во всех пятнадцати тестах после шести правильных ответов следовал один и тот же неправильный ответ 4. Почему же учительница озаботилась тем, чтобы подправить тесты учеников и вставить в них неправильные ответы?
Вероятно, в том была ее стратегия. В случае, если бы ее поймали и отвели в кабинет директора, она могла указать на неправильные ответы как на доказательство своей невиновности. А может быть — что вполне вероятно — она просто не знала правильных ответов сама. (В тестах на стандартизацию учителям обычно не дают ключа с ответами.) Если это так, то становится ясно, почему ее ученики нуждались в подделке результатов: у них просто была плохая учительница.
Еще одним доказательством обмана этой учительницы является общий результат класса А. Шестиклассники, которым дали тест на восьмом месяце учебного года, должны были бы выдать средний балл примерно 6,8, что соответствовало бы норме по стране. (Ученики пятого класса на восьмом месяце обучения должны были набрать 5,8, седьмого — 7,8 и т.д.) Ученики же класса А получили средний балл только 5,8, что на одну целую ниже, чем должны были. Это ясно показывает, что они плохо учились (или их плохо учили). Однако годом ранее они показали еще худший результат, получив за тест в пятом классе средний балл 4,1. Вместо того чтобы улучшить показатели на одну целую в шестом классе, как можно было ожидать, они улучшили их на 1,7 — почти на две целых. Но этот потрясающий скачок был кратковременным и весьма подозрительным. Когда эти ученики перешли в седьмой класс, они показали средний балл 5,5 — более чем на две целых ниже нормы и даже хуже, чем в шестом классе. Давайте теперь рассмотрим различия в результатах трех отдельных учеников класса А:
Балл 5-го класса Балл б-го класса Балл 7-го класса
Ученик 3 3 6,5 5,1
Ученик 6 3,6 6,3 4,9
Ученик 14 3,8 7,1 5,6
Между тем баллы, полученные за эти три года учениками класса Б, также были плохими, но, по крайней мере, указывали на их честные усилия: 4,2, 5,1 и 6,0. Таким образом, либо ученики класса А резко поумнели, а через год так же резко поглупели, либо их учительница немножко поколдовала своим карандашом. Как вы думаете, что более вероятно?
Есть два заслуживающих внимания момента, которые касаются отношения детей из класса А к мошенничеству как таковому. Во-первых, от результатов теста зависело, перейдут ли они в следующий класс или же останутся на второй год. А во-вторых, их ожидало огромное потрясение в седьмом классе. Они думали только о том, что благополучно продолжили учиться лишь благодаря результатам своих тестов. (Действительно, ни один ученик не был оставлен на второй год.) Это не они искусственно завысили показатели. Но они ожидали высоких результатов в седьмом классе и были горько разочарованы. Это, пожалуй, является самой неприятной стороной итогового тестирования. Учитель может сколько угодно говорить себе, что помогает ученикам, но на самом деле он делает им только хуже, поскольку гораздо больше беспокоится о себе.
Анализ всех данных по Чикаго обнаружил факты мошенничества учителей в более чем двухстах классах ежегодно, что дает примерно 5% от общей цифры. И это по скромным подсчетам, поскольку алгоритм позволил определить только самый грубый обман, когда учителя систематически подменяли ответы учеников. К сожалению, более изощренные формы нарушений он доказать не мог. Однако при недавнем опросе учителей Северной Каролины 35% респондентов сказали, что были свидетелями мошенничества их коллег в той или иной форме. Например, оно проявлялось в предоставлении ученикам дополнительного времени на тест, подсказывании ответов и их фальсификации [6.2].
Каковы же общие приметы такого мошенника? Собранные в школах Чикаго данные свидетельствуют, что к обману почти в равной степени склонны и мужчины, и женщины. Как правило, нечестную игру ведут более молодые и менее квалифицированные учителя. Причем, как правило, они начинают обманывать после смены своих стимулов. Поскольку чикагские исследования охватывают период с 1993 по 2000 год, в них упоминается введение итогового тестирования в 1996-м. Нетрудно догадаться, что главный пик мошенничества пришелся именно на этот год. И обман был в школах совсем не редким явлением. Наиболее к нему были склонны учителя самых слабых классов. Следует также отметить, что премию в двадцать пять тысяч долларов для учителей Калифорнии со временем отменили, частично из-за подозрений, что деньги идут мошенникам.
Впрочем, не все результаты чикагского анализа свидетельствовали о нарушениях. Помимо выявления обмана, алгоритм позволял также определить лучших учителей. Ведь влияние хорошего учителя было почти так же заметно, как и влияние мошенника. Вместо отдельных правильных ответов его ученики демонстрировали реальное улучшение знаний по тем вопросам, в которых ранее “плавали”. Кроме того, ученики хорошего учителя не теряли, а только набирали темпы освоение наук в следующем классе.
Большинство академических аналитических отчетов подобного рода имеют свойство тихо пылиться непрочтенными на дальних полках библиотек. Но в начале 2002 года с авторами исследований связался новый директор общественных школ Чикаго Арни Дункан. Он вовсе не хотел оспорить сделанные ими открытия или заставить их умолкнуть. Скорее, он желал убедиться, что учителя, определенные алгоритмом как мошенники, действительно вели себя нечестно, и дать делу ход.
Дункан был отнюдь не типичным человеком на этой должности. Ему было всего тридцать шесть лет, ранее он преподавал в Гарварде и даже профессионально играл в баскетбол в Австралии. До того как возглавить общественные школы Чикаго, он сотрудничал с ними только три года, ни разу не занимая достаточно серьезную должность, чтобы иметь собственного секретаря. Между тем Дункан вырос в Чикаго. Его отец преподавал психологию в местном университете, а мать на протяжении сорока лет бесплатно занималась после школы с детьми бедных соседей. Когда Арни был маленьким мальчиком, его товарищами по играм были отпрыски малообеспеченных семей. Поэтому, когда он возглавил общественные школы, его симпатии были больше на стороне учеников и их родителей, чем учителей и их профсоюза [6.3].
Дункан решил, что оптимальным способом избавиться от мошенников среди учителей будет повторное проведение тестов. Однако у него были ресурсы, чтобы протестировать заново только сто двадцать классов, а потому он попросил создателей алгоритма помочь ему с выбором.
Каким образом можно было использовать эти тесты с максимальной эффективностью? Казалось, разумнее было бы перепроверить только те классы, которые вызывали подозрение. Но даже если бы новые результаты были ниже, учителя могли заявить, что дети просто работали хуже, так как им сказали, что тесты не повлияют на их судьбу. И к этому заявлению было бы трудно придраться, поскольку все ученики действительно знали, что им нечего бояться. Чтобы сделать результаты повторной проверки убедительными, необходимо было привлечь несколько честных учителей в качестве контрольной группы. Но кто мог войти в такую группу? Ответ очень прост: учителя тех классов, в которых, как определил алгоритм, баллы учеников были получены справедливо. Если бы успеваемость в их классах осталась на том же уровне, а ученики подозреваемых учителей провалили тест, не могло бы быть никаких отговорок. Уж тогда бы мошенники не могли сказать, что их ученики отвечали хуже потому, что их ответы ни на что не влияли.
Итак, все было готово. Более половины из 120 классов, которым предстояла повторная проверка, входили в число тех, чьи учителя подозревались в мошенничестве. Остальные представляли собой классы, высокие результаты учеников которых не вызывали сомнений, и, для большей уверенности, посредственные классы, также свободные от подозрений.
Повторный тест провели через несколько недель после исходного. Ни детям, ни учителям его истинную причину не объяснили. Впрочем, последние могли догадаться и сами, когда было объявлено, что проводить тест будут представители общественных школ Чикаго. Учителей при этом попросили побыть в кабинетах вместе со своими учениками, но даже близко не подходить к листочкам с ответами.
Результаты оказались именно такими, как предсказывал алгоритм мошенничества. В классах, выбранных для контроля, где не подозревался обман, средний балл почти не изменился, а то и стал выше. Зато те ученики, чьих учителей подозревали в мошенничестве, получили баллы гораздо ниже — более чем на один балл.
Это привело к тому, что общественные школы Чикаго постепенно начали увольнять учителей, пойманных на жульничестве. Конечно, доказательств хватило только на то, чтобы избавиться от дюжины мошенников, зато остальные получили серьезное предупреждение. Главным результатом чикагского исследования стало отличное подтверждение силы стимулов: на следующий год количество случаев мошенничества в школах сократилось более чем на треть.
Вы можете подумать, что, чем старше классы, тем более изощренно работают в них мошенники. Однако эту мысль опровергает исследование, проведенное осенью 2001 года в Университете Джорджии. Объектом его был итоговый тест по курсу “Тренерские принципы и стратегии в баскетболе”, который включал двадцать вопросов. Среди них были такие:
Сколько половин в матче баскетбольной команды колледжа?
а. 1 б. 2 в. 3 г. 4
Сколько очков приносит трехочковый бросок в баскетболе?
а. 1 б. 2 в. З г. 4
Как называется экзамен, который должны сдать все выпускники в штате Джорджия?
а. Глазной экзамен
б. Экзамен вкуса овсянки
в. Экзамен контроля жуков
г. Выпускной экзамен Джорджии
Кто, по вашему мнению, является самым лучшим помощником тренера в Первом дивизионе?
а. Рон Джирса
б. Джон Пелфри
в. Джим Хэррик младший
г. Стив Войцеховски
Если вас поставил в тупик последний вопрос, то вам будет полезно узнать, что “Тренерские принципы” преподавал Джим Хэррик младший, помощник тренера университетской баскетбольной команды. Вам может быть также интересно, что его отец, Джим Хэррик старший, был главным тренером по баскетболу в университете. Неудивительно, что “Тренерские принципы” были любимым курсом среди игроков команды Хэрриков. [7] Все студенты получали только высшие баллы. Правда, вскоре после проведенных исследований оба Хэррика были освобождены от своих обязанностей.
Итак, допустим, вы потрясены действиями школьных учителей Чикаго и преподавателей Университета Джорджии, которые должны были бы сеять разумное, доброе, вечное. Тогда вас наверняка обеспокоит мысль о возможности обмана среди борцов сумо. [8] Ведь для Японии сумо — это не только национальный спорт, но и отражение религии страны, ее военных и исторических традиций. Благодаря своим ритуалам очищения и благородным корням сумо является, по сути, священным видом спорта, чего нельзя сказать ни об одном американском виде спорта. К сожалению, далее пойдет речь не столько о соревновании, сколько о чести как таковой.
Правда в том, что спорт и обман всегда идут рука об руку. Ведь мошенничество гораздо чаще встречается там, где жизнь бьет ключом (например, где проходит граница между победой и поражением), чем там, где все спокойно. Олимпийские спринтеры и тяжелоатлеты, велосипедисты “Тур де Франс”, футболисты и бейсболисты — все они рано или поздно принимают различные пилюли и порошки. Это называется допинг, который спортсмены считают просто необходимым для того, чтобы превзойти соперников. Существует также огромное количество трюков, которые используются непосредственно во время соревнований. Причем жульничают далеко не одни только спортсмены. Коварные бейсбольные менеджеры пытаются украсть талисманы и опознавательные знаки соперников. Во время соревнований по фигурному катанию на Зимней Олимпиаде 2002 года французский и русский судьи были пойманы на попытке подтасовать голоса в пользу своих фигуристов. (Организатором этого был назван известный российский мафиозо Алимжан Токтахунов, подозреваемый в совершении нескольких преступлений в Москве.)
Спортсмена, пойманного на мошенничестве, обычно клеймят позором, но большинство фанатов хотя бы понимают мотив, который им двигал. Ведь он так хотел выиграть, что нарушил правила. (Как сказал однажды бейсболист Марк Грейс: “Если ты не обманываешь, то не делаешь попыток”.) В то же время спортсмен, который жульничает, чтобы проиграть, попадает на дно спортивного ада. В 1919 году чикагская команда White Sox (“Белые носки”) договорилась с букмекерами проиграть чемпионат США по бейсболу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28