Про некоторые темы мы говорим: "Это больная тема". Это означает, что нам трудно или неприятно об этом говорить, что разговор связан с отрицательными эмоциями. Однако тема может быть, так сказать, больная и сама по себе. Как сказал бы, надув щеки, Спиноза, "causa sui", то есть по природе своей. Но тогда придется допустить, что может быть и тема, больная дважды. Ну так вот, перед нами такая тема. Оценки. Отметки. Баллы. Рейтинги... Ядовитый шуршащий синонимический ряд, который на наших глазах сжирает образование.
Вред от полезного
Главный тезис этой заметка -- в образовании оценки и рейтинги чаще всего вредны. Этот вред существенен, причем он увеличивается со временем, и это не осознается большинством. Не утверждаю, что баллы и рейтинги надо закопать и, как сформулировал Борис Виан, "плюнуть на их могилы". Однако если их применять, то осмысленно и с опаской, понимания, чем и почему они вредны и полезны.
Начнем с пользы; она состоит в объективности и упрощении коммуникации. Однако оценки объективны не всегда, а вот упрощение коммуникации есть всегда -- явление проще характеризовать одним числом, чем двумя или десятью. Особенно удобна эта простота человеку, который не понимает в существе дела, но хочет "решать" -- принимать в вуз или не принимать, брать деньги или не брать, платить или не платить стипендию и так далее. Но главное -- получать зарплату, удовольствие от управления процессом и от решения судеб. Расширение применения любого примитива создает рабочие места для тех, кто только с примитивом и умеет работать. Это уменьшает эффективность общества, а в перспективе понижает требования к образовательной системе. Данная связь работает медленнее и поэтому незаметнее, и это увеличивает ее опасность.
Еще один плюс оценок -- обратная связь. Человек должен получать из внешнего мира информацию о правильности своих действий, причем оптимальная реакция -- честная и быстрая. Но человек должен научиться сам оценивать свои действия. Поэтому сторонних оценок должно быть не слишком много. И почему внешняя оценка -- это именно цифра в должной клеточке? Ученики прекрасно понимают реакцию педагога и без оценок! Их этому научила жизнь, когда школа была еще за горизонтом.
Мне как-то высказали формальное возражение -- оценка по пяти- и десятибалльной системе действительно несет мало информации, но у студентов, у нас кроме оценок, есть рейтинги -- они с несколькими значащими цифрами! Простой вопрос -- а как вы определяете точность вашего четвертого знака? -- не дал продлиться дискуссии; а жаль... Изобретатели многозначных рейтингов умеют пользоваться виндусовским калькулятором ("обычным"), и даже понимают, что если в розетке чего-то 221, то это больше, чем 220. Однако у электрика данный тезис вызовет странную улыбку (про то, что там не 220, он тоже промолчит, чтобы не огорчать детей).
Отдельный вопрос -- так называемые рейтинги школ, которые применяются при дележке денег. Упрощенно говоря, школа, которая лучше, получает больше. Тут опять вопросы -- а почему не наоборот? Хорошая и так сумела, а той, что слабее, надо помогать. Далее, что значит "хорошая"? Никакие формальные критерии не дадут ответа на три простых вопроса -- хорошо ли в ней тем, кто учит, хорошо ли в ней тем, кто учится, и как насчет пользы для дальнейшей жизни? А ведь все это можно выяснить, причем социологи и психологи знают, как. Хотя последнее, насчет пользы для жизни, это сложнее, но мы помним, как умно сделал это когда-то фонд Сороса. Зря ему, кстати, нахамили -- вели бы себя умнее, по сей день можно было бы извлекать из него денежки -- и для образования, и лично для себя.
А есть еще способ определить "рейтинги" школ -- вообще бесплатный. Просто по количеству родителей, которые хотят, чтобы дети там учились. Частично и косвенно этот параметр учитывается -- через размер школ, а на самом деле его одного достаточно. Потому, что родителей не обманешь -- они и столовую посетят, и туалет, и с преподами поговорят, и с учениками во дворе, и со сторожем побалакают, и с охранником перетрут. Потому что это им важно.
Любую вещь должен оценивать тот, кому это важно. А не тот, кому важно оценивать.
Начинаются проблемы
Много знаков при отсутствии понимания точности -- лишь начало проблемы. Можно установить любые правила вычисления рейтингов и использования полученных результатов, можно использовать их для порки, раздачи печенюшек, определении платы за обучение, и вообще для чего угодно. Но мы хотим какой-то ясности, ждем, что на вопрос "почему вы вычисляете рейтинг именно так?" услышим что-то разумное. Напрасные надежды.
В ЕГЭ по некоторым предметам есть несколько классов задач, решение которых требует разных знаний и способностей. Так что было бы проще -- сделаем оценку многокомпонентной, "векторной", и не надо суммировать. Вуз сам разберется, какая компонента ему важнее. И как устанавливать правила приема -- два разных порога, или сумму с весами, или более сложный вариант.
Когда-то, много лет назад, в ФМШ МИЭМ входные экзамены принимались в два тура -- сначала 60 задач на час, а в другой день -- пять на три часа. На рисунке показаны данные за некоторые два года, по горизонтали -- балл за простые задачи, по вертикали -- за сложные. Каждая точка -- вы уже догадались -- один экзаменующийся. Корреляция есть, "ее не может не быть", но простым глазом видно, что она слабая, что это разные способности.
Разных задач, что по математике, что по физике -- немеряно. Даже при очень упрощенном, очень примитивном подходе, способностей, полезных для решения, видно минимум пять: увидеть знакомое, то есть уже преподанное; быстро применить; не упустив, перебрать варианты; поиметь сатори, озарение; долбить, грызть, и додавить. Профессиональные психологи назовут больше и поделят иначе. В любом случае на разных комбинациях параметров можно строить задачи разных типов, и их будет много. В разных видах деятельности -- и в жизни вообще, и в инженерии, и в науке -- могут потребоваться разные сочетания, иногда мы знаем, какие, иногда не знаем, и нет гарантии, что испытуемый будет заниматься в жизни чем-то одним. Так стоит ли все это суммировать?
В разных предметах оценки могут означать очень разное -- не только по набору способностей, но и, например, по вложенному труду. Студент не дурак, он разберется, как ему проще заработать рейтинг. Умение быстро сориентироваться и перехитрить разработчиков "рейтинга" -- полезное свойство. Но какое это имеет отношение к образованию? Вдобавок и с вложенным трудом тоже все не просто.
Эдисон и труд
Фразу про то, сколько в гении озарения, а сколько потения, приводят все, кому не лень, называя разные цифры. Если вас интересует, кто и что на самом деле сказал, то вам дорога к книге Константина Душенко "История знаменитых цитат". В плане рейтингов и баллов, важно следующее. Вложенный труд и старание мы, выставляя оценку, часто принимаем во внимание. А тогда немедленно возникает странный вопрос -- а с каким знаком его учитывать? Для большинства очевидно, что, если его и учитывать, то с плюсом. Трудился и старался -- добавим половинку балла... А, собственно, почему? В жизни, как правило, это не имеет значения, долго ли и сильно ли ты пыхтел, важно -- сделал ли. Повышая оценку "за старание" мы, во-первых, дезориентируем учащегося, а во-вторых, создаем соблазн вранья.
Если мы не предполагаем с этим человеком работать или учить его дальше, то сильно ли он трудился, нам не важно. А вот если предполагаем, то, может быть, и важно. Если он получил результат, не сильно трудясь -- знает этот материал и умеет решать задачи данного уровня. А если он сильно трудился, то знает и умеет хуже, но зато умеет "грызть". И это может оказаться важно при решении более сложных задач или при обучении более сложным вещам. Мы получили важную информацию об ученике. И, добавляя полбалла, мы поощряем не слишком умного, но старательного -- как будто считаем, что он всегда полезнее для общества. На самом деле, мы так не считаем; но заметьте, что именно скромный труженик удобен для управления. Случайное ли это совпадение?
Есть более справедливый, хотя и более трудоемкий путь. Дать задачу нормального (для конкретного этапа обучения) уровня и поставить оценку за решение. А если ученик с этой задачей хорошо справился, дать нечто более хитрое -- погрызть. Может быть, даже предупредив, что оценка, не самая высокая, но достойная -- уже заработана. И посмотреть, как товарищ отреагирует, поднимет ли перчатку, и если да -- то как будет барахтаться.
Когда нас в бывшем МИЭМе учили страшному предмету ТОЭ (Теоретические Основы Электротехники), рагу из закона Ома и интеграла Дюамеля, инкрустированного некорректно соединенными четырехполюсниками, преподаватели не интересовались нашими конспектами (в отличие от преподавателей марксизма-ленинизма), зато некоторым давали "еще задачку", а потом еще "еще задачку". Через несколько лет до меня дошло, почему они развлекались этим способом. Ну, а когда сам стал преподавать студентам, еще и понял, что конспект, политый кровью, не всегда имеет отношение к делу. В отличие от желания погрызть и готовности побарахтаться.
Рейтинги и психика
Есть люди, которые лучше работают в условиях экзамена и стресса, есть -- которые хуже. Есть стеснительные дети, которым трудно "показать лицом" свои знания и способности. Причем закукливание может произойти как раз тогда, когда преподаватель веселый и шумный -- а ему-то кажется, что раз аудитория гогочет, то все здорово! Так я вас огорчу. Однажды я спросил школьников (они были второй год мои, и резали правду-матку не дрогнувшей рукой; хотя все же лучше -- анонимно), вот что они ответили (в %):
Если школьники смеются, когда преподаватель шутит, то почему они смеются?
чаще всего потому, что им действительно смешно 56
чаще всего из вежливости 9
чаще всего потому, что смеются другие 9
чаще всего им смешно, что препод пытается шутить 20
иное (что именно) 6
А что касается вас лично - если вы смеетесь, то почему
чаще всего потому, что действительно смешно 76
чаще всего из вежливости 3
чаще всего потому, что смеются другие 7
чаще всего смешно, что препод пытается шутить 14
иное (что именно) 0
Обратите внимание на разницу экспертной оценки и рефлексии -- она характерна для людей вообще, в среднем мы думаем о себе лучше, чем о других. Исследовал ли кто-то эту разницу, ее зависимость от формальных параметров (пол, возраст, образование, доход и т. д.), и от области, в которой задается вопрос? Искренность смеха на занятии -- это же смешно, а ведь можно спросить про убить и спасти, украсть и одарить, солгать и сказать правду...
Так что прикажете делать со стрессами? Мы ведь не стрессоустойчивость хотим проверить, а знание сладкой парочки -- Джоуля и Ленца. Тут есть хорошее формальное возражение -- в жизни вообще полно стрессов, а не известно, у кого их больше -- у олигарха или у бомжа. В силу некоторой ограниченности жизненного опыта мне трудно сделать сравнение. Но в реальной учебной ситуации можно, -- если уж мы хотим как-то это учитывать -- разделить экзамен на письменный и устный, а устный -- на сдачу пожилому и знакомому преподу, причем после обеда, и молодому, чужому и голодному. Да и письменный можно сделать в два этапа с заведомо разным стрессом. И, разумеется, оценки смешивать, но не взбалтывать! То есть не суммировать. А психологи объяснят работодателю, на что именно в этом дипломе, сияющем разными оценками, как Млечный путь, важно для именно этой работы, именно в вашей чудесной фирме, именно на нашем замечательном бульдозере.
Экзамены вообще
Вопрос об оценках -- это часть вопроса об экзаменах. Как бы не был объективен и честен конкретный преподаватель вуза, но система, при которой оценивает работу тот, кто ее делал, любому инженеру покажется странной. На любом предприятии был ОТК, который формально подчинялся директору, но имел свои большие права, и был военпред, который (по моему опыту) хорошо знал производство, а на заводе не подчинялся вообще никому. А вот высшее образование живет именно так -- контролируя себя само. Инженер знает, что при создании какой-либо системы, он должен исходить из того материала, который может получить. Социальная систему должна быть рассчитана не на идеальных людей, а на реальных. Иначе не нужно было бы разделение властей на три (или четыре) ветви, не нужна была бы система сдержек и противовесов. Светлое царство коммунизма можно было бы построить к вечеру -- если бы люди были идеальными. А получилось, как всегда, причем по простой причине. Классиков марксизма-ленинизма плохо учили физике в школе, они не знали, что такое нормальное распределение.
Более сложные задачи на ЕГЭ по физике оцениваются двумя проверяющими независимо, каждый может поставить 0, 1, 2 и 3. Чтобы найти среднее значение и тем самым уменьшить максимальную возможную ошибку, надо -- школьник скажет, что надо. Поступили иначе -- при разности оценок на единицу принимается большая. Так проще, не будет лишних знаков, да и запятую сэкономим. Кстати, интересно, почему проверяющих двое? -- школьников мы учим, что измерение нужно делать три раза. На самом деле ситуация существенно сложнее, но хотели сделать, как проще.
При разности оценок два и больше задача проверяется третьим проверяющим, который считается более опытным. Интересно, кстати, как вообще определяется опыт проверяющих. Наверное, какая-то сложная экспертная оценка, ученые степени, опыт преподавания... А вот и нет, все опять проще. Качество проверяющих определяется по согласованности оценок, то есть чем меньше у данного проверяющего отклонений от оценок, поставленных другими, там лучше. То есть, упрощенно говоря, два неправильных вольтметра лучше, чем один правильный -- если неправильные врут одинаково. Такая система возникла потому, что оценка работы комиссии делается именно по количеству работ, поступивших на третью проверку. Опять же потому, что так проще.
На самом же деле лучшее решение -- когда любую работу оценивает тот, кто использует ее результаты. Потому что именно ему кровно важен достоверный результат. Выпускные в школе вообще не нужны, качество работы школы оценит работодатель, ссуз или вуз. Построить такую систему сложнее, но она будет давать осмысленный и социально востребованный результат. А качество работы вуза оценит работодатель, например, по зарплате принятых на работу выпускников через пять лет работы. И по их удовлетворенности работой и жизнью вообще. Сомнительно, что серьезные заказчики будут применять при приеме на работу шестизначные рейтинги, егэбаллы и портфолио с ГТО. Мне кажется, что они применят что-то другое.
Промежуточные экзамены в школе и промежуточные в вузе нужны только в случае, если по их результатам определяется, какие предметы будет дальше изучать персонаж, и проверять надо только те знания и умения, которые нужны для дальнейшего обучения. Особенно это важно, если в школе и вузе введена система многоуровневого изучения основных предметов (как, например, в Америке). Зачисление на каждый уровень должно определяться входным экзаменом по математике, языку преподавания и по предметам, знание которых необходимо для продолжения данного предмета на планируемом уровне.
Cпособы оценки "по последствиям" имеют два недостатка -- они дороги и результат получается не скоро. Однако и педагогу, и ученику бывает нужен способ дешевый и оперативный. Он может быть субъективный -- ощущение, личное мнение, и объективный. Субъективная оценка есть всегда, так уж мы устроены, и она тоже важна -- многие преподаватели, даже естественных наук, скажут, что важно не только, решил ли, но и как решал, и как решил. У гуманитариев это, наверное, еще существеннее, причем там с объективностью вообще напряженно. На верхних ступенях обучения и в естественных науках такое тоже может быть. Но это уже на пути к вершине, а на этапе более массового обучения хочется иметь объективную и быструю оценку со стороны -- хотя бы для того, чтобы понять на лекции или семинаре, "поняли ли они меня, или надо разжевать еще". Так что уничтожать все эти быстрые и простые методы контроля не надо. Но надо понимать, для чего мы их применяем и не расширять их применение -- даже соблазнившись их простотой.
Сегодня и завтра
Увлечение рейтингами и баллами преобразило существенную часть преподавания, превратив обучение основам предмета в натаскивание на определенные классы задач. Попутно оно переключило локус внимания родителей, а под их влиянием и части детей, с существа дела на фитюльки. С каким трепетным вниманием слушали они как-то раз мой треп на тему схемы оценки задач при проверке ЕГЭ. Ну на кой им все это, это ж попусту потраченные время! И вообще самому содержанию образования стало людьми уделяться меньше внимания, чем переводу сырых тестовых баллов в нормализованные. Некоторые видят в несчастной кусочно-линейной (причем мало кусочной) функции всемирный заговор.
Откуда вообще взялась эта страсть мериться достижениями -- детсадовская страсть у взрослых, вроде бы, людей? В журнале "Химия и жизнь" (1997, N 3) была опубликована статья Л.П.Малкова "Иррациональность самого рационального", ее можно добыть вот тут: https://www.nehudlit.ru/journals/detail1182190.html
В ней говорилось: "Это отголоски допотопных полумифических крестьянских представлений об ограниченности наличных благ. В этом случае: если кто-то богаче, так только за счет других". Возникает вопрос -- не является ли существенная часть человеческой культуры следствием ограниченности ресурсов? Следствием "ресурсного этапа" развития человечества? Этапа, к концу которого мы, кажется, идем? Мы -- в смысле человечество.
Недавно вышла интересная книга В.Л.Иноземцева "Экономика без догм. Как США создают новый экономический порядок". Вторая половина названия приделана ради кликабельности -- в книге нет утверждения, что именно Америка создает, чтобы закабалить и уничтожить. Зато в ней есть много-много цифр и несколько весьма интересных идей. Не уверен, что вы продеретесь через цифры, это еще те буераки, а две из этих идей вот. Первая -- ресурсный этап кончается, чем дальше, тем больше будут важны знания. Вторая -- человечество идет к индивидуальным услугам. Теперь спросим себя -- где и почему концентрируются знания? Наверное, там, где комфортно жить тем, кто их создает, то есть где государство исторически сложилось так, что оно поощряет инициативу, знания и труд. Где люди создают знания, индивидуальные услуги и индивидуальное потребление.
Конечно, не все потребности человека можно индивидуализировать. Но есть несколько областей, в которых индивидуализация возможна и явно напрашивается, например, индустрия развлечений. Индивидуализация возможна в существенной части сферы образования. Далее, большинство из нас пользуется компьютерами, и детище Билла Гейтса настраивает под себя, то есть индивидуализирует свой инструмент. А еще есть в медицине такое движение -- персонализированная медицина. Вот уж область, которая может потребить огромное количество знаний, причем из разных областей, прежде всего из биологии, химии и физики.
Возможно, что будущее действительно будет обществом знаний. Хотелось бы, чтобы образовательная система помогла обществу в движении именно в этом направлении.
