Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых

Проблемы адаптивного тестирования

и адаптации тестов к национальным

и личностным особенностям тестируемых

Румянцева Н.М.

При формирования мирового образования (образование пере­стает быть внутренним делом отдельной страны) необходимо вырабо­тать единые стратегии в оценке качества образовательных услуг. Сис­тема оценивания знаний и умений, имеющаяся в каждой стране, уже не является статичной, замкнутой в себе самой. Однако реформирова­ние системы образования невозможно без реформирования системы оценивания, контроля качества образования.

Важное значение в настоящее время приобретает культура оценки и оценивания качества обучения. Оценивание - это процесс сбора и обработки действенной и надежной информации, которая позволяет участникам образовательного процесса принимать решения, необхо­димые для совершенствования работы и достижения лучших учебных результатов. Своеобразной базой данных для оценивания являются государст­венные стандарты, программы для преподавателя и для студента. Ме­ханизмами же контроля и оценки эффективности образовательного процесса становятся тесты.

Всем известно, что в настоящий момент в системе образования Рос­сии параллельно с традиционной системой оценки и контроля резуль­татов обучения сложилась новая парадигма - тестирование. Это вы­звано потребностью общества в получении независимой, объективной информации об учебных достижениях обучаемых.

Возросшие за последние десятилетия масштабы использования те­стов во многих странах мира привели к созданию компаний и служб, которые занимаются разработкой тестов, их распространением, орга­низацией массового тестирования, а также регулярным сбором ин­формации в целях мониторинга качества образования. Западные страны в настоящий момент значительно опережают российскую сис­тему тестирования по подготовке научных кадров, по уровню разви­тия теории тестовых методов, по технической и программно-вычис­лительной оснащенности процессов разработки, применения, обра­ботки и хранения тестовых заданий. Такая ситуация отставания противоречит тенденции достижения высокого качества отечествен­ного образования, хотя в последнее десятилетия наметились и пози­тивные изменения в этой области. К примеру, почти 10 лет функцио­нирует Российская государственная система тестирования по РКИ.

Стратегии и тактики совершенствования систем контроля. Уве­личение масштабов тестирования в образовании и разработка госу­дарственных образовательных стандартов порождают спектр проб­лем, условий и требований, которые нацелены на совершенствование систем контроля и оценки качества подготовки обучаемых, оценки са­мого процесса тестирования, повышения его эффективности путем адаптации в условиях немедленного реагирования на индивидуаль­ные особенности подготовки испытуемых.

Попытки привнести элементы адаптивности в процессы обучения и контроля насчитывают многолетнюю историю. В определенной сте­пени можно считать, что основные установочные идеи адаптивности берут свое начало в учении великого чешского педагога-мыслителя Яна Амоса Коменского. Разрабатывая новые формы и методы обуче­ния, ученый пришел к выводу о приоритете тех учебных заданий, которые отвечают природным возможностям детей, утверждая тем са­мым необходимость посильных заданий, стимулирующих успехи в обучении. В последующие десятилетия идеи Я.А.Коменского поддер­живались в разных формах обучения большим количеством педаго­гов, в числе которых были и русские: К.Д.Ушинский, Л.Н.Толстой и многие другие, которые видели возможность оптимизации обучения и контроля каждого из учеников во введении различных игровых форм обучения, в активизации самообучения и самоконтроля, в изу­чении психологических особенностей личности каждого обучаемо­го. Таким образом, уже в конце XIX - начале XX веков в педагогике прослеживается установка на учет индивидуальных особенностей обучаемых, на развитие их самостоятельного и творческого отно­шения к учению, предоставление им возможности проявления сво­их склонностей. Говоря современным языком, можно утверждать, что в указанный период были заложены первые фундаментальные идеи адаптивного обучения и контроля. Правда, получить должную реали­зацию в то время эти идеи не смогли.

Позднее, в 20-е годы XX века, когда в образовательной системе нашей страны наблюдался период критики формализма и схоласти­ки, оставшихся в наследство от дореволюционной школы России, идеи развития творческой самостоятельности обучаемых, самоконт­роля результатов учебной деятельности получили широкое распро­странение.

К числу первых советских педагогов, видевших перспективу разви­тия образовательного процесса не в отказе от контроля, не в искусст­венном преобразовании личности обучаемого, а в повышенном внима­нии к индивидуально-психологическим особенностям учащихся, мож­но отнести С.Т.Шацкого и П.П.Блонского. Они полагали, что важнее всего создать деловые отношения между учителем и учеником, кото­рые возникают при выполнении заданий трудных, но посильных для обучаемых. Задача педагога, следовательно, состояла в том, чтобы отобрать эти трудные, но посильные задания, которые способствуют установлению атмосферы сотрудничества в процессе обучения и контроля.

В наши дни она оформилась в виде основополагающих идей адап­тивного обучения и контроля, где адаптивность достигается путем от­бора оптимальных по трудности заданий для обучения и контроля ре­зультатов учебной деятельности учеников или студентов.

В этой связи возникает серьезная проблема методологического ха­рактера. Она связана с теоретическим обоснованием специальных ме­тодов для выделения оптимальных по трудности заданий при органи­зации контроля и обучения каждого ученика или студента. Решение проблемы предполагает поиски ответов на ряд вопросов, среди кото­рых главным является установление связи между уровнем подготов­ленности обучаемых и характеристиками заданий, выделяемых для эффективной организации контроля и обучения каждого ученика или студента.

Ситуация в области адаптивного тестирования. М.Б.Челышкова, известный ученый в области педагогических измерений и оценки зна­ний учащихся, провела анализ многочисленных работ отечественных и зарубежных исследователей в области тестирования и пришла к выво­ду о том, что в настоящий момент отсутствуют значимые результаты по установлению связи между уровнем подготовленности обучаемых и ха­рактеристиками знаний, выделяемых для эффективной организации адаптивного обучения. В своих исследованиях М.Б.Челышкова пишет о том, что если обратиться к практике, то также можно проследить от­рицательную тенденцию, которая заключается в доминирующей об­щей направленности традиционных процессов обучения и контроля на какого-то «среднего обучаемого», отсутствующего в реальной жиз­ни. Общеизвестно, что все обучаемые разные. Поэтому тенденция на «усредненность» приводит к тому, что у части более сильных учащих­ся не возникает стимулов для получения новых знаний и их развития. Другая часть обучаемых, у которых более низкий уровень подготовки, оказывается не в состоянии овладеть новыми знаниями даже с помо­щью преподавателя (Челышкова М.Б., 2001, с. 10-15).

Можно отметить, что в последние годы в практике образования складывается ситуация, под влиянием которой традиционное тести­рование, осуществляемое с помощью стандартизированных тестов, постепенно перерастает в современные, более эффективные формы адаптивного тестирования, которые основываются на отличных от традиционного теоретико-методологических основах и иных техно­логиях конструирования и предъявления тестов.

В нашей стране теоретические исследования по проблемам адаптив­ного тестирования представлены еще явно недостаточно. Назовем име-На
Нек
оторых ученых, работающих в этом направлении: Абрамян Г.В.,Аванесов B.C., Нардюжев В.И., Челышкова М.Б., Шмелев А.Г. За рубе­жом с начала 90-х годов адаптивное тестирование получило широкое применение в сфере практики. Однако можно отметить, что в отечест­венных и зарубежных научных работах по данной проблематике еще слабо представлены вопросы классификации адаптивного тестирова­ния, его функции, теоретические вопросы адаптивного обучения и адаптивного тестового контроля.

Очевидно, что в настоящее время проблема адаптивных тестов чрезвычайно актуальна. У истоков адаптивного тестирования лежа­ло стремление к повышению эффективности тестовых измерений, что, как правило, связывалось с уменьшением числа заданий, вре­мени, стоимости тестирования и с повышением точности оценок, полученных испытуемыми по результатам выполнения теста. Исс­ледователи видели возможность повышения эффективности в адап­тации тестов, трудность которых учитывала диапазон подготовлен­ности тестируемых.

Мы в полной мере согласны с нашей американской коллегой Бетти Ливер (Ливер Б., 2001), которая считает, что адаптивным должно быть не только тестирование, но и сам процесс преподавания. В своем иссле­довании на эту тему она подчеркивает, что в процессе обучения надо постоянно думать о том, что есть учащиеся-синтетики, а есть аналити­ки; встречаются в группе импульсивные и рефлексирующие студенты; необходимо помнить о том, что индуктивных учащихся, например, уто­мляют объяснение преподавателя и расстраивает необходимость си­деть в течение длительного времени, слушая рассказ учителя и не имея возможности попробовать сделать это самим. Дедуктивные учащиеся живут правилами, любят слушать объяснения преподавателя. Не стоит ожидать, пишет Б.Ливер, от учащихся с доминированием правого полу­шария, что они будут контролировать правильность своей речи на ино­странном языке, так как они этого не делают и на родном языке. Виды деятельности и тесты, основанные на внутреннем контроле, будут вы­полняться такими учащимися очень плохо. Учащиеся с доминировани­ем левого полушария, напротив, слишком контролируют свою речь, и попытки вовлечь их в беседу, особенно на первых этапах изучения ино­странного языка, редко имеют успех.

Поэтому часто результаты стандартизированных классических те­стов дают неверное представление о том, что учащийся знает или что он умеет делать.

Учитывая учебные стили учащихся, преподаватели могут создать собственные адаптивные тесты, дающие гораздо больше информации о способностях и знаниях учащихся, чем тесты стандартизированные.

Так, тесты с открытыми вопросами, утверждает Б.Ливер, дают обучаемым синтетического типа возможность проявить свои творче­ские способности и способности к синтезу. Тесты на решение опреде­ленных задач позволяют учащимся-аналитикам применять свои спо­собности к анализу. Письменные тесты дают достоверные результаты как для учащихся визуального типа, так и для обучаемых кинетиче­ского типа, а визуальные тесты, безусловно, лучше применимы для учащихся визуального типа. Импульсивные студенты хорошо справ­ляются с традиционными

тестами с ограниченным сроком выполне­ния; рефлексирующим студентам потребуются тесты, в которых не за­дан лимит времени. Для учащихся синтетического типа трудны тесты с возможностью множественного выбора вариантов ответа. Студен­ты-аналитики, считает Б.Ливер, выигрывают от тех видов деятельно­сти, которые позволяют им углубиться в детали, проанализировать, сделать вывод. Таким образом, из сказанного выше следует, что аме­риканские ученые активно используют данные психологии в обуче­нии и оценке знаний и умений учащихся.

Назовем факторы, формирующие, на наш взгляд, нынешнюю ситу­ацию в сфере адаптивного тестирования в России и способствующие актуализации этого направления:

• в общем и высшем российском образовании происходит резкое расширение объема содержания образования: информатизация всех уровней образования, увеличение веса творческого аспекта в обуче­нии на всех этапах образования;

• очевиден и рост масштабов тестирования в образовательной си­стеме нашей страны, где за последние пять лет количество школьни­ков и студентов, прошедших через итоговое тестирование, возросло с 35 тысяч до 80 тысяч человек;

• разработка нового поколения государственных стандартов, в ча­стности по отдельным дисциплинам (имеем в виду РКИ), которые, в свою очередь, актуализировали проблему массовых измерений в от­ношении уровня и качества подготовки учащихся. Создание же государственных образовательных стандартов связывается, как нам кажется, с проблемой конкурентоспособности будущего специалиста, который должен обладать многоплановой, многоуровневой и многоаспектной компетенцией, в том числе в области иностранного языка и русского языка как иностранного.

Тестирование, проводившееся русистами-практиками в течение по­следних лет в Российском университете дружбы народов (ежегодно при переходе с одной образовательной ступени на другую тестируется свыше 200 человек) показало, что, следуя принципам российской мето­дики преподавания РКИ с ее личностно-ориентированным подходом к обучению и для повышения качества тестового контроля, для придания тестированию динамики необходимо учитывать индивидуальные осо­бенности как самих испытуемых, так и особенности их подготовки.

В этой связи одной из актуальных задач методики в последнее вре­мя стала задача репрезентативного охвата содержания контроля в те­стах по РКИ. Практика тестирования показывает, что требования, за­ложенные в государственных стандартах по русскому языку как ино­странному и в соответствующих им тестах нередко рассогласованы с реальными возможностями учащихся. Так, в Российском университе­те дружбы народов обучается большое количество студентов из стран Азии, Африки, Латинской Америки. Преподавателям-русистам хоро­шо известны особенности данных учащихся и связанные с этим труд­ности при обучении их русскому языку. Порой эти люди не умеют не только писать, но и читать на родном языке, плохо владеют умениями общения. Задача преподавателей русского языка на этапе предвузовской подготовки, как правило, перерастает из практической в образо­вательную. В силу этого достаточно сложно подготовить студентов из 160 стран мира, говорящих на 400 языках, к объективному и эффек­тивному контролю.

Безусловно, преподаватели-практики ищут пути повышения каче­ства подготовки учащихся, стараются предотвратить превращение обучения русскому языку в процесс подготовки к итоговому тестиро­ванию. С этой целью создаются серии адаптивных тестов, что позво­ляет учащимся привыкнуть к новым для большинства из них формам контроля, к новым заданиям открытой формы, в которых ставится за­дача для студента-иностранца по определенным параметрам органи­зовать свой ответ. Заметим, что иногда не всякий ответ носителя рус­ского языка соответствует в полной мере требованиям и параметрам, которые задаются в тестах для иностранных граждан.

Об учете в контроле национально-ориентированного содержа­ния обучения. Все более актуальной, на наш взгляд, становится проблема учета не стандартного, а национально-ориентированного со­держания образования и обучения русскому языку в зарубежных странах. В разных странах сложился разный опыт преподавания рус­ского языка, обусловленный особенностями образовательных систем зарубежных стран.

Наш анализ этой проблемы показал, что в так называемых восточ­ных методиках (используются в странах Азии: Китае, Японии, Вьет­наме и ряде других) обучение грамматике, лексике, чтению, письму превалирует над обучением устной речи. Допустим, что некоторые национальные «стереотипы» можно преодолеть за время интенсив­ной учебной нагрузки по языку на подготовительном факультете, учитывая также, что студент живет в языковой среде. А как быть со студентами, которые живут и обучаются у себя на родине, где прак­тика преподавания определяется образовательными нормами не страны изучаемого языка, а родной страны? В качестве примера при­ведем опыт тестирования, проведенного нами в Японии в универси­тете города Саппоро. Наши контакты, пусть очень короткие, показа­ли, что японцы - достаточно скромны, вежливы, тактичны, сдержан­ны. В их системе воспитания, которая складывалась веками, заложены такие традиции, как согласие с собеседником (обязатель­ное согласие), правило мягко высказывать собственную точку зре­ния, выслушивать мнение другого (японец старается выражать мне­ние коллектива). Очевидно, поэтому трудно далась студентам сдача теста с заданиями такого типа: «Возразите собеседнику», «Укорите
собеседника», «Выразите угрозу».
Менталитет японцев не позволяет давать речевому партнеру такие жесткие установки. Зарубежная пра­ктика тестирования показывает низкую эффективность таких зада­ний, как «Выразите восторг, восхищение чем-нибудь».
В Китае, Япо­нии, ряде других стран, где не принято выражать «бурные» эмоции, Речь человека (особенно при посторонних, особенно при иностран­цах, особенно в присутствии преподавателя) очень сдержанна и так­тична. Добиться реализации заложенной в тесте интенции такого рода довольно нелегко.

Сложно также вовлечь, например, арабского или индийского студента в диалог об их отношении к холодному оружию (материалы ти­повых тестов), т.е. о том, нужно или не нужно применять его в особых, критических случаях. Этого просто может и не быть в житейском опыте учащихся. Более того, мы хорошо знаем, что во многих странах мира продажа оружия запрещена. Как в таком случае преподавателю-тестору достичь результатов в контроле навыков и умений испытуемого?

Безусловно, для тестирования устной речи нужно тщательно под­бирать темы, характерные для национального менталитета, а не про­тиворечащие ему.

Адаптивное отношение к тестовому контролю выражается и в учете возрастных особенностей учащихся. Трудно объективно оце­нить умения в устной речи у учащегося по следующему заданию: «Вас заинтересовала реклама или объявление в газете, рассказываю­щее о том, как воспитывают детей в московском детском саду, так как вы хотите устроить своего ребенка в определенный детский сад. Позвоните по указанному в объявлении телефону и организуйте свой диалог на заданную тему».
Заметим, что, во-первых, не для всех ино­странных студентов ясно, что такое российский детский сад, во-вто­рых, на их родине устройство детей в детский сад предполагает часто совершенно иной набор вопросов, например, обязателен вопрос о стоимости этой услуги. Кроме того, встает вопрос - откуда студенту вообще знать о том, что спрашивают родители в таком случае. Наи­более находчивые испытуемые свое неумение организовать предпо­лагаемый диалог шутливо объясняли так: «Будь я отец, я бы не по те­лефону узнавал о том, где будет воспитываться мой сын или моя дочь, а поехал бы посмотреть на месте» (подобное «разрешение» во­проса было предложено тестируемыми из Японии и др.). К сожале­нию, в наших тестах встречаются такого рода «проблемные» для ис­пытуемого и преподавателя-тестора задания. Конечно, многие недо­четы заданий можно устранить, в частности, через ориентацию тестового материала не только на реалии России, но и на реалии тех стран, студенты (учащиеся) из которых проходят тестирование. Адаптация в данном случае подразумевает как основательную под­готовку учащихся, так и подготовку учебных и контрольных мате­риалов в плане соотнесения речевых и культурных традиций раз­ных стран. Тестирование, безусловно, должно быть адаптивным по своей национальной ориентации. Развитие же национально-ориен­тированных тестов и их внедрение в систему тестового контроля, на наш взгляд, призвано стать задачей недалекого будущего.

Таким образом, опыт тестирования по русскому языку как ино­странному учащихся разных национальностей, овладевающих языком как в России, в языковой среде, так и за рубежом, вне этой среды, убедительно подтверждает наш тезис о том, что тестирование по ино­странному языку непременно должно учитывать индивидуальные особенности учащихся, прежде всего их национальность, особенности менталитета, культурные и исторические традиции и т.д. В силу ука­занных причин тестовые материалы должны быть адаптивными.

Еще раз вернемся к разговору о совокупном объеме теста, как из­вестно, включающего 5 субтестов: по лексике и грамматике, по гово­рению, письму, чтению и аудированию. Мы подсчитали, что в неко­торых тестах число заданий, включая линейные, т.е. относящиеся к одному тексту или к одному из заданий (например, по говорению: 1) просмотрите фрагмент фильма; 2) опишите ситуацию; 3) дайте описание действующих лиц; 4) выразите собственную оценку про­исходящего и др.), объемно. Всегда ли эффективно достижение ка­чества проверки через увеличение количества заданий? Очевидно, что количество далеко не всегда измеряет качество. Поэтому говоря о проблеме адаптивного тестирования, мы имеем в виду, кроме про­чего и сказанного выше, проведение теоретико-практических иссле­дований по проблемам оптимизации процедуры тестирования. Под оптимизацией нами понимается такое построение уровневого кон­троля, когда меньшим числом заданий удается быстрее и точнее оценить уровень и качество подготовленности тестируемых. Дума­ется, что для решения этой проблемы потребуется еще немало уси­лий, а самое главное - тесное сотрудничество практиков-тесторов с теоретиками. У нас пока еще мало теоретиков новой для научного обоснования РКИ формы контроля. Возможно, руководство Голов­ного центра тестирования, РОПРЯЛ выступят с инициативой по­стоянных конференций, научных семинаров по вопросам теории лингводидактических тестов.

Подводя итог сказанному, позволим сформировать вывод-опреде­ление адаптивного тестирования. Итак, под адаптивным тестирова­нием нами понимается процесс подготовки к контролю в форме тес­товых методик через обучающие тесты градуированного (от простого к более сложному и уровневому) характера и собственно контроль, корректно учитывающий индивидуально-личностные, национально и культурно ориентированные особенности иностранных учащихся, ов­ладевающих русским языком в пределах и за пределами своей страны, в частности в среде изучаемого языка.