О.В. Сапронова
В статье рассматриваются проблемы создания и верификации компьютерного тестового комплекса для выявления теоретических знаний студентов профиля «Логопедия» в области дизартрии с целью определения их значимой части для формирования ключевых компетенций по данному предмету. В результате верификации заданий по трудности и адекватности было выявлено соответствие тестовых заданий поставленной задаче определения уровня теоретических знаний студентов.
Для реализации современных высокотехнологичных методик контроля качества результатов обучения и определения структуры знаний студентов в Московском социально-гуманитарном институте (МСГИ) широко применяется метод тестирования знаний студентов с помощью компьютерных тестовых комплексов.
Статистические параметры результатов тестирования могут стать основой для определения значимых характеристик структуры знаний: уровня, устойчивости и глубины, практической и теоретической направленности, а также успешности обучения и готовности к будущей практической работе. Эта проблема является актуальной и вызывает интерес исследователей: В.С. Аванесова, В.В. Борисовой, В.И. Васильева, Т.Н. Караушева, Т.А. Метельской, А.Н. Майорова, О.Г. Налбандяна, Е.В. Оганесяна, Л.В. Терентьевой, В.Ф. Тягуновой, М.Б. Челышковой и др.
Т.А. Метельская отмечает, что для того чтобы комплекс тестовых заданий являлся объективным и адекватным инструментом для определения уровня и структуры знаний студентов, он должен отвечать следующим условиям:
в соответствии с учебной программой дисциплины равномерно охватывать все разделы дисциплины;
обладать широким распределением заданий по степени трудности как по комплексу в целом, так и по каждому разделу изучаемой дисциплины;
обладать высокой степенью адекватности, то есть, результаты тестирования должны эффективно дифференцировать студентов по уровню знаний;
обладать высокой степенью устойчивости для выявления остаточных знаний студентов, и знаний, основанных не на механическом запоминании отдельных разрозненных фактов, а на глубоком целостном понимании предмета;
быть помехоустойчивым, то есть исключающим влияние вероятностного варианта тестирования;
обладать достаточным объемом, исключающим возможность «натаскивания», то есть механического запоминания заданий и вариантов ответов на задания;
быть достаточно разнообразным по форме заданий и формулировок, чтобы избежать быстрой утомляемости тестируемых.
обладать высокой степенью валидности, то есть результаты тестирования должны отражать именно те качества, умения и навыки студента, которые как необходимы для дальнейшего прогресса в обучении, так и характеризуют студента как будущего специалиста. Степень валидности теста определяется не только содержанием комплекса заданий, но и методикой обработки и анализа полученных результатов [6: с. 122-127].
Научно-методологической основой содержания компьютерного тестового комплекса по выявлению теоретической базы по дисциплине «Дизартрия» являются исследования ведущих специалистов в этой области логопедии и смежных наук, имеющих опыт как в теоретическом, так и практическом плане работы: Е.Ф. Архиповой, Л.О. Бадаляна, Е.Н. Винарской, Е.М. Мастюковой, О.В. Правдиной, О.Г. Приходько, К.А. Семеновой и др.
При составлении компьютерного тестового комплекса возникла необходимость уточнения данных о качестве знаний по ранее пройденным смежным дисциплинам. Для этого были проанализированы результаты тестирования по предметам «Невропатология», «Анатомия и физиология детского возраста», «Психология», «Введение в специальность», «Дислалия» и др. Выяснилось, что большинство студентов имеют положительную аттестацию по этим дисциплинам, что предполагает у них наличие определенного объема знаний, являющегося предваряющим базисом для изучения специального предмета «Дизартрия».
Данный компьютерный тестовый комплекс был создан для выявления базовых теоретических знаний по предмету, содержание которого было модифицировано в соответствии с последними требованиями к подготовке специалистов высшей школы в компетентностно-ориентированном пространстве современной педагогической парадигмы. Реальная парадигма специальной педагогики определяется системностью научного мышления, актуализацией максимального соединения и взаимопроникновения теории и практики изучаемого предмета.
Коллективом преподавателей НОЧУ ВПО МСГИ разработана инновационная модель обучения будущих учителей-логопедов в рамках преподавания дисциплины «Дизартрия». В свете компетентностно-ориентированного обучения студентов профессии «учитель-логопед» было значительно обогащено и переструктуировано содержание учебного материала, перемещен акцент на увеличение объема практических навыков и умений студентов по предмету и расширение междисциплинарных связей (особенно со стороны клинических основ дизартрии), предложен новый модульный подход к процедуре логопедического обследования лиц с дизартрическими расстройствами.
В структуру содержания дисциплины «Дизартрия» включено несколько блоков-модулей: теоретико-методологический блок; интеграционно-диагностический блок; модуль практических навыков и умений; блок логопедических технологий для дифференциальной диагностики и коррекции дизартри- ческих расстройств.
Особенностью научно-теоретического блока является расширение объема сведений, касающихся освещения не только дизартрии, но и стертой дизартрии и минимальных дизартрических расстройств. Подробное рассмотрение проблем легких дизартрических расстройств является актуальным, поскольку количество нуждающихся в логопедической помощи именно с легкими дизар- трическими расстройствами неуклонно растет.
Также в рамках теоретико-методологического блока освещаются и другие актуальные проблемы дизартрии:
изучение различных форм дизартрии с учетом нейро- и психолингвистического подходов;
совершенствование приемов нейропсихологической диагностики речи, высших психических функций и моторики у лиц с дизартрией;
разработка приемов ранней логопедической помощи детям с дизартри- ческими расстройствами;
совершенствование методов логопедической работы с детьми группы риска;
усиление взаимосвязи в работе невропатолога, логопеда и других специалистов;
разработка моделей коррекционно-логопедического воздействия на лиц с дизартрическими расстройствами, имеющими сложную структуру дефекта.
Теоретический модуль включает следующие направления: учение о дизартрии; специфика стёртых дизартрий и минимальных дизартрических расстройств; изучение системы коррекционно-логопедической работы при различных дизартрических расстройствах.
В процессе изучения предмета «Дизартрия» возникает необходимость контролировать уровень полученных студентами знаний, а также выяснить, сформировалась ли система научно-теоретических профессиональных представлений по предмету. Для выявления базовых теоретических знаний студентов по дизартрии и был создан компьютерный тестовый комплекс (КТК).
При разработке КТК изначально была сформулирована его цель — измерение учебных достижений студентов профиля «Логопедия» по дисциплине «Дизартрия».
Задачами КТК являются:
измерение учебных достижений студентов в области изучения дизартрии;
определение структуры теоретических знаний студентов по данному предмету.
Первоначально для создания тестовых заданий был определен круг учебного материала, по которому необходимо проконтролировать уровень сформированных знаний студентов по дизартрии. Далее были отобраны темы, включаемые в тестовый комплекс, и количество заданий по каждой теме. Затем создавались сами задания, при конструировании которых использовались четыре формы: открытая, закрытая, на соответствие, на упорядочение.
Анализ содержания КТК по выявлению теоретического базиса по дисциплине «Дизартрия» определил наличие в нем 250 вопросов по 12 темам, касающимся теоретического изучения дизартрии и смежных дисциплин учебного плана для студентов-логопедов. Разделы тестового комплекса определены следующей тематикой: научно-теоретические аспекты изучения дизартрии (25 вопросов); нейрофизиологические основы учения о дизартрии (22 вопроса); анатомо-физио- логические основы учения о дизартрии (20 вопросов); классификация дизартрий (17 вопросов); формы дизартрии (30 вопросов); диагностика дизартрии (24 вопроса); учение о произносительной стороне речи (11 вопросов); нарушения просодической стороны речи при дизартрии (11 вопросов); специфика логопедической работы при дизартрии (24 вопроса); состояние моторной сферы при дизартрии (11 вопросов); минимальные дизартрические расстройства (26 вопросов); дизартрия при ДЦП (29 вопросов). Значимость каждого раздела для понимания изучаемого предмета весьма велика, без какого-либо из перечисленных аспектов представление о дизартрии теряет целостность и становится неполным.
Ответы на вопросы тестового комплекса структурированы по трем типам: единственно верный ответ; несколько верных ответов; ввод ответа с клавиатуры (соотнесение правильности ответа).
В исследовании Т. А. Метельской выделяются две группы методов анализа заданий: экспертные и математические. «Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, то есть действительно ли задания позволяют измерить именно те знания, умения и навыки, для которых разрабатывается тест. После разработки и проведения экспертного анализа заданий получается первый вариант теста. Как правило, этот вариант бывает еще очень несовершенным. Чтобы повысить его качество, используются математические методы. Для применения этих методов нужен эмпирический материал — результаты реальной проверки (апробации) теста в студенческих группах. После тестирования осуществляется анализ тестовых заданий с использованием математических методов. Только после этого окончательно решается вопрос о включении того или иного задания в состав теста» [7: с. 13].
Таким образом, компьютерный тестовый комплекс для выявления теоретического базиса по дисциплине «Дизартрия» был разработан и предложен студентам дефектологического факультета НОЧУ ВПО МСГИ. В тестировании приняли участие студенты II курса в количестве 80 человек. Каждому из них была представлена компьютерная выборка из 60 случайно выпавших вопросов, предлагаемых в произвольном порядке. Для создания эталонного объекта были также протестированы студенты старших курсов и учителя- логопеды с большим практическим стажем. Результаты тестирования обеих групп исследуемого контингента были занесены в таблицы и подвергнуты математической статистической обработке.
В работах разных авторов указывается на положительные стороны использования тестирования в процессе контроля знаний студентов. Так, О.В. Матвеева отмечает факт психологической устойчивости метода, успешности его использования для контингента с повышенным уровнем тревожности, подвижностью нервных процессов с преобладанием возбудимости или заторможенности при построении ответа непосредственно экзаменатору. «Для большинства студентов контрольное мероприятие является в той или иной степени стрессовой ситуацией. Психологическое напряжение зачастую не позволяет студенту в полной мере мобилизовать свои способности и адекватно продемонстрировать уровень знаний, полученных в результате обучения. В рамках учебного процесса используются различные формы проверки знаний студентов: традиционные и новые. Классические формы контрольных мероприятий имеют как достоинства, так и ряд недостатков, из которых наиболее серьезной является низкая степень надежности, связанная с возможной необъективностью и эффектами внешнего и внутреннего психологического воздействия. Формально более объективный тестовый метод контроля уровня знаний имеет более высокую степень устойчивости к внешнему воздействию. Тестирование (компьютерный или письменный вариант на бумажном носителе) моделирует взаимоотношения экзаменатора и студента во время контрольного испытания, однако неизбежная формализация модели взаимодействия вносит свои ограничения и системные ошибки в оценке уровня знаний студентов.
По мнению В.В. Борисовой, Т.А. Метельской, О.Г. Налбандяна, Е.В. Оганесяна, популярность тестирования обусловлена технологичностью, стационарностью условий процесса тестирования, высокой дифференциацией и оперативностью получения результатов. Авторы отмечают, что эти преимущества реализуются при наличии надежных, валидных комплексов тестовых заданий. Поэтому комплексы тестовых заданий должны быть верифицированы, то есть, определены все значимые параметры комплекса и установлена его пригодность для достижения поставленной цели [3: с. 42-44]. Для установления применимости описанного КТК использовалась методика объективной верификации и отбора тестовых заданий, основанная на корреляционном анализе результатов тестирования репрезентативной группы студентов. Такой группой, как мы уже говорили стали студенты II курса разных филиалов дефектологического факультета НОЧУ ВПО МСГИ, изучившие теоретический курс предмета «Дизартрия» и посещавшие лабораторно-практические занятия в соответствии с учебным планом. Каждым студентом выполнялось задание произвольной компьютерной выборки путем выбора ответа из предложенных вариантов.
Особенностью системы верификации является анализ каждого задания комплекса. В процессе верификации для каждого задания определялись параметры его трудности, адекватности и устойчивости.
Важным параметром, характеризующим задания тестового комплекса, является параметр трудности вопросов, определяемый по доле студентов, не сумевших ответить правильно. На графике распределения вопросов комплекса по трудности (рис. 1) мы видим, что смещение кривой преобладает в сторону легких вопросов. По результатам анализа средняя трудность вопросов оказалась невысокой (0,28), приблизительно 1/3 вопросов (около 80-ти вопросов из 250) занижена по степени трудности для исследуемого контингента студентов. Соответственно исследуемый комплекс не обладает достаточно широким и равномерным распределением заданий по параметру трудности.
Распределение вопросов по трудности
Рис. 1. Распределение вопросов тестового комплекса по трудности
Анализ результатов тестирования репрезентативной группы позволяет определить параметр адекватности заданий по всему комплексу. Параметр адекватности задания определяется как коэффициент корреляции между результатами группы студентов по одному заданию и результатами той же группы студентов по всему комплексу. Фактически, параметр адекватности задания показывает, насколько эффективно данное задание участвует в формировании распределения студентов по уровню знаний. На графике распределения вопросов тестового комплекса по адекватности (рис. 2) выделяется незначительная группа вопросов и легких, и неадекватных.
Выявленных легких неадекватных вопросов оказалось 18 из разных разделов тестового комплекса. Причем из 12-ти разделов такие вопросы выявились только в семи. Количество легких вопросов с плохой адекватностью по разным разделам учения о дизартрии получилось неодинаковым: по одному вопросу из разделов «анатомо-физиологические основы дизартрии» и «формы дизартрии»; по два вопроса из разделов «научно-теоретические аспекты учения о дизартрии» и «классификация дизартрий»; три вопроса из раздела «диагностика дизартрии»; четыре вопроса из раздела «специфика логопедической работы при дизартрии» и пять вопросов из раздела «дизартрия при ДЦП».
Анализ содержания вопросов и возможных причин их заниженной трудности относительно исследуемого контингента определил некоторые явные тенденции в разделении этих вопросов на три группы.
К первой группе вопросов относятся такие, в которых легкость ответа обусловлена содержательной недоработкой тестового задания, то есть выбор слишком очевиден из формулировок возможных вариантов ответа или эти варианты слишком подробно расписаны (практически являясь подсказками к выбору студента). Эти вопросы подлежат безусловному удалению при модификации тестового комплекса.
Ко второй группе вопросов можно отнести вопросы, ответы на которые определяются учебными способностями студентов (наличием аналитико-син- тетического и логического мышления, с помощью которого легко «угадать» ответ без специальных знаний).
К третьей группе вопросов относятся те, для ответа на которые студент должен обладать комплексом специальных знаний по дисциплине и смежным предметам. Кажущаяся легкость ответов на данные вопросы обусловлена тем, что студенты выучили предлагаемый им лекционный и дополнительный материал. Интересно отметить, что по тематике вопросов третьей группы студентам в течение семестра предлагалась самостоятельная учебная деятельность в форме конспектирования первоисточников, причем обязательная для выполнения. Знания по этой группе вопросов актуализировались в виде легкости ответов на тестовые задания (то есть невозможно было ответить на эти вопросы, точно не зная правильный ответ). Из 18 легких неадекватных вопросов перспективными для возможной переработки могут быть вопросы второй и третьей групп, но в настоящем исследовании они подлежат удалению с целью увеличения степени адекватности комплекса.
При дальнейшем анализе выделилась малочисленная группа вопросов, приемлемых по трудности, но неадекватных по корреляции между ответами студентов на данный вопрос и суммарными результатами (коэффициент от 0,02 до 0,18, то есть ниже значимого барьера 0,2). Интересно отметить, что эти вопросы относятся к разделам, знание которых базируется на освоении клинических основ дизартрии (особенно невропатологии, три вопроса из четырех) и предполагают владение специальной терминологией. Низкие показатели адекватности в данной группе обусловлены несомненной трудностью этих вопросов для студентов, так как предполагают более глубокое понимание природы дизартрии и наличие знаний по смежным дисциплинам.
Один вопрос попал в раздел неадекватных парадоксально (скорее по причине технической ошибки). Отсутствие ответа на него у студентов, которые с легкостью отвечали на более сложные вопросы, необъяснимо. Не ответить на него могли только абсолютно неготовые к тесту студенты (а из предыдущего анализа мы выяснили, что данный контингент имеет подготовительную базу по предмету).
На графике зависимости адекватности вопросов от трудности (рис. 3) мы видим, что среди общего объема легких вопросов есть адекватные (с положительным значением от 0,2 до 0,67), а есть неадекватные (с отрицательной адекватностью или меньше 0,2), которые не являются значимыми при определении уровня знаний студентов.
Неравномерность распределения параметров трудности и адекватности в заданиях комплекса может привести к искажению результатов тестирования, поэтому возникает необходимость корректировки.
По методике верификации тестовых комплексов (В.В. Борисова, Т.М. Ме- тельская, О.Г. Налбандян) задания с отрицательной степенью адекватности (если это не результат обособленной группы) должны быть переработаны или исключены из комплекса. Авторы поясняют, что «.задания с близкой к нулю степенью адекватности, результаты по которым не коррелируют с уровнем знаний студентов, характеризуют разрозненные знания, полученные не системным образом. Такие задания, не дифференцируя тестируемых по уровню знаний, характеризуют объем знаний и наиболее приемлемы при критериально-ориентированной оценке результатов тестирования. Задания с высокой степенью адекватности, по которым группа выступает как единый коллектив, характеризуют знания, полученные в результате целенаправленного учебного процесса. Таким образом, легкие задания с малой адекватностью характеризуют тщательность самостоятельного изучения студентом дисциплины и объем полученной информации. Трудные адекватные задания характеризуют уровень знаний, полученных в результате учебного процесса» [4: с. 39-43].
Рис. 3. Зависимость адекватности вопросов тестового комплекса по выявлению теоретических знаний от их трудности
Согласно этим положениям, тестовый комплекс по выявлению теоретических знаний в области дизартрии необходимо скорректировать, поэтому в процессе его усовершенствования легкие вопросы с положительной адекватностью остаются в комплексе неизменными (54 вопроса), а легкие неадекватные вопросы нуждаются в переработке с целью усложнения или подлежат удалению (36 вопросов). (Было принято решение легкие неадекватные вопросы в рамках этого исследования удалить.)
При последующей корректировке тестового комплекса были удалены три группы вопросов: очень легкие (трудность меньше 0,1 независимо от адекватности) — 14 вопросов; неадекватные (меньше 0,2, независимо от трудности) — 4 вопроса; легкие и неадекватные — 18 вопросов.
На рисунке 4 представлен скорректированный график распределения вопросов по трудности. Видна динамика изменения параметра трудности после удаления нежелательной группы вопросов: если удалить легкие вопросы, параметр трудности увеличится с 0,28 до 0,36.
Рассмотрим скорректированный график распределения вопросов по адекватности (рис. 5) На графике видно, что неадекватных вопросов в тестовом комплексе нет. При этом средняя адекватность вопросов до корректировки теста (0,5) показывает, что такой заниженный параметр выявляется как у очень трудных вопросов, так и у очень легких. При удалении легких вопросов параметр трудности увеличивается с 0,28 до 0,36, при этом адекватность также возрастает до 0,56. Таким образом, степень адекватной трудности заданий увеличилась и их соответствие педагогической цели выявления теоретических знаний по дизартрии стало более валидным. Такой комплекс можно считать устойчивым.
Рис. 4. Распределение вопросов тестового комплекса по трудности после корректировки
Рис. 5. Распределение вопросов тестового комплекса по адекватности после корректировки
Итак, компьютерный тестовый комплекс по выявлению теоретического базиса дисциплины «Дизартрия» прошел необходимую процедуру верификации, которая выявила соответствие тестовых заданий поставленной задаче определения уровня теоретических знаний в области дизартрии. Корректировка теста путем удаления 36 вопросов увеличила среднюю трудность с 0,28 до 0,36 и соответственно привела к увеличению средней адекватности вопросов с 0,5 до 0,56. Таким образом, в компьютерном тестовом комплексе будут участвовать только 214 вопросов со средней трудностью 0,36 и адекватностью 0,56.
Список литературы
Аванесов В.С. Знания как предмет педагогического измерения / В.С. Аванесов // Педагогические измерения. - 2005. - № 3. - С. 3-32.
Борисова В.В. Определение характеристик тестовых заданий методами корреляционного анализа / В.В. Борисова, О.В. Матвеева, Т.А. Метельская // Инновационные методы и средства оценки качества образования: мат-лы IV научно-методической конференции (Москва, МГУП, 20-21 апреля 2006 г.). - М.: МГУП, 2006. - С. 40-42.
Борисова В.В. Система верификации тестовых заданий методами статистического анализа / В.В. Борисова, Т.А. Метельская, О.Г. Налбандян, Е.В. Оганесян // Инновационные методы и средства оценки качества образования: мат-лы конференции. - М.: МГУП, 2006. - С. 42-44.
Борисова В.В. Применение корреляционного анализа в проблеме верификации тестовых заданий / В.В. Борисова, О.В. Матвеева, Т.А. Метельская, О.Г. Налбандян, Е.В. Оганесян // Новые технологии в образовании, науке и экономике: труды XII-го международного симпозиума (г. Шарджа (ОАЭ)). - М.: Информационно-издательский центр Фонда поддержки вузов, 2006. - С. 39-43.
Матвеева О.В. Влияние личностных характеристик на результаты контроля уровня знаний студентов вуза: автореф. дис. ... канд. пед. наук / О.В. Матвеева. - М., - 11 с.
Метельская Т.А. Формирование валидных комплексов тестовых заданий / Т.А. Метельская // Экономический вестник Ростовского государственного университета. - 2006. - № 4 (июнь). - С. 122-127.
Метельская Т.А. Верификация тестовых заданий для контроля уровня знаний в вузе: автореф. дис. ... канд. пед. наук / Т.А. Метельская. - М., 2007. - 13 с.