Терюха Роман Викторович
Автореферат диссертации на соискание ученой степени кандидата педагогических наук
Краснодар – 2007
Работа выполнена на кафедре информационных образовательных технологий Кубанского государственного университета
Общая характеристика работы
Актуальность исследования.
Согласно концепции модернизации российского образования на период до 2010 года одной из ключевых приоритетных задач модернизации российского образования является обеспечение государственных гарантий – доступности и равных возможностей получения полноценного образования; достижение нового современного качества профессионального образования. В связи с этим актуальной является проблема научно-обоснованных методов контроля качества образования студентов высших инженерных учебных заведений.
Получение качественной объективной информации в области педагогической деятельности связано сегодня с развитием тестологии как новой отрасли научного знания, которая появилась в начале ХХ века на стыке психологии, педагогики, социологии и других поведенческих наук. Педагогическая тестология, согласно концепции В.С.Аванесова, призвана заниматься вопросами разработки тестов для объективного контроля знаний, умений, навыков, представлений учащихся.
Анализ философской, социологический, психолого-педагогической на-учной литературы показал, что исследование обозначенных проблем осуществляется отечественными учеными с позиций системного подхода к изучению образования как социально-педагогического явления (Е.Л.Белкин, Р.Г.Гурова, Л.В.Загрекова, В.С.Лазарев, М.М.Поташник, В.М.Соколов, Н.Ф.Талызина, В.Н.Шамардин, В.А.Якунин и др.).
Анализ результатов исследований зарубежных (Д.Вилфорд, К.Ингенкамп) и отечественных ученых-педагогов (В.С.Аванесов, В.П.Беспалько, Ю.Ф.Гущин, М.В.Кларин, Г.С.Ковалева, В.Г.Кузнецов, О.Б.Логинова, А.Н.Майоров, В.И.Огорелков, Е.Н.Перевощикова, В.М.Соколов, А.О.Татур, В.С.Черепанов, М.Б.Челышкова, И.А.Цатурова и др.) показал, что одним из наиболее мощных, надежных и объективных методов определения достижений студентов являются педагогические тесты.
Учеными изучены вопросы теории педагогических тестов, композиция и формы тестовых заданий, условия и процедура проведения тестов, предъявление данных и их интерпретация. Анализ научно-педагогической литературы и современной образовательной практики показал, что в настоящее время в России идет процесс становления системы тестирования в области образования, а тестовые технологии рассматриваются как одно из средств контроля качества подготовки и уровня предметных достижений учащихся. Однако многие ученные констатируют недостаточную изученность научно-теоретических основ технологий компьютерного тестирования, поскольку изучаются преимущественно отдельные аспекты влияния тестовой технологии на качество обученности студентов.
Таким образом, возникли объективные противоречия между:
наличием большого арсенала тестирующих систем, жестко регламентирующих процесс диагностики, и отсутствием научного обоснования моделей инструментальных средств диагностики с динамичной траекторией тестирования и выполняющих как контролирующие, так и обучающие функции;
унификацией формы большинства функционирующих в практике образования тестовых систем (тесты с выбором ответа) и психологически обоснованной необходимостью в разнообразии форм и функций тестовых заданий в целях усиления их обучающего и мотивирующего потенциалов;
отсутствием у большинства преподавателей навыков программирования и потребностью в создании вариативных тестовых систем контроля уровня обученности студентов на основе индивидуального педагогического опыта;
между растущей потребностью в использовании методики адаптивного тестирования как средства контроля качества образования в высшей школе и недостаточной разработанностью этой проблемы в педагогической науке.
С учетом этих противоречий общая проблема состоит в отсутствии теоретических обоснований моделей эффективного инструментария компьютерной диагностики предметной обученности, соответствующего современной парадигме образования и задачам его информатизации.
Общая проблема детерминирует постановку ряда подпроблем:
какой тип компьютерных тестовых технологий наиболее соответствует задаче реализации многоаспектного педагогического мониторинга, создающего условия повышенной эффективности управления качеством обучения;
на каком педагогическом фундаменте должна базироваться разработка нового компьютерного диагностического инструментария;
какова должна быть структура теоретической модели компьютерного тестирования с функциями многоаспектной, объективной и индивидуализированной диагностикой качества обучения;
какими свойствами должна обладать программная составляющая компьютерного диагностического инструментария, чтобы последний соответствовал задачам эффективного педагогического мониторинга и информатизации профессионального образования, какова её структура, методика построения и использования.
Цель исследования: разработать, теоретически обосновать и экспериментально проверить технологию адаптивного компьютерного тестирования в профессиональной подготовке студентов технического вуза.
Объект исследования: профессиональная подготовка студентов технического вуза с использованием компьютерных тестовых систем.
Предмет исследования: создание и использование технологии адаптивного компьютерного тестирования в профессиональной подготовке студентов технического вуза.
Гипотеза исследования состояла в предположениях:
развитие теории педагогических измерений в контексте задач модернизации образования должно ориентироваться на разработку концепции создания диагностического инструментария с функциями индивидуализации траектории диагностики и управления качеством обучения на основе использования технологий адаптивного тестирования;
проектирование технологии адаптивного компьютерного тестирования должно базироваться на системном подходе в научных исследованиях, теориях личностно ориентированного, развивающего и продуктивного обучения, концепциях компьютерной педагогической диагностики и формирования открытого образовательного пространства;
теоретическая модель проектирования технологии адаптивного компьютерного тестирования должна быть целостной дидактической структурой и отражать проектирование содержательной базы, программного компонента, методику тестирования и обработки результатов;
программный компонент адаптивных технологий тестирования должен обеспечивать возможности модификации содержательной базы, алгоритмов адаптивности тестирования, дифференциацию сложности заданий, статистический анализ результатов педагогического мониторинга;
реализация технологии адаптивного компьютерного тестирования создаст условия для объективизации интегральных результатов педагогического мониторинга, коррекции индивидуальных и групповых уровней обученности и управления качеством обучения.
Задачи исследования:
На основе анализа теории и практики педагогической диагностики обосновать необходимость разработки диагностического инструментария нового типа, позволяющего дифференцировать и индивидуализировать процедуру контроля знаний и траекторию последующего обучения.
Выявить свойства функционирующих в практике систем адаптивного тестирования, показать, что на их основе возможно создание нового инструментария соответствующего задачам современной педагогической диагностики и информатизации профессионального образования.
Определить теоретические положения, составляющие научно-методический базис проектирования технологии адаптивного компьютерного технологий тестирования (АКТ) в профессиональном образовании в соответствии с выводами современных психолого-педагогических теорий и требованиями компьютеризации обучения
Разработать теоретическую модель технологии АКТ, структуру её составляющих, способы конструирования программного инструментария, методику локального и сетевого тестирования в учебном процессе и итоговом мониторинге качества обучения студентов;
Разработать инновационный программный комплекс для осуществления адаптивного компьютерного тестирования в учебном процессе вуза, обеспечивающий объективность оценивания качества обучения в процессе подготовки к аттестации и аккредитации вуза;
Разработать комплексное учебно-методическое обеспечение дистанционного образования на основе технологии адаптивного компьютерного тестирования и подтвердить возможность повышения эффективности и качества профессиональной подготовки студентов технического вуза.
Методологической основой исследования являются философские положения о противоречиях как движущей силе развития; диалектико-материалистическая концепция о всеобщей связи и развитии явлений действительности; о ведущей роли деятельности в формировании общественных отношений и развитии личности; о единстве теории и практики; о творческой активности личности.
Теоретическими основами исследования являются труды ученых, занимающихся проблемами:
закономерностей образовательного процесса и их сущности (Ю.К. Бабанский, В.И.Загвязинский, И.Я.Лернер, Е.Г.Осовский, М.Н.Скаткин, В.А. Сластенин, М.И.Махмутов и др.);
системно-деятельностного и личностного подходов к организации пе-дагогического процесса, предусматривающих гармоничное сочетание лич-ных и общественных целей (В.И.Андреев, Е.В.Бондаревская, Л.П.Буева, А.А.Кирсанов, Ф.В.Повшедная, В.В.Сериков, И.С.Якиманская);
качества образования, его сущности, совершенствования контроля за его повышением (В.С.Аванесов, В.П.Беспалько, В.А.Караковский, В.С. Лаза-рев, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, В.М. Соколов, О.Г.Хомерики, Е.А.Ямбург и др.);
диагностики эффективности функционирования педагогических сис-тем, теории тестологии и педагогической квалиметрии (В.С.Аванесов, А.Анастази, К.Ингенкамп, Д.Н.Кеттелл, В.И.Огорелков, Г.С.Ковалева, А.Н.Майоров, Е.А.Михайлычев, Е.Н.Перевощикова, М.Б.Челышкова и др.);
теории педагогического мониторинга (Т.И.Алексеева, В.И.Андреев, В.А.Кальней, А.Н.Майоров, Т.Г.Михалева, С.Е.Шишов и др.);
Разрабатывая систему тестовой диагностики мониторинга и успешности усвоения знаний мы опирались на психологические аспекты диагностики исследованные в работах Б.Г.Ананьева, А.А.Бодалева, Л.С.Выготского, В.В.Давыдова, Л.В.Занкова, И.Я.Зимней, В.А.Крутецкого, А.Н.Леонтьева, А.М.Матюшкина, В.А.Петровского, К.К. Платонова, С.Л.Рубинштейна, С.Д.Смирнова, Г.А.Стрюкова, Н.Ф.Талызиной, Д.Б.Эльконина и др.
В процессе исследования использовались следующие методы.
1. Теоретические, включающие изучение и критический анализ отечественной и зарубежной психологической, педагогической и методологической литературы по применению современных информационных технологий и компьютерных средств в профессиональном образовании, реализующие системный подход к педагогическим явлениям, анализ современных проблем образования и управления учебным процессом.
2. Эмпирические: педагогический и психолого-педагогический эксперименты в целях выявления эффективности предложенных методик применения компьютерных технологий в обучении студентов вузов; анкетирование, тестирование, интервьюирование, социологические опросы, статистическая обработка результатов.
Этапы исследования. Теоретические и опытно-экспериментальные исследования проводились с 2000 по 2006 годы. На первом этапе (2000-2001) проводилось изучение научной и учебно-методической литературы, анализировался и обобщался отечественный и зарубежный опыт по применению тестовой технологии в образовательном процессе, проведен констатирующий эксперимент, обоснована актуальность проблемы исследования, разработан понятийный аппарат и сформулирована рабочая гипотеза.
На втором этапе (2002-2004) осуществлялась опытно-экспериментальная проверка гипотезы, анализ и интерпретация полученных данных, обрабатывался материал исследования, разрабатывались практические рекомендаций по проектированию и использованию технологии адаптивного компьютерного тестирования в учебно-воспитательной и управленческой деятельности вуза, разрабатывались критерии для определения эффективности процесса обучения.
На третьем этапе (2005-2006) проводилось внедрение созданной технологии АКТ в практике работы вуза, проводился психолого-педагогический эксперимент, исследовалось влияние технологии АКТ на качество обучения студентов.
Базы исследования - Кубанский государственный технологический университет (КубГТУ), Ставропольский государственный университет, Кубанский государственный университет (КубГУ), Армавирский государственный педагогический институт.
Научная новизна исследования:
Обоснована необходимость создания на базе компьютерных технологий диагностического инструментария нового типа, реализующего многоаспектный мониторинг качества обучения студентов, а также коррекцию диагностики и управления учебным процессом. Показана возможность создания инструментария с новыми педагогическими свойствами на основе методик адаптивного тестирования систем, их интеграции в единую комплексную технологию с универсальной структурой, процессуальным и аналитическим аппаратами.
Введено понятие полифункционального диагностического инструментария – технология адаптивного компьютерного тестирования – синтезирующего функции создания адекватных структуре научных теорий систем контрольно-измерительных материалов, их модернизации, коррекции процесса педагогической диагностики и траектории обучения, многофакторного анализа знаний и уровня обученности студентов и учащихся в практике массового и индивидуального тестирования, формирования пакетов диагностической документации.
Разработана модель технологии адаптивного компьютерного тестирования, отражающая
теоретический базис её создания в контексте задач модернизации и информатизации образования – системный и гносеологический подходы в научных исследованиях; современные педагогические теории, концептуальные идеи тестологии и анализ средств компьютерной диагностики педагогических достижений;
проектирование содержательной базы, адекватной структуре научных теорий, нормативной и методической составляющим учебного процесса;
проектирование структуры программного компонента АКТ, включающей модули автоматизированной компоновки тестовых заданий, создание их вариантов, алгоритмов адаптирования и обратной связи, редактирования содержательной базы, статистической обработки результатов тестирования и их визуального отображения;
проектирование методики тестирования и анализа его результатов, предусматривающей на подготовительном этапе - создание процессуально- аналитического аппарата: именной базы тестируемых, средств управления процессом тестирования и оперативного изменения его режима, автоматизированной обработки его результатов и их визуализации; на процессуальном этапе: коррекцию и индивидуализацию режимов тестирования по результатам оперативной диагностики и функционирование обратной связи, передачу содержательной и управляющей информации по каналам компьютерных сетей; на аналитическом этапе: факторизацию результатов диагностики, рефлексию содержательной базы и процедуры тестирования, статистическую обработку и анализ интегральных и индивидуальных показателей; на итоговом этапе: интерпретацию показателей компьютерной диагностики в соответствии с нормативными требованиями, разработку методических рекомендаций участникам диагностического процесса.
Создан инновационный программный продукт – Универсальный тестовый комплекс, позволяющий реализовать технологию АКТ в соответствии со структурой предложенной теоретической модели и выполняющий функции: создания, хранения и редактирования содержательных баз тестовых заданий по различным предметным областям; компоновки вариантов тестирования; апробации тестовых заданий и выявление уровней сложности для адаптивного тестирования; выбора и изменения алгоритмов адаптивности в процессе тестирования; обработки результатов тестирования и оформление ведомостей и сертификатов; интеграции и анализа статистической информации.
Теоретическая значимость исследования состоит в следующем:
обоснована необходимость создания компьютерного диагностирующего инструментария нового типа, интегрирующего совокупность актуальных педагогических функций, ориентированных на многоаспектный мониторинг дидактических показателей и коррекцию управления качеством обучения в вузе;
введено понятие полифункционального диагностического инструментария – технологии АКТ – как комплекса содержательных и программных компонентов, реализация которых существенно оптимизирует процесс компьютерной диагностики в соответствии теоретической моделью;
разработана структура Универсального тестового комплекса, позволяющего реализовать все этапы технологии АКТ.
Практическая значимость исследования состоит в возможности использования его материалов в практике проведения аттестации и мониторинга качества обучения в вузе; теоретические выводы могут быть положены в основу разработки и реализации авторских тестовых технологий контроля уровня обученности учащихся в системе высшего образования.
Материалы исследования могут быть использованы в практике по организации и проведению аттестации и аккредитации вузов России, в системе повышения квалификации педагогических работников и руководителей сферы образования, в процессе профессионального обучения студентов инженерного вуза.
Апробация и внедрение результатов исследования осуществлялись в процессе деятельности диссертанта в качестве руководителя Центра компьютерного тестирования Кубанского государственного технологического университета, в образовательную сферу которого внедрена технология АКТ при проведении массового тестирования студентов вуза, аттестации педагогических кадров и выпускников школ; в формировании системы управления качеством образования; участия диссертанта в региональных и Всероссийских научно-практических конференциях в г. Екатеринбурге (2004), г. Санкт-Петербурге (2005), г.Армавире (2005), в учебном процессе, внутривузовских конференциях.
Результаты исследований использовались в разработке спецкурсов и целевых программ по проблемам образования, в личном преподавании в школе и вузе, в организации педагогической практики студентов и IV Всероссийской телекоммуникационной олимпиады "Телетестинг-2000", в проведении Централизованного компьютерного тестирования 2001-2006 годов.
Достоверность и обоснованность результатов исследования обеспечивается методологической и теоретической обоснованностью исходных позиций, выбором методов исследования, адекватных его предмету и задачам, единством теоретического и экспериментального компонентов исследования, сочетением научных исследований с практической деятельностью, применением статистики при обработке экспериментальных данных.
Основные положения, выносимые на защиту:
Важнейшим направлением модернизации и информатизации профессионального образования является создание компьютерного диагностического инструментария, интегрирующего функции контроля знаний, коррекции траектории обучения, эффективного средства управления качеством образования в инженерном вузе
Современным видом компьютерной диагностики является технология адаптивного компьютерного тестирования, представляющая собой инновационный программный продукт в котором органично сочетаются: ориентация на междисциплинарную подготовку, отражение специфики профессионально-педагогической деятельности и мониторинга качества обучения, возможность самоконтроля обучаемых.
Проектирование и использование технологий АКТ студентов инженерного ВУЗа базируются на: системном подходе в научных исследованиях, принципах адекватности информационных компьютерных технологий содержанию обучения, активизации учебной деятельности и рефлексии её результатов, психологических особенностях учебного процесса в ВУЗе дифференциации и индивидуализации обучения; теории познания, интеграции программных продуктов в целостную систему многоуровневой профессиональной подготовки в вузе, в довузовских и послевузовских сферах.
Модель технологии адаптивного компьютерного тестирования конструируется на основе концептуальных идей классической и современной теории тестирования и интегрирует составляющие:
содержательную базу, отражающую структуру научных теорий (эмпирические факты, идеальные модели, понятия, величины, законы, следствия и выводы, теории), нормативную и методическую документацию, посредством формирования банка тестовых заданий трех уровней сложности;
структуру программного компонента технологии АКТ, составленную из подпрограмм автоматизированной компоновки тестовых заданий и создания их вариантов, алгоритмов адаптирования и обратной связи, модификации содержательной базы, модуля статистической обработки результатов диагностики и их наглядного представления;
методику тестирования, реализуемую в течение четырех этапов с применением процессуально – аналитического аппарата, посредством которого создаются базы тестируемых, компьютерные средства управления процессом тестирования и анализа его результатов.
Специальный программный комплекс технологии АКТ, направляющий и реализующий все этапы технологии, выполняет следующие функции:
создание, хранение и редактирование содержательных баз тестовых заданий по различным предметным областям;
компоновка вариантов тестирования;
апробация тестовых заданий и выявление уровней сложности для адаптивного тестирования;
выбор и изменение алгоритмов адаптивности тестирования;
обработка результатов тестирования и оформление ведомостей и сертификатов;
интеграцию и анализ статистической информации
В условиях стандартизации и информатизации профессионального образования технология АКТ является эффективным педагогическим инструментарием диагностики знаний и мониторинга педагогических достижений, поскольку их использование обеспечивает решение комплекса актуальных педагогических задач: создания предметных тестовых баз и средств автоматизированной обработки результатов тестирования групп обучаемых, индивидуализированной диагностики с последующей коррекцией траектории обучения, организации мониторинга в процессе аттестации и аккредитации вуза, наглядного представления и интеграции результатов тестирования при использовании способов статистической обработки.
Структура работы соответствует логике научного исследования и состоит из введения, трех глав, заключения, списка литературы и приложений.
Содержание диссертации изложено на 180 страницах, из них 15 таблиц, 16 рисунков, 7 графиков, список литературы включает 229 наименований.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность темы, определяются проблема, цель, объект, предмет, гипотеза, задачи, методологические и теоретические основы, методы исследования, его научная новизна, теоретическое и практическое значение, положения, выносимые на защиту.
В первой главе диссертации «Теоретическое обоснование проектирования адаптивных компьютерных технологий» рассматриваются методологические основы исследования, роль педагогической диагностики и ее основных методов как теоретического фундамента практической деятельности администрации ВУЗа и профессорско-преподавательского состава по повышению эффективности управления учебным прооцессом. Раскрываются психолого-педагогические основы деятельности преподавателя и студента.
Для проведения эффективной оценки качества знаний должны быть разработаны особые формы контроля. Важнейшим и наиболее эффективным способом оценки качества обучения является применение современных компьютерных технологий. Одним из наиболее перспективных и эффективных направлений оценки качества обучения является адаптивное компьютерное тестирование знаний, умений и навыков учащихся.
В настоящее время в практику системы высшего профессионального образования активно внедряется компьютерный тестовый контроль знаний. Однако эффективное внедрение этого контроля тормозится отсутствием научно-методических основ разработки и применения компьютерных тестовых заданий, а также отсутствием самого банка аттестационных педагогических измерительных материалов, отвечающих требованиям современной теории и практики тестирования.
Культура проектирования тестовых заданий связана с конструированием и представлением в инструментальной среде тестовых ситуаций, построенных с применением стандартных форм и методологических правил и отражающих смысл и содержание фрагментов учебного материала. Банк тестовых заданий по различным дисциплинам высшего профессионального образования должен соответствовать Государственному образовательному стандарту и требованиям спецификации взаимодействия тестов и тестирования глобального образовательного консорциума Global Learning Consortium, IMS. Этот банк должен содержать значительный объем тестовых заданий, структурированных по форме, содержанию трудности таким образом, что бы тесты, сформированные на их основе, обеспечили бы проверку качества образования. Для решения этой задачи предлагается использовать тестовые задания различного уровня трудности и различной формы, позволяющие проверять различные уровни знаний от простейшего узнавания до практического умения, использовать полученные знания при решении стандартных и нестандартных задач.
Процесс компьютерного адаптивного тестирования разделяется на два этапа в соответствии с уровнем знаний студентов, участвующих в процессе тестирования. На начальном этапе знание о степени обученности объекта у тестирующей системы полностью отсутствует, следовательно, проектирование траектории его заключений необходимо осуществлять с учетом эмпирических результатов, накапливаемых в процессе испытаний. На этой стадии тестовых проверок не следует полагаться на факторы случайности, а необходимо использовать возможности подбора меры трудности тестовых ситуаций и формировать “образ” тестируемого с учетом его поведения. На втором этапе подтверждаются первоначально выявленные причинно-следственные отношения, для чего используются методы систематизации научных наблюдений, регулярно приобретаются новые данные о качестве заключений испытуемого на однородные по мере трудности тестовые задания. На этой стадии можно выявить закономерности, присущие поведению каждого конкретного испытуемого из данного класса обученности. Важным обстоятельством является также то, что на этом этапе более верно оценивается реальная степень обученности испытуемого, что представляет дополнительный материал для правильного построения теоретической модели элементов однородной эмпирической системы компьютерного тестирования.
Во второй главе диссертации «Совершенствование форм и методов обучения студентов с помощью адаптивных компьютерных технологий» разработана теоретическая модель технологии компьютерного адаптивного тестирования как средства эффективного управления качеством обучения в инженерном вузе (рис.1). Проанализированы исторический и современный аспекты развития тестовой теории и технологии. Раскрывается сущность педагогических тестов, их функции, содержание, структура, формы и виды. Дается анализ состояния проблемы адаптивного компьютерного тестирования для проведения аттестации и аккредитации вуза.
Рисунок 1. Модель технологии адаптивного компьютерного тестирования (АКТ)
Создание и широкое внедрение компьютерных обучающих программ по различным дисциплинам сдерживается в основном отсутствием у подавляющего большинства преподавателей навыков программирования. Поэтому в настоящее время актуально создание сред разработки и создания баз тестовых заданий, формирования вариантов тестирования и проведения контроля, использование которых требует минимальных навыков и умений работы с компьютером. Одной из подобных оболочек является созданный автором Универсальный тестовый комплекс (УТК).
В рамках диссертационного исследования дано рабочее определение технологии адаптивного компьютерного тестирования как системы способов организации контроля уровня обученности студентов, включающей в себя следующие необходимые элементы: тест как инструмент педагогического измерения; процедуру, алгоритм, способы использования этого инструмента для объективизации эффективности, репрезентативности измерения уровня обученности, подготовленности обучающихся; программную обработку, интерпретацию результатов тестирования.
В диссертации показано, что в русле исследования значительный теоретический и практический интерес представляют классификации, разработанные В.С.Аванесовым, К.Ингенкампом, В.Г.Кузнецовым, А.Н.Майоровым. В работе анализируются позитивные
Анализируется состояние педагогического тестирования в современной образовательной практике, основные трудности его внедрения в инженерном вузе и условия, необходимые для организации успешного применения тестовой технологии.
Созданный автором Универсальный тестовый комплекс (УТК) может быть использован в учебном процессе, как в вузе, так и в школе, отдельные его модули могут предоставляться обучающимся для домашнего использования (тренировочное тестирование). При этом не требуется знаний основ программирования от преподавателей, формирующих содержательную часть тестовой базы. Комплекс позволяет проводить тестирование: сетевое в локальных сетях и сети Internet с удаленным доступом, а также локальное. УТК выполняет следующие функции:
создание, хранение и редактирование гомогенных баз тестовых заданий по дисциплинам;
формирование из гомогенных гетерогенных баз тестовых заданий с возможностью редактирования и дополнения;
компоновка гомогенных и гетерогенных вариантов тестирования;
апробация тестовых заданий с выявлением уровня сложности для адаптивного тестирования;
задание алгоритмов адаптивности тестирования;
изменение алгоритма адаптивности в процессе тестирования;
обработка результатов тестирования, формирование ведомостей и сертификатов;
сбор и анализ статистической информации.
УТК служит оболочкой для создания и ведения баз тестовых заданий различных типов. Создание и хранение тестовых заданий подразумевает обработку исходного авторского материала и выполнение автоматизированной компоновки тестов. Ввод исходных данных (заданий) производится с помощью тестового редактора Microsoft Word, основные навыки работы с которым имеют многие пользователи. Кроме того существует возможность использования уже готовых электронных материалов в качестве заданий. Эта возможность избавляет пользователя от большого объема рутинной работы.
Тестовые базы хранятся в собственном формате программы, но их набор и первоначальное редактирование осуществляется стандартным редактором MSWord, знакомым большинству преподавателей.
Отличительной особенностью данной системы является то, что в ней предусмотрены различные виды тестовых вопросов. Это позволяет создавать комплексные тесты любого уровня сложности. Комплекс состоит из создателя баз тестовых заданий, генератора вариантов тестирования, программы мониторинга и управления тестированием, программы обработки бланочного тестирования и программы сетевого или локального тестирования. Создатель баз служит для экспортирования баз тестовых заданий из редактора MSWord в собственный формат программы, упорядочивания тестов по их спецификации. Генератор вариантов тестирования служит для генерации тестовых материалов (вариантов) по заранее созданным правилам. Тестовые варианты могут быть использованы при проведении бланочного и компьютерного тестирования. В системе предусмотрена формальная обработка ответа (сравнение ответа с образцом) и сохранение результатов тестирования.
В третьей главе диссертации «Качественная и количественная оценка эффективности использования технологии адаптивного компьютерного тестирования» раскрывается экспериментальное обоснование исследуемой проблемы в ходе констатирующего, организационно-педагогического и формирующего этапов эксперимента. Показаны организация и представлены результаты опытно-экспериментальной проверки технологии адаптивного компьютерного тестирования как средства эффективного управления качеством обучения
Основная задача констатирующего эксперимента состояла в изучении состояния проблемы реализации технологии адаптивного компьюерного тестирования в практике руководства Технологическим университетом. Заключительный этап эксперимента проходил в период с 2004г по 2006г. Экспериментальным исследованием было охвачено более 7000 студентов и 200 сотрудников КубГТУ.
В Центре тестирования КубГТУ действует следующая схема контроля качества знаний студентов (Рис.2).
Рис.2 Схема контроля качества знаний
Содержание блоков структурной схемы контроля качества знаний студентов КубГТУ приведено в таблице 1
Достоинством данной системы тестирования является возможность отследить изменение статистических данных результатов во времени. Это позволяет проанализировать успеваемость в различных "срезах" (по числу тестируемых, по предметам, семестрам, курсам и т.д.) В системе предполагается сбор и анализ статистической информации для обеспечения "обратной связи", без которой невозможно грамотное тестирование и проведение мониторинга. Для проведения исследований применяется аппарат современной математической статистики. Также предусматривается просмотр результатов в различных "срезах", необходимых для детального анализа и мониторинга.
Статистическая обработка, принятая центром тестирования МО РФ подразумевает построение отчетов:
Гистограммы распределения результатов педагогических измерений (рис. 3).
Карты коэффициентов решаемости заданий (рис.4) . показывает, процент верных ответов на каждый вопрос внутри группы.
Карты коэффициентов освоения дидактических единиц (ДЕ) (рис.5). ДЕ считается освоенной студентом, если процент верных ответов внутри её не менее 50. Группа успешно справилась с тестированием, если более 50 процентов студентов освоило все ДЕ
Графика освоения дисциплины на основе выполнения совокупности ДЕ (рис.6) в сравнении с модельной кривой, использующей результаты других вузов.
| Таблица 1 | ||||
| Блок № | Содержание блока | Вид | Ответственный | Примечание |
| 1 | 2 | 3 | 4 | 5 |
| 1. Содержание образования | Лекционный материал | Бумажные и электронные носители | Методисты образовательных кафедр | Согласно учебному плану специальности |
| Содержание практических и лабораторных занятий | Бумажные и электронные носители | Методисты образовательных кафедр | Согласно учебному плану специальности | |
| Методическая документация | Бумажные и электронные носители | Методисты образовательных кафедр | Согласно учебному плану специальности | |
| Спецификация тестовых заданий | Спецификация, инструкция по созданию | Методист центра тестирования КубГТУ | Утверждается Зав каф, директором ЦТ КубГТУ | |
| 2. Технология создания баз тестовых заданий | Средство создания БЗ | Программный модуль | Методисты образовательных кафедр | Разработка автора |
| База тестовых заданий по контролю, оценке и мониторингу качества обучения | База данных ЦТ КубГТУ |
Администратор ЦТ КубГТУ, методист ЦТ КубГТУ, Методисты образовательных кафедр |
Разработка автора | |
| Средство редактирования БЗ | Программный модуль | Администратор ЦТ КубГТУ, методист ЦТ КубГТУ |
Разработка автора | |
| 3. База нормативных документов | Нормативные документы | Бумажные и электронные носители | Директор ЦТ КубГТУ | - |
| Учебные планы | Бумажные и электронные носители | Методисты образовательных кафедр | - | |
| База студентов и преподавателей | База КубГТУ | Администратор КубГТУ, администратор ЦТ КубГТУ | Разработка автора | |
| 4. Технология оценки знаний | Средство создания тестовых вариантов | Программный модуль, работающий с базой данных ЦТ КубГТУ, базой КубГТУ, с учетом спецификации и учебных планов | Администратор ЦТ КубГТУ | Разработка автора |
| Экспертная оценка тестовых материалов | Независимая экспертиза и апробация тестовых баз | Методист-тестолог | ||
| Средство проведения компьютерного тестирования | Программа сетевого тестирования. | Администратор ЦТ КубГТУ | Разработка автора | |
| Средство управления процессом компьютерного тестирования | Программа мониторинга процесса тестирования, обработки результатов и формирования ведомостей и сертификатов тестирования | Директор ЦТ КубГТУ, администратор ЦТ КубГТУ |
Разработка автора | |
| Средство формирования вариантов бланочного тестирования | Программный модуль, работающий с базой данных, базой КубГТУ, с учетом спецификации и учебных планов | Администратор ЦТ КубГТУ |
Разработка автора | |
| Средство обработки результатов бланочного тестирования | Средство перевода ответов тестирования в электронный вариант, обработки результатов и формирования ведомостей и сертификатов тестирования | Администратор ЦТ КубГТУ |
Использование программного комплекса ABBYY Test Reader (технология ЕГЭ) | |
| 5. Архив результатов обучения учащихся групп и специальностей | База ЦТ КубГТУ | Директор ЦТ КубГТУ, администратор ЦТ КубГТУ |
Разработка автора | |
| 6. Технология оценки качества результатов тестирования | Система выборок и запросов из базы ЦТ КубГТУ | Директор ЦТ КубГТУ, администратор ЦТ КубГТУ |
Разработка автора | |
Приведем данные статистической обработки по одной из дисциплин специальности инженерного вуза:
Рис. 3. Гистограмма распределения результатов педагогических измерений. Дисциплина: Физика. Специальность-030500.19 «Профессиональное обучение (по отраслям)»
Рис. 4. Карта коэффициентов решаемости заданий Дисциплина: Физика. Специальность- 030500.19 «Профессиональное обучение (по отраслям)»
Рис. 5. Карта коэффициентов освоения ДЕ Дисциплина: Физика. Специальность-030500.19 «Профессиональное обучение (по отраслям)»
Рис. 6. График освоения дисциплины на основе выполнения совокупности ДЕ Дисциплина: Физика. Специальность- 030500.19 «Профессиональное обучение (по отраслям)»
Проведение тестирования и обработка результатов позволяет сделать вывод:, что уровень подготовки студентов основной образовательной программы (ООП) 030500.19 «Профессиональное обучение (по отраслям)» с учётом погрешности оценивания показателя освоения дисциплины соответствует требованиям ГОС по дисциплине «Физика» согласно модели освоения совокупности дидактических единиц (ДЕ) методического совета университета о результатах
В рамках работы по контролю остаточных знаний студентов специальностей 350800, 030500, 060700, 180800, 271300 автором разработаны, экспериментально проверены и обоснованы организационно-педагогические условия успешного внедрения тестовой технологии, обеспечивающие повышение качества знаний. Использование тестовой технологии является действенным средством для определения эффективности образовательной системы вуза при следующих условиях: наличие методики организации тестирования; наличие организационной структуры (Центра компьютерного тестирования), обеспечивающей организационно-методическое сопровождение конструирования тестов по естественнонаучным и профессиональным дисциплинам, всего блока работ, связанных с проведением, обработкой и интерпретацией результатов тестирования; методической подготовки педагогических работников по проблемам тестовой диагностики.
Результаты оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов (ГОС) высшего профессионального образования и результаты педагогических измерений по каждой основной образовательной программе (ООП) высшего учебного заведения систематизированы, обобщены и отражены в таблице 1.
Влияние случайных факторов на результаты выполнения заданий педагогических измерительных материалов (АПИМ), а также статистический характер показателя освоения дисциплины приводят к необходимости оценки надёжности принимаемых решений.
Соответствие требованиям ГОС Таблица 1
| Информатика | Математика | История | Физика | Философия | КСЕ | Мат инф |
| 030500.19 | Средний | 48 | 87 | 68 | 51 | 60 |
| Минимальный | 23 | 71 | 36 | 36 | 38 | |
| Максимальный | 74 | 95 | 87 | 71 | 85 | |
| 060700 | Средний | 57 | 79 | 62 | 69 | 65 |
| Минимальный | 26 | 43 | 28 | 37 | 38 | |
| Максимальный | 83 | 96 | 81 | 89 | 88 | |
| 180800 | Средний | 74 | 37 | 37 | 48 | |
| Минимальный | 42 | 17 | 13 | 32 | ||
| Максимальный | 92 | 57 | 60 | 63 | ||
| 271300 | Средний | 57 | 91 | 49 | 77 | 59 |
| Минимальный | 28 | 75 | 32 | 39 | 20 | |
| Максимальный | 79 | 100 | 74 | 96 | 88 | |
| 350800 | Средний | 58 | 67 | 52 | 60 | |
| Минимальный | 28 | 45 | 38 | 31 | ||
| Максимальный | 87 | 92 | 72 | 81 |
Условные обозначения:
| – полностью соответствует требованиям ГОС |
| – соответствует с учетом погрешности оценивания |
| – не соответствует требованиям ГОС |
Для проверки гипотезы о соответствии величины показателя освоения дисциплины критериальному значению введено критическое значение показателя освоения дисциплины, зависящее, в частности, от количества тестируемых. Если значение показателя освоения дисциплины для данной ООП выше критического значения, то не отвергается гипотеза о равенстве показателя освоения дисциплины критериальному значению. В рассматриваемой модели оценки выполнения ГОС в качестве критериального значения принята величина 50%, а критическое значение показателя освоения дисциплины рассчитано с надежностью 0,9.
Результаты педагогических измерений показывают, что:
уровень подготовки студентов по ООП вуза (060700) полностью соответствует требованиям ГОС;
уровень подготовки студентов по трем ООП вуза (030500, 271300, 350800) соответствует требованиям ГОС с учётом погрешности оценивания показателя освоения дисциплины;
уровень подготовки студентов по ООП вуза (180800) не соответствует требованиям ГОС.
Тестовые базы и контрольно-измерительные материалы, полностью соответствует ГОС и примерным рабочим программам и кодификаторам дисциплин.
Анализ результатов констатирующего эксперимента показал, что педа-гогические тесты как один из наиболее качественных и объективных спосо-бов оценивания уровня учебных достижений учащихся на различных этапах обучения не нашли широкого применения при аттестации и аккредитации вуза, контрольных срезах по качеству остаточных знаний студентов. Управленческие функции, связанные с интерпретацией полученных результатов, их содержательная сопоставимость, системность, анализ, прогноз не носят завершающего цикла. В диссертации проанализированы причины, вызывающие затруднения у руководителей вуза и преподавателей по использованию технологий адаптивного компьютерного тестирования в профессиональной деятельности.
Теория педагогических измерений в современных условиях внедрения государственных образовательных стандартов – это качественно новый этап в развитии педагогической науки и практики, характерной особенностью которого является научное обоснование сущности, целей, содержания, функций и задач педагогической диагностики, определение ее как действенного средства повышения качества обученности учащихся, создание системы мониторинга уровня предметных достижений с целью анализа педагогической системы и повышения эффективности управления ею.
В ходе исследования доказана педагогическая целесообразность реализации системы тестового контроля в условиях стандартизации и технологизации образования. Разработана и практически реализована методика создания предметных тестов, компьютерная программа обработки тестирования учащихся, позволяющая интерпретировать их итоги по различным основаниям и методика репрезентативной выборки студентов при подготовке к аттестации и аккредитации, методические рекомендации для использования тестов предметных достижений, организации и проведения контроля остаточных знаний на компьютере.
В заключении диссертации подведены итоги исследования, сформулированы главные выводы, полученные в результате теоретического анализа проблемы и экспериментальной работы, соотносятся положения гипотезы и результатов исследования.
Обосновано, что в контексте задач модернизации образования необходимо создание эффективного механизма управления качеством обучения, в роли которого выступают компьютерные инструментальные средства, синтезирующие педагогические функции контроля знаний, дифференциации и индивидуализации обучения.
Выявлены педагогические свойства компьютерных тестовых систем, необходимые для эффективного и объективного мониторинга и управления качеством образования: возможности создания и модификации содержательной базы в соответствии со структурой научных теорий, автоматизированной их компоновки в тестовые массивы, генерации их вариантов, индивидуализации траектории диагностики и последующей коррекции знаний, статистической обработки итогов тестирования по схемам службы аккредитации и аттестации вузов. Показано, что программный и диагностический инструментарий с указанными свойствами можно создать при использовании средств адаптивного компьютерного тестирования интегративно представленных соответствующей технологией.
Теоретически обосновано, что проектирование и использование адаптивных компьютерных технологий формируются на базе: основополагающих принципов философии образования и современной образовательной парадигме, системном подходе в научных исследованиях, психологических особенностях учебного процесса в вузе, соответствующем аппарате психологической диагностики, педагогических теориях личностно-ориентированного, развивающего, продуктивного обучения, специфике изучаемой предметной области и ее учебно-методического обеспечения; интеграции программных продуктов и форм дистанционного обучения в целостную систему многоуровневой профессиональной подготовки (в вузе, в довузовских и послевузовских сферах)
Предложена модель конструирования технологии АКТ, построенная на основе современных психолого-педагогических подходов в контексте задач концептуальных идей профессионального образования и включающая составляющие:
содержательную базу, формируемую из структурных элементов научных теорий в массиве предложенных тестовых заданий с дифференциацией уровня сложности;
структуру программного комплекса технологии АКТ , интегрирующую модули: автоматизированной компоновки тестовых заданий, создания тестовых вариантов, алгоритмов адаптивного тестирования и обратной связи; редактирования содержательной базы; статистической обработки результатов тестирования
методику компьютерного и бланкового тестирования, состоящую из этапов: подготовительного – формирование именной базы тестируемых, обучение преподавателей и вспомогательного персонала, создание компьютерного процессуально-аналитического аппарата; процессуального – реализация процедуры тестирования и коррекция его режимов тестирования, оперативная диагностика в режиме on-line, формирование индивидуальных протоколов, передача диагностирующей информации по компьютерным сетям; аналитического – анализ интегральных и индивидуальных результатов тестирования по конкретным факторам; рефлексия процедуры тестирования и содержательной базы, различные формы визуализации результатов тестирования; итогового – разработка рекомендации по коррекции и эффективному управлению учебным процессом; интерпретация результатов в соответствии требованиями к аттестации и аккредитации вузов; содержательный, методический и организационный выводы.
Разработан унифицированный программный комплекс технологии АКТ – авторский Универсальный тестовый комплекс, позволяющий проводить локальное и сетевое тестирования, в том числе в сети Internet и выполняющий функции :
создание и хранение, редактирование и формирование баз тестовых заданий по различным дисциплинам с возможностью и дополнения; .
компоновка вариантов тестирования;
апробация тестовых заданий с выявлением уровня сложности для адаптивного тестирования;
выбор алгоритмов адаптивности тестирования;
обработка результатов тестирования, формирование ведомостей и сертификатов;
сбор и анализ статистической информации.
Экспериментально подтверждено, что созданный автором диагностический инструментарий – технология АКТ создаёт условия для решения актуальных дидактических задач: создания предметных тестовых баз и комплексного средства автоматизированной обработки результатов тестирования групп обучаемых, индивидуализированной диагностики с последующей коррекцией траектории обучения, организации мониторинга в процессе аттестации и аккредитации вуза, итоговой визуализации и интеграции результатов тестирования при использовании статистической обработки.
Разработаны методические рекомендации в виде пакета инструкций, памяток для студентов, способов формирования репрезентативной выборки тестируемых для организаторов педагогических мониторинговых исследований; инструктивно-методические рекомендации для проведения аттестационного тестирования; рекомендации по использованию авторских компьютерных программ обработки результатов тестирования
Использование предложенной технологии АКТ в практике подготовки студентов инженерных специальностей к аккредитации вуза показало наличие положительной динамики в освоении общетеоретических и профессиональных дисциплин, что проявилось в существенном увеличении процента усвоения дидактических единиц в результате итогового тестирования по сравнению с предварительным.
Выполненное исследование подтвердило правомерность выдвинутых в диссертации предположений и выводов. Использование его результатов в управленческой деятельности руководителей вузов и преподавателей будет способствовать повышению эффективности управления качеством обучения в инженерном вузе.
Проведенное исследование выявило ряд новых проблем, требующих решения: это исследование влияния технологии адаптивного компьютерного тестирования на процесс целостного развития обучаемых; углубленное исследование современных методов шкалирования тестов, проблем, связанных с валидизацией тестов, создания национальной системы тестирования.
Основные результаты исследования отражены в следующих публикациях автора:
А.с. 2003610459 РФ, МКИ3 В25j /00. Универсальный тестовый комплекс (УТК) / Т.Л. Шапошникова, Р.В.Терюха, А.В. Лаврентьев, О.С. Агранович.
Физика на вступительных экзаменах в Кубанском государственном технологическом университете. Методические указания для абитуриентов. (учебно-методические разработки) Сост.: А.И. Гаврилов, Р.В., Т.Л. Шапошникова, Терюха, А.В. Лаврентьев, Е.В. Сердюк, Л.Н. Караванская, М.И.Сомова и др. - Краснодар. –Изд. КубГТУ, 2001.
Готовимся к всероссийскому государственному тестированию по физике. Часть 1. Методические указания для абитуриентов. (учебно-методические разработки) Сост.: А.И. Гаврилов, Т.Л. Шапошникова, Р.В. Терюха, А.В. Лаврентьев, Е.В. Сердюк, Л.Н. Караванская, М.И. Сомова и др. - Краснодар. –Изд. КубГТУ, 2002.
Готовимся к всероссийскому государственному тестированию по физике. Часть 2. Методические указания для абитуриентов. (учебно-методические разработки) Сост.: А.И. Гаврилов, Т.Л. Шапошникова, Р.В. Терюха, А.В. Лаврентьев, Е.В. Сердюк, Л.Н. Караванская, М.И. Сомова и др. - Краснодар. –Изд. КубГТУ, 2003.
Физические основы механики. Методические указания к лабораторным занятиям по физике. (учебно-методические разработки) Сост.: А.И. Гаврилов, Т.Л. Шапошникова, Р.В. Терюха, А.В. Лаврентьев, Е.В. Сердюк, Л.Н. Караванская, М.И. Сомова и др. - Краснодар. –Изд. КубГТУ, 2002.
Раздел 2. Электричество и магнетизм. Методические указания к лабораторным занятиям по физике. (учебно-методические разработки) Сост.: А.И. Гаврилов, Т.Л. Шапошникова, Р.В. Терюха, А.В. Лаврентьев, В.Г. Миненко, Л.Н. Караванская, М.И. Сомова и др. - Краснодар. –Изд. КубГТУ, 2002.
Раздел 3. Колебания. Раздел 4. Оптика. Раздел 5. Корпускулярно волновой дуализм микрочастиц. Методические указания к лабораторным занятиям по физике. (учебно-методические разработки) Сост.: А.И. Гаврилов, Р.В. Терюха, А.В. Лаврентьев, Е.В. Сердюк, Л.Н. Караванская, М.И.Сомова и др. - Краснодар. –Изд. КубГТУ, 2003.
Сборник задач по общему курсу физики Раздел 1. Физические основы механики Раздел 2. Электричество и магнетизм (учебно-методические разработки) Сост.: Т.Л. Шапошникова, А.И. Гаврилов, Р.В. Терюха, А.В. Лаврентьев, В.Г. Миненко, Л.Н. Караванская, М.И. Сомова и др. - Краснодар. –Изд. КубГТУ, 2004.
Сборник задач по общему курсу физики. Раздел 2. Оптика. Раздел 3. Колебания и волны. Сост.: М.Л. Блинникова, А.И. Гаврилов, И.А Гаврилов, Е.С. Киселева, Р.В. Терюха, А.В. Лаврентьев и др. - Краснодар. –Изд. КубГТУ, 2005.
Терюха Р.В. Уровневая дифференциация тестов педагогических измерений. // Школьные годы. -2005 -№5 – С.38-40
Программа мониторинга движения нефтяного пятна по поверхности моря. Тез. докл. 10 Всероссийской научной конференции ассоциации студентов-физиков., Екатеринбург, 2003г. Екатеринбург, 2003. 325с.
Использование MATLAB-WEB-SERVER в разработке сайта экологического моделирования. Тез. докл. 10 Всероссийской научной конференции ассоциации студентов-физиков., Екатеринбург, 2003г. Екатеринбург, 2003. 331с.
Исследование теплофизических свойств гетерогенных систем и сложного тепломассообмена: Отчет о НИР/ КубГТУ 2003, Руководитель Т.Л. Шапошникова № _________
Универсальный тестовый комплекс Тез. конф., Современные технологии обучения 2005 – М., 2005. 153 с.
А.А. Федоров Многофункциональный оптический логический элемент Проблемы физико-математического моделирования // А.А. Федоров, Р.В. Терюха Сб. науч. тр. / Кубан.гос.технолог.ун-т. – Краснодар: Изд. КубГТУ, 2005.
Т.Л. Шапошникова. Комплексная экспертиза качества обучения в техническом вузе Проблемы физико-математического моделирования: Межвузовский сборник научных трудов / Т.Л. Шапошникова. Р.В. Терюха Сб. науч. тр. / Кубан.гос.технолог.ун-т. – Краснодар: Изд. КубГТУ, 2005.
Терюха Р.В. Использование калькуляторов Matcad для решения задач моделирования экологических процессов при подготовке студентов инженерных специальностей. // Педагогическая информатика, 2004, №1. С.50-54.