Методические рекомендации по составлению банков тестовых заданий

Министерство образования и науки Российской Федерации

ТАМБОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Методические рекомендации по составлению

банков тестовых заданий

Тамбов – 2008

УДК

ББК

Рецензенты:

В методических рекомендациях излагаются основные правила составления тестовых заданий для оценки знаний учащихся и правила их представления в редакторе MSWord для дальнейшего их использования в системе адаптивного тестирования АСТ-тест.

Введение

Наряду с традиционными методами обучения и контроля знаний тестирование быстро становится необходимой частью учебного процесса. Это методическое направление в педагогике вновь возрождается в нашей стране.

Цель проведения экзаменов и другого контроля знаний в тестовой форме состоит в том, чтобы повысить объективность оценки уровня знаний. Когда тестирование знаний в группе студентов проводится по пройденному курсу, то полнота его изучения выявляется как для всей группы в целом, так и индивидуально для каждого студента.

В отличие от традиционного контроля в форме опроса, устного экзамена или зачета, которое отнимает много времени, тестирование проводится для студентов всей группы одновременно и, хотя процесс тестирования в целом менее продолжителен, он дает более объективную картину уровня знаний студентов. Тестирование, независимо от того, проводится оно в письменной форме или посредством компьютеров, психологически меньше нагружает студентов и преподавателей. Результаты тестирования после обработки на компьютере представляются в форме совокупности стандартных статистических показателей, пригодных для установления рейтинга знаний студентов и сравнительных характеристик студенческой группы в целом.

Следует отметить, что содержание данных рекомендаций не может носить обязательный характер. Имеющаяся законодательная база не обеспечивает полной определенности ни по форме тестов, ни по их содержанию. Это приводит к тому, что различные сложившиеся в стране центры тестирования, ссылаясь, в основном на труды одного автора (Аванесова В.С.) приводят свои требования к содержанию тестовых заданий.

В данном методическом пособии сделана попытка объединить общие принципы тестирования и содержания тестов и требования к содержанию тестовых заданий и их представление в редакторе MS Word АСТ (Адаптивной среды тестирования).

1. Введение в тестологию

Все известные педагогические задания можно разделить на три группы: тестовые, псевдотестовые и – если можно так назвать – нетестовые.

К нетестовым заданиям относятся задачи, вопросы, примеры, упражнения, кроссворды и все остальное, не имеющее отношения к тем тестам, которые разрабатываются преимущественно профессионалами для итогового контроля знаний. К нетестовым же относится и множество заданий неопределённой формы, называемых тестами вследствие упрощенного перевода с английского слова "test" – проверка, проба. Задание может быть тестовым и по форме, и по содержанию, но не соответствовать, тем не менее, специальным тестологическим требованиям к тестовым заданиям.

Название "псевдотестовые" как бы наталкивает на мысль об ущербности, неполноценности или даже их непригодности для тестирования. Естественно задать вопрос – а почему же они все-таки так названы? Это сделано только потому, что, будучи по форме очень похожими на тестовые задания, они не являются таковыми с точки зрения требований уже упоминавшейся математической теории тестов (Item Response Theory). Если для испытуемых одинакового уровня подготовленности правильный ответ на одно задание зависит от правильного на другое, то такие задания тест, в научном его понимании, не образуют. Именно в этом, статистическом, смысле они и были названы псевдотестовыми.

Псевдотестовые задания представляют собой новый вид контрольного материала, особо ценного для организации самостоятельной учебной работы и для самоконтроля, а также для проведения итоговой государственной аттестации выпускников образовательных учреждений. Потребность в таких заданиях возникает при попытках модернизации учебного процесса и при проведении итоговой государственной аттестации выпускников образовательных учреждений. В связи с тем, что итоговое тестирование проводится после окончания учебного процесса, оно только опосредованно влияет на качество обучения. Отсюда вытекает задача найти такую форму контроля знаний, которая органично вплетается в учебный процесс, ежедневно мотивируя работу учащихся.

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения [1].

Это и все другие современные словарные определения подчеркивают то, что тест означает проверку, испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства, что в состав теста входят тестовые задания, что тест должен быть стандартизирован и что назначение теста – это выявление личностных особенностей или приращений.

Тест не является аналогией отдельным заданиям, экзаменационным вопросам, анкетам, головоломкам и пр. В его основе лежит специально подготовленный и испытанный набор заданий, позволяющих объективно и надежно оценить исследуемые качества и свойства на основе использования статистических методов.

В настоящее время в нашей стране появилось несколько центров, в которых достаточно профессионально занимаются работой с тестовыми методиками. Среди наиболее активных следует назвать: Центр тестирования профессионального образования (ЦТПО, г. Москва), Центр оценки качества образования Института общего среднего образования РАО, Центр тестирования выпускников общеобразовательных учреждений Российской Федерации, Центр психологического и профессионального тестирования МГУ, Лаборатория аттестационных технологий Московского института повышения квалификации работников образования (МИПКРО), Лаборатория изучения образовательных систем Центра развития образования (г. Санкт-Петербург), Центр аттестации областного института повышения квалификации и переподготовки педагогических кадров (г. Вологда), Научно-информационный центр государственной аккредитации Минобразования России (г. Йошкар-Ола), Исследовательский центр проблем качества подготовки специалистов, Центр аттестации Института развития регионального образования (г. Екатеринбург) и целый ряд других.

Следует признать, что тесты достижений не являются инструментом для определения всего спектра учебных достижений. Одним из существенных ограничений применения тестирования учебных достижений являются ограничения, которые накладываются на ответы. Поэтому анализ способов решения задач, мыслительных операций, которые использует обучаемый при решении задач, в большинстве случаев оказывается затруднён, но не невозможен.

1.1. Классификация тестов

В настоящее время сформировались два подхода в тестировании – критериально-ориентированные тесты и нормативно-ориентированные тесты. Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При проверке минимально допустимого уровня знаний содержание заданий носит принципиально облегчённый характер. Этот подход выработан для органов управления образованием, стоящих перед необходимостью в короткое время проверить состояние образования в большом количестве учебных заведений, и не позволить последним опускаться ниже предельно допустимого уровня требований (такими являются тесты на определение остаточных знаний). В таких случаях говорят о критериально-ориентированной интерпретации результатов. При таком подходе посредством некоторого числа тестовых заданий определяется, какие дидактические единицы знает, а какие не знает испытуемый из данного стандарта.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно разделить тестируемых на классы по степени их обученности.

В.С. Аванесов [1] вводит и третий подход – предметно-педагогический подход к интерпретации, где вывод выстраивается вдоль логической цепочки: содержание учебной дисциплины → генеральная совокупность задания для измерения знаний → тест как выборка задании из этой совокупности → ответы испытуемого → вероятностный вывод о его знаниях учебной дисциплины.

Реализуя задачу максимального разнообразия оценок в рамках подхода, ориентированного на норму, отбираются задания, которые дают максимальный разброс в оценках испытуемых, отбраковываются задания, с которыми справляются все обучающиеся или с которыми не справляется ни один из них, поскольку они, с точки зрения оценивания неинформативны. Однако когда вопрос касается анализа усвоения элементов учебного материала, то задания, с которыми справляются все или не справляется никто становятся чрезвычайно важными. Можно утверждать, что данный учебный элемент не освоен никем, а данный освоен всеми. Таким образом, критериально-ориентированные тесты дают возможность реализовать широкие диагностические возможности в отличие от тестов, ориентированных на норму.

1.2 Категории учебных целей

В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Всё это входит в систему научных знаний.

Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.

К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.

Представляет интерес структура умений предложенная проф. И.И. Кулибабой:

– Специальные, формирующиеся в процессе изучения отдельных дисциплин;

– Рациональные, учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;

– Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.

За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:

1. Знание названий, имен, фактов.

2. Фактуальные знания.

3. Знание определений и понимание их смысла.

4. Сравнительные и сопоставительные знания.

5. Классификационные знания.

6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.

7. Ассоциативные знания.

8. Причинные знания.

9. Алгоритмические, процедурные знания.

10. Обобщённые системные знания.

11. Оценочные знания.

12. Процессуальные знания.

13. Абстрактные знания.

14. Структурные знания.

15. Методологические знания.

Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл. 1).

Табл. 1 – Категории учебных целей для задач измерения

Обобщённые учебные цели

(планирует преподаватель)

Конкретизируемые учебные цели

(достигаются студентом)

Знания на уровне запоминания и воспроизведения

– знает смысл употребляемых терминов;

– знает основные понятия и определения;

– знает формулы, законы, принципы

Знания на уровне понимания

– понимает и интерпретирует термины;

– интерпретирует понятия и определения;

– преобразует словесный материал в математические выражения;

– интерпретирует словесный материал на схемах и графиках

Умения по применению знаний в известной ситуации

– умеет применять термины, понятия и определения в знакомой ситуации по образцу;

– умеет применять формулы, законы и принципы

Умения по применению знаний в незнакомой ситуации

– использует законы и принципы в новых ситуациях;

– осуществляет перенос известных принципов на незнакомые ситуации

Анализ

– видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач;

– выделяет скрытые предположения;

– проводит различия между фактами и следствиями

Синтез

– пишет рефераты, проекты и т.п.;

– предлагает план проведения эксперимента;

– решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую

Оценка

– сопоставляет факты;

– приводит оценочные суждения;

– выбирает оптимальный вариант из предложенных к рассмотрению.

1.3. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения. Но если попытаться в форме вопроса поставить два отрицания, то такое задание становится совершенно непонятным. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: "Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце". Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос.

Один из поводов для критики тестирования заключается в том, что для большинства заданий существует вероятность случайного угадывания правильных ответов. В общем случае это проблема только заданий закрытого типа, и чем меньше возможных альтернатив предлагается испытуемому в рамках одного задания, тем больше вероятность угадывания. Эта проблема остро стоит для заданий альтернативных ответов, где вероятность угадывания максимальна и составляет 50 %, поэтому не рекомендуется использовать такие задания для тестов учебных достижений. Однако серия из пяти заданий альтернативных ответов даёт вероятность угадывания 0,0313, а из десяти заданий всего лишь 0,00098.

Проблема угадывания связана еще и с вопросом времени, выделяемого на тестирование и, в некоторой степени, с вопросом мотивации. Чем выше мотивация, тем больше вероятность того, что испытуемый попытается дать ответ случайно на те вопросы, на которые он не успевает ответить, то есть попытается угадать. В свою очередь количество вопросов, по которым возможно будет проведено угадывание, зависит от времени, выделяемого на тестирование. Чем оно короче, тем больше будет вопросов, на которые распространится случайное угадывание. Таким образом, для времени, выделяемого на тестирование, должен быть найден баланс: при малом времени возрастает вероятность угадывания, при большом времени возрастает вероятность подсказок и других нарушений дисциплины.

2. Порядок разработки банка тестовых заданий (БТЗ)

Чтобы создать корректный педагогический тест по некоторой дисциплине, требуется немало времени и средств. Однако все затраты оправданы выгодами, которые приносит тестирование учебному процессу. Работа по созданию БТЗ проходит поэтапно.

1 этап.

Отбор учебного материала, подлежащего тестовому контролю, и его спецификация. Определяется круг тем, включаемых в тест, и относительное количество заданий, которым должен быть представлен каждый раздел курса. Содержание программного материала дисциплины разбивается на 5-6 смысловых блоков, примерно определяется содержательный вес каждого модуля так, чтобы процентное соотношение вопросов, формируемых по каждому блоку, соответствовало весу модуля.

2 этап.

Создание заданий в тестовой форме по всему курсу или по проверяемой его части, объединение их в тематические группы, комплектование первичного, пробного, теста. Количество разрабатываемых заданий должно превышать предполагаемую длину теста (планируемое количество заданий в тесте) как минимум в 10 раз. При проектировании заданий необходимо учитывать равномерное распределение заданий по структуре, трудности и важности материала.

3 этап.

Проверка первичного теста на группе испытуемых (студентов)

4 этап.

Статистический анализ результатов первичного тестирования, выбраковка и корректировка тестовых заданий.

5 этап.

Формирование из прошедших проверку заданий собственно теста, который должен состоять из заданий в тестовой форме различной трудности с учётом необходимого уровня усвоения знаний и максимально охватывающих всю программу дисциплины.

6 этап.

Эмпирическая проверка теста для уточнения педагогических характеристик как отдельных тестовых заданий, так и всего теста в целом, его валидности, надёжности и др.

Задания, входящие в тест, подбираются так, чтобы они давали основу для проверки некоторых из таких категорий приобретенных знаний, как названия, имена; формулы; смысл слов, названий и имен; факты; определения; сравнение, сопоставление объектов; противоположности, противоречия, антонимы и т.п.; ассоциации; классификации; причинно-следственные отношения; алгоритмы, процедуры; технологии и технологические понятия; вероятностные понятия; абстрактные понятия; методология предмета (Аванесов, 1998)

Хорошо составленный тест обеспечивает широту охвата содержания предмета и проверяет глубину знаний, полученных студентами.

Нельзя не упомянуть и о времени, отводящемся на прохождение теста. С одной стороны в тесте должно быть как можно больше тестовых заданий как минимум для обеспечения надёжности теста. С другой стороны увеличение количества заданий ведёт к увеличению времени тестирования и, как следствие, к утомлению испытуемых, что в свою очередь снижает результаты тестирования.

Таким образом, необходимо найти оптимальное время, которое отражало бы баланс между временем выполнения теста (количеством заданий) и утомлением испытуемых.

Поэтому, проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной, чтобы снизить порог утомляемости испытуемого.

Большинство тестов рассчитано на время выполнения в 40–50 минут.

Таким образом, при составлении варианта теста для апробации, можно ориентироваться на время около часа. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

В качестве практического совета можно привести вполне современную рекомендацию С. Отиса [2]: время теста должно быть таким, чтобы только 5 процентов испытуемых могли справиться со всеми заданиями.

3. Требования к банкУ тестовых заданий (БТЗ)

Каждый БТЗ должен сопровождаться спецификацией со следующей информацией: содержательная часть, качественные показатели и характеристики тестовых заданий. К содержательной части БТЗ относятся: цели применения теста, предметная область, авторский коллектив, структура и спецификации теста; дата сертификации и утверждения БТЗ. К качественным показателям относятся: валидность, количество заданий в различной форме. К физическим, характеристика теста следует отнести: физическое расположение теста, объем памяти носителя теста, наименование и размер файла (файлов), необходимых для проведения тестирования.

Тематическое содержание БТЗ определяется Государственным образовательным стандартом (ГОС).

БТЗ должен быть структурирован по разделам, темам и понятиям.

Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня структуры.

Спецификации БТЗ должны строго соответствовать своему назначению и отвечать заданной величине содержательной валидности.

Тестовые задания в БТЗ должны быть представлены в различных формах и ранжированы по трем категориям трудности.

БТЗ должен пройти экспериментальную проверку, на основании которой будут определены показатели валидности и верности оценки, зафиксированные в сопроводительной к тесту документации.

Количество заданий в БТЗ должно превышать длину формируемого на его основе теста не менее чем в 10 раз.

Композиции тестов формируются из банка тестовых заданий. Рекомендуется использовать в тесте задания, представленные в различных тестовых формах. Тест должен содержать не менее 60 тестовых заданий для математических и естественнонаучных дисциплин, не менее 100 для гуманитарных дисциплин.

На БТЗ должны быть представлены документы об авторских правах его разработчиков

3.1. Спецификация БТЗ

После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:

1. Название теста.

2. Общая цель разработки.

3. Общие задачи, решаемые при применении теста.

4. Содержание теста: части теста, части и разделы учебной дисциплины, охватываемые частями теста).

5. План теста.

6. Характеристика содержания каждого задания: что оно измеряет (конкретное название проверяемых знаний, умений, навыков или представлений), возможность фасета, число допустимых вариантов фасета.

Среднее время выполнения задания и ориентировочная мера выполнимости (% ожидаемых правильных ответов) в выборочной совокупности испытуемых.

7. Характеристика ответов к каждому заданию: мера привлекательности каждого ответа в заданиях с выбором. Фасеты ответов.

8. Количество форм заданий и инструкций. Примеры заданий и инструкций к ним.

9. Оценки за выполнение заданий.

10. Краткие рекомендации по апробации заданий. Объем и основные характеристики выборки испытуемых.

11. Определяемые характеристики качества заданий. Методы исследования.

12. Ожидаемая интерпретация тестовых результатов (варианты критериально-ориентированной, нормативно-ориентированной интерпретации или др.).

Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины). Пример реализации подобного сопряжения показан в табл.2. Перечень знаний и умений условно включены:

– А – знание понятий, определений, терминов;

– Б – знание законов и формул;

– В – умение применять законы и формулы для решения задач;

– Г – умение интерпретировать результаты на графиках и схемах;

– Д – умение проводить оценочные суждения.

Содержательные разделы дисциплины условно имеют следующие пропорции: I – 20%; II – 10%; III – 30%; IV – 40%.

Табл. 2 – Гипотетическая спецификация теста

№	Планируемые к проверке знания и умения	Содержательные линии (разделы) дисциплины				Сумма заданий по каждому пункту
№	Планируемые к проверке знания и умения	I 20%	II 10%	III 30%	IV 40%	Сумма заданий по каждому пункту
1	2	3	4	5	6	7
1	А – 10%	1	1	2	2	6
2	Б – 20%	2	1	4	5	12
3	В – 30%	4	2	5	7	18
4	Г – 30%	4	2	5	7	18
5	Д – 10%	1	-	2	3	6
Итого (строка и рассчитывается и заполняется первой	12	6	18	24	60

При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе "обкатки" теста первоначальная раскладка может существенно измениться.

Спецификация должна охватить весь материал, изложенный в ГОСе по соответствующей учебной дисциплине или в рабочей программе

4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза "Выбрать правильный ответ", "наиболее правильный ответ", "все правильные ответы", "хотя бы один правильный ответ" и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Испытуемому важно понять, что от него требуется, как он должен выполнять задание. Мало понять то, что необходимо установить правильную последовательность, то есть выполнить интеллектуальную операцию, но и то, как собственно ее устанавливать. Кроме этого, для многих заданий важно и то, в каком порядке эту правильную последовательность восстанавливать: от раннего (большего) к более позднему (меньшему) или наоборот. Например, задание на установление правильной последовательности, в которой в качестве элементов для упорядочивания предложены фамилии авторов физических законов становится непонятным, если не указать в каком именно порядке следует их располагать: в алфавитном, в хронологическом, по продолжительности жизни, по тому, кто сколько законов открыл, по географии проживания (с востока на запад) и др.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

4.1. Основные принципы составления тестовых заданий (ТЗ)

1. Разработчики АСТ считают, что тз должно быть представлено в форме краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность.

2. Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией. В тексте задания исключаются повторы и двойное отрицание.

3. Используйте задания с однозначными ответами. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.

4. В тексте тестового задания не должно быть сленга (исключая случая составления теста специально для целей, связанных со знанием этих слов).

5. Следует избегать обобщающих слов, таких как: "всегда", "иногда", "никогда".

6. Формулировка тестового задания не должна начинаться с предлога, частицы, союза.

7. Избегайте использования очевидных, тривиальных формулировок при составлении тестовых заданий. Проверяйте, чтобы каждое тз имело отношение к конкретному факту, принципу, умению, знанию, т.е. Обладало достаточной важностью для включения в тест. Все ТЗ должны быть связаны с целями обучения

8. Избегайте потери времени. Этого можно достичь следующими способами:

– Используйте в тесте только столько тз, сколько необходимо для достижения всех целей тестирования. Т.е. При тестировании вашей целью должно являться не количество тестовых заданий, а отражение всех целей тестирования.

– Не пытайтесь “обхитрить” испытуемого любым путём. Исключайте тз и ответы (в закрытой форме, например), если их можно оценить, как "обманные".

– Тщательно продумывайте формулировку тз, чтобы избежать дублирования фраз слов.

– В основную часть задания необходимо включить как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть, наиболее важных, ключевых слов для данной проблемы.

9. Избегайте взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое задание.

10. Избегайте непреднамеренных подсказок в заданиях и образцах ответа. Эти подсказки являются одним из способов угадывания правильного ответа без обладания достаточными знаниями или умениями. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Такими подсказками могут быть:

– Грамматические подсказки

– Ассоциативные слова и определения (например, в тз закрытой формы использование одинаковых жаргонных фраз или слов в формулировке тз и в возможном ответе).

– Систематическое повторение некоторых черт правильного ответа. (например, в тз закрытой формы правильным чаще является ответ наиболее длинным по количеству символов).

11. При разработке заданий открытой формы следует предусмотреть и указать возможные варианты ответа.

12. Задания на установление соответствия:

– Задание необходимо сформулировать так, чтобы все содержание можно было выразить в виде двух однородных множеств. Элементы задающего столбца необходимо расположить слева (сверху), а элементы для выбора справа (внизу экрана). Для каждого столбца желательно ввести определенное название, обобщающее все элементы столбца.

– Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца;

13. В задании на установление правильной последовательности четко формулируется критерий упорядочивания.

14. Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведём требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinationes and Assesment Board): "Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определенного пола. Половой ориентации вопроса необходимо избегать в любом случае. Нельзя считать, что формулировка вопроса в мужском роде подразумевает большую легкость ответа, чем в женском роде. Использование формулы "он/она" также нежелательно, при формулировании вопросов. Лучше пользоваться неродовыми формулировками". Лучше обращаться к группе, а не к отдельному обучающемуся.

4.2. Рекомендации по назначению нормы трудности

1. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки.

2. Норма трудности зависит от следующих факторов:

– количество концептов, необходимых для решения ТЗ;

– образ мышления, на который направлено ТЗ;

– форма ТЗ;

– уровень значимости ТЗ;

– глубина расположения ТЗ в спецификации;

– количество вариантов ответов.

3. Норма трудности ТЗ может оцениваться с учётом количества используемых концептов, необходимых для поиска правильного решения. Под концептом в дальнейшем понимается некоторое умозаключение (формула, правило, аксиома и т.д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.

4. Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ.

5. Если ТЗ направлено на "опознание" какого-то объекта или на проверку "знания-знакомства", то такое ТЗ следует считать простым.

6. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.

7. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.

8. Если ТЗ направлено на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях с которыми знаком испытуемый) или на проверку "знаний воспроизведения копии", то такое ТЗ следует считать ТЗ среднего уровня сложности. К ТЗ такого уровня сложности следует относить высказывания конъюнктивного или дизъюнктивного вида или ТЗ с несколькими концептами по выбору подмножества правильных вариантов из заданного множества дистракторов. В некоторых случаях к ТЗ такого уровня сложности могут быть отнесены ТЗ на соответствие и порядок.

9. Если ТЗ направлено на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку "знаний умения и применения", то такое ТЗ следует считать сложным. К ТЗ такого уровня сложности относятся задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

10. Назначение нормы трудности можно производить с учётом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ – на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.

11. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определённый набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, то есть материалу, который даётся лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.

12. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ уровню "глубины" спецификации теста. Если ТЗ раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое "Понятие"), то такое задание будет легким. Принадлежность ТЗ средним уровням иерархии спецификации теста (например, некоторой "Теме" или "Подтеме") повышает норму трудности – средний уровень сложности. Наконец, ТЗ, относящееся к верхнему уровню, корню дерева иерархии (например, к "Разделу", "Главе"), можно считать сложным.

13. Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ.

14. При установлении нормы трудности тестовых материалов важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.

5. ВИДЫ И ТИПЫ ТЕСТОВЫХ ЗАДАНИЙ

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

Некоторые авторы дают более подробную классификацию – выделяя всего два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества (рис. 1).

Рис. 1 – Типы и виды тестовых заданий

5.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Главной трудностью при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа. Существует несколько приемов, которые позволяют формализовать ответ, сделать его однозначным.

Положительными сторонами хорошо составленных заданий дополнения являются:

1) краткость и однозначность ответов;

2) необходимость воспроизведения ответа по памяти;

3) отсутствие необходимости искать несколько вариантов ответа;

4) простота формулировки вопросов;

5) простота проверки;

6) невозможность угадать ответ.

Основное преимущество этих заданий – невозможность угадать ответ, а основной недостаток – сложность формулировки правильного ответа. Тем не менее, для задач на вычисление, задач с формулами в качестве ответа эта форма представляется оптимальной.

После дополнения задания особым образом получается истинное или ложное высказывание, например:

Автором теории относительности считается ____

Положительный заряд ядра определяется числом____

Прямоугольник, у которого все стороны равны называется ___________.

Приведем пример вопроса с нарушенным принципом однозначности ответа:

Площадь треугольника вычисляется по формуле _________.

При выполнении данного задания могут быть получены несколько правильных ответов, что при технологии тестирования недопустимо.

К тем принципам, которые уже известны, следует добавить несколько общих логических принципов, характерных не только для заданий открытой формы, но и других.

1. Принцип логической определенности
содержания задания. Смысл его можно определить так: задание является логически определенным, если оно способно продуцировать у знающих испытуемых правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа.

Нарушением принципа логической определенности являются примеры:

Первая социал-демократическая партия была создана в _____. (Где или когда?)

В схеме абсолютных приоритетов также выполняется маскирование: на время обслуживания каждого запроса вводится … обслуживания запросов с равным или более низким приоритетом.

(контрольное тестирование АСТ специальности 230104 по дисциплине "Операционные системы")

Правильный ответ – маскирование вряд ли при такой постановке вопроса сможет указать хоть один из испытуемых.

2. Вариативность (фасетность)содержания
задания. ФАСЕТ – это форма записи нескольких вариантов одного и того же задания. Применение фасета позволяет в процессе контроля исключить списывание и другие искажения, известные из опыта проведения экзаменов, зачетов и др. традиционных форм проверки знаний. Идея фасета ассоциируется с известной практикой создания нескольких вариантов одинаково трудных заданий для проведения контрольных работ. Принцип фасетности является главным при композиции профессионально разрабатываемых тестовых заданий; он позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, вариантов теста.

Ток силой {i}, проходя по проводнику {r} за время {t} секунд выделяет ____ джоулей тепла.

В этом задании имеется 3 символьных фасета, позволяющих в машинном варианте подставить любые комбинации допустимых значений силы тока, сопротивления и времени для проверки умения применять закон Джоуля-Ленца. Такие же фасеты можно сделать для проверки знаний всех физических законов и умений их применять для выполнения лабораторных и практических работ.

3. Принцип параллельности
включает в себя 3 понятия, связанных между собой отношением кумулятивности:

– параллельность заданий (или вариантов заданий) по содержанию;

– параллельность по содержанию и форме;

– параллельность по содержанию, форме и по трудности заданий.

Параллельность заданий по содержанию достигается использованием принципа фасетности и применением 4 принципа – обратимости.

4. Принцип обратимости
. На примере:

Операция нахождения производной функции называется_____

Обратное:

Дифференцированием называется операция нахождения_____

Задания, построенные по принципу обратимости, можно использовать в текущем и итоговом контроле знаний.

При применении обратимых заданий возникает вопрос выбора лучшего варианта для итогового тестирования. При осуществлении такого выбора полезно обсудить педагогические и психологические соображения и аргументы, опробовать все варианты на параллельных выборках и только после этого выбирается то задание, которое в большей степени обладает свойствами тестового задания для данного теста.

Если обратимые утверждения находятся в одном тесте, может возникнуть тавтология и испытуемые могут найти ответ на один вопрос из формулировки другого.

Если испытуемые хотя бы немного ориентируются в учебном материале, то в случае тавтологии ответ для одного задания они найдут из содержания другого.

Некоторые педагоги считают задания открытой формы лучше заданий с выбором одного ответа из нескольких, но это мнение спорно [2]. Например:

Фалес – это первый ... философ.

Правильные варианты ответа: греческий;

Не каждый испытуемый, глядя на этот вариант задания, сообразит, что от него требуется. Для этого вначале нужно уяснить смысл задания – о каком свойстве идет речь, на какой вопрос требуется ответить. (Ведь это предложение и без вставленного ответа уже имеет смысл). В такой ситуации лучше задание с выбором:

Фалес – это первый ... философ.

– греческий

– римский

– арабский

– египетский

Из двух заданий открытой и закрытой формы, выясняющих одно и то же, лучшей, в данном случае, является закрытая форма.

6. Краткость
. Точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. Зачастую из вопроса опускаются слова "называется", "является" и т. п., что не затрудняет понимания.

7. Принцип неотрицательности
. В основе задания не рекомендуется использование отрицательных частиц, а также определение понятия через перечисление элементов, не входящих в него. Характерные примеры приводит В.С. Аванесов:

Банки не ставятся на _______. (позвоночник)

Однако банки не ставятся не только на позвоночник, но и на многие другие части тела.

Точкой называется то, что не имеет _____.

По определению Евклида "Точкой называется то, что не имеет частей".

В этом задании нарушено логическое правило: определение не должно быть отрицательным. Испытуемые будут правы, если напишут, что точка не имеет длины, ширины, высоты, веса, запаха, вкуса и много чего еще.

5. Принцип логической соразмерности
объема определяющего понятия объему определяемого.

Характерная особенность содержания заданий открытой формы в том, что они иногда порождают несколько правильных, но логически несоразмерных ответов, что нежелательно с точки зрения однозначной оценки и технологичности контроля.

Первым космонавтом был _____

Автор ожидал ответ "Гагарин", но наряду с этим от некоторых испытуемых получил ответы "русский человек", "мужчина", "советский гражданин" и другие, которые с разных сторон характеризуют Гагарина. Полученные ответы нельзя оценить как неправильные, но их трудно приравнять к ожидавшемуся правильному ответу. Такие ситуации недопустимы, так как при компьютерном тестировании ответ сравнивается с эталоном посимвольно.

Выход из подобной ситуации подсказывает логика. Для сужения объема искомого понятия задание лучше сформулировать: "ФАМИЛИЯ ПЕРВОГО КОСМОНАВТА". Таким образом, в задание вносится необходимое уточнение, что позволяет уменьшить объем понятия за счет уточнения содержания, после чего испытуемый дает только один правильный ответ

С точки зрения композиции задания открытого типа должны содержать обязательные элементы:

1. Инструкция для испытуемых
. Это может быть фраза "дополнить", а также более конкретные инструкции: "указать в именительном падеже", "указать с точностью до сотых", "указать через пробел (запятую)" в том случае, если предполагается ввести два слова, "указать дату в формате ДДММГГГГ" (или только год).

2. Содержательная основа заданий
. С помощью заданий открытой формы удобно проверять знание названий, фактов, свойств, признаков, дат, причинно-следственные отношений.

Положительный электрод называется ____

3. Ответы к заданиям
. Во всяком тестовом задании заранее определяется, что однозначно считается правильным ответом на заданный вопрос.

Например:

Увеличение числа слоев ядра ОС ведет к некоторому замедлению его работы за счет межслойного взаимодействия, а уменьшение – … расширяемость и логичность системы.

Ответ автора (контрольное тестирование АСТ специальности 230104 по дисциплине "Операционные системы") – ухудшает

, а вполне возможны и множество других вариантов, например, снижает, усложняет и т.д. В данном случае необходимо либо предусмотреть в качестве эталонных ответов все синонимы (что при богатстве русского языка невозможно), либо не давать задания открытого типа на слова общего характера.

В большинстве случаев ответы к заданиям открытой формы испытуемые пишут в конце задания. Допустимы случаи, когда ответы ставят не в самом конце тестового утверждения. Чем ближе пропуск к началу предложения, тем хуже понимается смысл задания. Поэтому пропуск для ответа лучше делать как можно ближе к концу предложения.

Задания открытой формы применяются там, где нужно исключить вероятность получения правильного ответа посредством угадывания и тем самым повысить качество педагогического измерения. Задания открытой формы, поэтому, являются более трудными как для испытуемых, так и для создателей теста. От создателей они требуют тщательной проработки, учета множества правил, а от испытуемых – конкретных знаний.

5.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как "правильного ответа нет", "все ответы правильные" или "все ответы неправильные", которые в практике еще встречаются.

Задания с выбором одного или нескольких ответов являются самой критикуемой формой. Сторонники привычных подходов утверждают, что по-настоящему проверить знания можно только в процессе непосредственного общения с учеником, задавая ему уточняющие вопросы, что помогает лучше прояснить подлинную глубину, прочность и обоснованность знаний. С подобными утверждениями надо согласиться. Но есть еще вопросы экономии живого труда преподавателей и испытуемых, экономии временных затрат и вообще проблемы повышения эффективности образовательного процесса.

Нередко считается, что найти правильный ответ гораздо легче, чем формулировать его самому. Однако в хорошо сделанных заданиях незнающему ученику неправильные ответы часто кажутся более правдоподобными, чем правильные. Талант разработчика теста раскрывается в процессе создания именно неправильных, но очень правдоподобных ответов. Другое возражение – что тестовое задание с выбором одного или нескольких правильных ответов годится только для оценки знаний так называемого низшего уровня.

5.2.1. Задания альтернативных ответов

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – "да-нет", "правильно-неправильно" и пр.

Поощрения в трудовую книжку

– записываются

– не записываются

Задания альтернативных ответов являются самыми простыми, но не самыми распространенными при составлении тестов. Это связано, в основном, со специфичностью того материала, которому в большей степени соответствует эта форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний. Использование заданий альтернативных ответов в виде отдельного вопроса, одиночно, приводит, как правило, к тривиальному тестированию и нежелательно для использования. О том же говорят и рекомендации СIТО: "Вопросы альтернативных ответов предлагают только одну альтернативу, которую тестируемый либо принимает как правильную, либо отвергает". Таким образом, у испытуемых есть возможность на 50 % отгадать правильный ответ на один вопрос. Поэтому эти задания целесообразно применять сериями к одному элементу знаний, надо иметь в виду, что шанс отгадать 10 таких вопросов равен 0,00098.

В индивидуальном порядке вопросы альтернативных ответов не очень эффективны, а вот длинные серии таких вопросов имеют определенные преимущества. Ответы на них обычно не занимают много времени, и есть возможность охватить весь материал по предмету, задавая как можно больше вопросов по нему.

5.2.2. Задания множественного выбора

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

В заданиях множественного выбора количество правильных ответов объективными причинами не ограничивается. Необходимость испытуемому самому определять количество правильных ответов значительно усложняет само задание.

Поиск правдоподобных однородных ответов составляет основную трудность для разработчиков заданий множественного выбора.

При составлении заданий множественного выбора следует руководствоваться принципом однородности:

3. Принцип однородности
. Подбираются такие ответы, которые относятся к одному роду, виду, отображают основные стороны, грани явления. Этот принцип применяется в заданиях с различным числом ответов.

При создании заданий по принципу однородности существенным фактором усиления их эффективности является использование сходных по написанию или звучанию букв, цифр, знаков, слов или словосочетаний. Это позволяет делать ответы правдоподобными, логически безупречными. Очень характерный пример приводит В.С.Аванесов:

Наносы на склонах, вызванные дождевыми и талыми водами, называются

– делювий

– аллювий

– иллювий

– элювий

Принцип однородности часто дает возможность создать полную систему ответов, в которой нечего добавить:

Все арифметические операции над двоичными числами в эвм сводятся к

– сложению

– вычитанию

– умножению

– делению

При формировании заданий с выбором особое внимание уделяется подбору неправильных ответов. Например:

Абсолютную влажность определяют

– гигрометром

– психрометром

– барометром

– термометром

Намек на правильный ответ для понятия "влажность" дает перевод на русский язык латинского слова "гигро", в то время как правильный ответ второй. В общем, чем лучше дистракторы, тем лучше задания. Тал

ант разработчика проявляется, в первую очередь, в подборе дистракторов. Каждый ответ должен привлекать к себе испытуемых; при этом правильный привлекает к себе знающих, неправильный – незнающих. Иначе говоря, не только правильные, но и неправильные ответы выбираются в зависимости от подготовки.

Очевидно, что правильный ответ должен быть совершенным. С другой стороны, он не должен сильно отличаться от других отвлекающих вариантов по длине или стилю. Часто допускается ошибка при написании вопросов – это то, что правильный ответ обычно очень тщательно сформулирован и длиннее, чем другие варианты, так чтобы было легко вычленить его даже тому, кто не владеет предметом.

5. Принцип импликации
.

Тестовый контроль знаний иногда критикуют за некий примитивизм, не позволяющий якобы проверить знание причинно-следственных отношений. Ошибочность подобной критики видна из следующих примеров, где используется принцип импликации, который относится к формулировке содержания. Содержание при этом имеет логическую форму условного суждения вида "если….., то"

Если при данном объеме производства рыночная цена товара меньше средних переменных затрат, то фирме следует

– уменьшить выпуск

– увеличить выпуск

– ничего не менять

– прекратить производство

6. Принцип формулирования заданий с ответами, правильными в различной мере.

При формулировке задания обязательно указывать, что требуется отметить "наиболее правильный ответ". Содержание задания обычно нацеливается на проверку сопоставительных знаний, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени.

Момент инерции можно определить относительно

– оси

– оси и плоскости

– оси, плоскости и точки

Здесь все ответы правильные, но наиболее правильный – третий.

В результате общей устремленности к уменьшению числа слов в тестовых заданиях нередко опускаются такие слова, как "является", "называется", в результате чего задания становятся менее однообразными по подбору слов, но все-таки понимаемыми.

Примерное число слов в заданиях – 10-15, в общем, чем меньше, тем лучше. Утяжеление заданий требованием что-то найти, решить и затем еще сравнить или объяснить отрицательно сказываются на качестве задания, хотя с педагогической точки зрения легко понять причину такой формулировки.

Краткость заданий в тестовой форме вытекает из преимуществ логической формы высказывания, поэтому задания всегда короче задач и вопросов. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться ясности смысла содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные испытуемым символы, иностранные слова, затрудняющие восприятие смысла. Хорошо, когда задания содержат не более одного придаточного предложения.

Все повторяющиеся слова в ответах рекомендуется вынести в основу задания. Ответы при этом становятся короче, а само задание приобретает логическую ясность.

Например:

Неправильно

Правильно

За счет каких параметров можно увеличить производительность машин?

– за счет увеличения металлоемкости машин

– за счет увеличения грузоподъемности

– за счет уменьшения грузоподъемности

– за счет увеличения времени цикла

– за счет уменьшения времени цикла

Производительность машин можно увеличить за счет

– увеличения металлоемкости машин

– увеличения грузоподъемности

– уменьшения грузоподъемности

– увеличения времени цикла

– уменьшения времени цикла

5.2.3. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

К философским понятиям относятся

– атом

– бытие

– развитие

– знание

– свобода

– качество

– революция

– количество

Художники эпохи возрождения

– Гойя

– Рафаэль

– Шарден

– Боттичелли

– Сикейрос

– Леонардо да Винчи

– Рублев

В этих заданиях используется только один принцип композиции – это принцип однородности ответов. Все приведенные примеры связаны с идеей проверки знаний о принадлежности к тому или иному роду, виду, классу.

Задания с выбором нескольких правильных ответов очень удобны для проверки знаний, которые можно отнести к типу "что для чего".

Общее число ответов, по мнению некоторых авторов, желательно иметь от 5 до 7. При этом возникает вопрос оптимальной доли числа правильных и неправильных ответов. Добиваться равенства количества правильных и неправильных ответов в каждом задании не следует, потому что испытуемые должны быть готовы к тому, что в любом задании может оказаться любое количество правильных ответов. При компьютерном тестировании следует обратить внимание испытуемых на графическое оформление ответов в заданиях с единственным правильным ответом и с несколькими правильными ответами. В АСТ-системе задание считается выполненным неправильно, если испытуемый переходит к следующему заданию, найдя только один правильный ответ, а не все из эталонных ответов.

Не рекомендуется отрицательная формулировка заданий, т. е. когда спрашивается о том, что не используется, не относится, не делается и т. д.

5.3. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

Задания на установление соответствия особенно полезны для ассоциирования физических, математических и других формул со сферами их практического применения. В любом учебном предмете встречается учебная информация, в которой изучаемые объекты (понятия, величины и т. п.) разбиваются на виды, классы, типы и т. д. Для каждого из этих видов существует множество свойств и характеристик, принципов, правил и норм использования, так что есть возможность составления вопросов на установление соответствия этих терминов их характеристикам. Причем, вопросы на установление соответствия в этом случае будут более рациональны, чем вопросы с выбором правильного ответа из перечня.

Обычно задание соответствия состоит из двух столбцов: в первом – вопросы, утверждения, факты, понятия и т. д., во втором идет список утверждений или свойств, объектов, которые надо поставить в соответствие. Число элементов второго столбца примерно в два раза больше числа элементов левого столбца, чтобы последняя пара не подбиралась методом исключения.

Главными преимуществами заданий этого вида являются: возможность быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

При конструировании заданий на установление соответствия необходимо учитывать требование, вытекающие из особенностей восприятия – число входных данных одного списка не должно превышать 5-6; если их больше, лучше составить еще одну или несколько задач.

Задания на установление соответствия позволяют проверить так называемые ассоциативные знания, существующие в каждой учебной дисциплине. Это знание о взаимосвязи определений и фактов, авторов и их произведений, форм и содержания, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Педагогический смысл применения таких заданий заключается в стремлении активизировать собственную учебную деятельность учащихся посредством усиления ассоциаций изучаемых элементов и осмысления результатов контроля и самоконтроля. У испытуемых появляется важное для процесса самостоятельного учения знание о том, чего они не знают.

При составлении заданий на установление соответствия используются уже названные принципы фасетности, краткость и точность формулировок, понятность для всех испытуемых.

Важнейшим требованием к заданиям на установление соответствия является требование однородности элементов групп.

Соответствие формулы и результата ее вычисления:

ФОРМУЛА	ИСПОЛЬЗУЕТСЯ ДЛЯ ВЫЧИСЛЕНИЯ
1. Лагранжа	А) несобственного интеграла
2. Лопиталя	Б) неопределенного интеграла
3. Трапеций	В) определенного интеграла
4. Половинного деления	Г) пределов
	Д) производной в средней точке
	Е) середины отрезка
Ж) корней уравнений

Еще одним требованием при составлении заданий на соответствие является взаимная однозначность соответствия, т. е. каждому элементу первого множества ставится в соответствие только один элемент второго множества.

5.4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это может быть порядок технологических операций, для гуманитарных дисциплин – восстановление временных последовательностей событий, для точных наук – алгоритмы решения задач и этот список практически бесконечен.

Кроме перечисленных принципов, при составлении заданий на упорядочивание элементов следует отметить обязательность инструкции для испытуемых – в какой именно последовательности располагать элементы – от большего к меньшему, в алфавитном, хронологическом порядке и т. п.

Если в задании подразумевается иерархия, то следует указать с чего начинать отсчет – от младшего или старшего (высшего) элемента. При проведении тестирования испытуемые обязательно требовали пояснений к следующим заданиям (с чего начинать?), хотя порядок не вызывал трудностей.

ПЕРЕЧИСЛИТЕ В ПРАВИЛЬНОМ ПОРЯДКЕ ОРГАНЫ ГОСУДАРСТВЕННОЙ ВЛАСТИ ФРГ

1: Бундестаг

2: Бундесрат

3: Федеральный президент

4: Федеральный канцлер

В данном вопросе нет т.н. "точки отсчета", т.е. с чего начинать перечисление.

Данный тип заданий позволяет проверять культуру алгоритмического мышления (нацеленной на определение наилучшей последовательности действий при решении тех или иных задач), знания, умения, навыки по установлению правильной последовательности различных по содержанию "объектов": 1) исторических событий; 2) технологических действий, операций, расчетов (в том числе при решении типовых задач); 3) процессов; 4) терминов в научных определениях; 5) событий сюжетов различного рода художественных произведений и т.п. Название задания
фиксирует то, что должен продемонстрировать студент, ключевое слово названия лучше всего писать в именительном падеже. Содержание задания
включает в себя название и ранжируемые "объекты". Место для ответов –
это прямоугольники, нарисованные слева, против названия каждого элемента. В них нужно проставлять соответствующие цифры (ранги). В самом задании элементы ставятся в случайном порядке, чтобы в их расположении не было никакого намека на правильный порядок. Для предотвращения угадывания окончания всех слов лучше писать в именительном падеже. Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. Чаще всего, однако, используется дихотомическая оценка 1/0, при которой один балл дается за правильную расстановку всех рангов в задании, ноль – при ошибке в ответе. Возможно использовать и такое правило: безошибочное решение оценивается, например, 3 баллами; ошибка конце задания – 2 баллами; ошибка в середине – 1 баллом; ошибка в начале – 0 баллов.

Установить правильную последовательность:

СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917 г.

VI cъезд РСДРП (б)

отречение царя Николая II

приезд Ленина

создание Петроградского совета

взятие Зимнего дворца

Корниловский мятеж

ликвидация двоевластия

II съезд Советов

В пользу того, что задания в тесте должны быть максимально разнообразными, можно привести три существенных довода.

1. Задания разного типа делают тестирование более разнообразным, с точки зрения испытуемых. Более разнообразная деятельность позволяет отодвинуть порог наступления утомления и, как следствие, позволяет больше времени выделить на тестирование, а, имея больший запас времени, мы имеем возможность поместить в тест большее количество заданий и, как следствие, получить более надежный инструмент.

2. Имея тест, состоящий из заданий одного вида, мы всегда имеем реальную опасность получить в качестве составляющей итогового балла умение обучаемых работать с этой формой заданий. Те, кто быстрее приспособятся к ней, те, для кого эта форма окажется наиболее удобной, получат преимущества. Этого можно избежать, используя задания различного вида.

3. Для разных элементов содержания образования подходят разные по форме задания. Для сложных определений, проверки понимания фактического материала – задания альтернативных ответов, для знаний временных или пространственных явлений – задания на восстановление последовательности и т. д. Поэтому, пытаясь свести все многообразие учебного материала к одной форме, мы заведомо делаем тест, в котором содержание не соответствует форме. И, как следствие, он будет менее качественным. Исходя из этих соображений, в тесты следует включать задания разного типа и вида.

6. ТИПИЧНЫЕ ОШИБКИ ПРИ РАЗРАБОТКЕ ТЕСТОВЫХ ЗАДАНИЙ

6.1. Формулировка заданий в форме вопроса.

Неправильно:

Правильно:

Что содержится в файле с расширением obj?

А. Исходный текст программы;

В. Библиотечные функции;

С. Исполняемая программа;

D. Объектный код программы

Файл с расширением obj

содержит:

Исходный текст программы

Библиотечные функции

Исполняемую программу

Ö
Объектный код программы

6.2. В дистракторах присутствуют повторяющиеся слова или словосочетания

Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий

Неправильно:

Правильно:

В каких сетях применяется ППД типа «маркерная шина»:

а) в локальных сетях со звездообразной топологией;

б) в локальных сетях с шинной топологией;

в) в локальных сетях с смешанной топологией.

ППД типа «маркерная шина» применяется в локальных сетях с … топологией

звездообразной

с шинной

смешанной

В каком многопрограммном режиме работы функционируют так называемые диалоговые системы?

а) в режиме пакетной обработки;

б) в режиме разделения времени;

в) в режиме реального времени.

Диалоговые системы функционируют в режиме …

пакетной обработки

разделения времени

реального времени

Нарушение целостности базы данных может возникнуть при выполнении:

1. корректирующих операций

2. поисковых операций

3. операции проекции

Нарушение целостности базы данных может возникнуть при выполнении операций:

корректирующих

поисковых

проекции

6.3. Дистракторы содержат подсказки

Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.)

Неправильно:

Поименованная совокупность взаимосвязанных данных, находящихся под управлением СУБД называется ….

Ответ: База данных

1. подсказка – СУБД

Неправильно:

Правильно:

Составные части ЭВМ.

а) процессор, память, внешние устройства;

б) системный блок, дисплей, принтер, клавиатура;

в) комплекс технических и программных средств.

Составные части ЭВМ:

процессор

память

системный блок

дисплей

принтер

клавиатура

комплекс программных средств

1.Знание того, что системный блок является неотъемлемой частью ПК определяет правильный выбор

2. Второй подсказкой является неоднородность дистракторов: внешние устройства – обобщающее название и принтер – частный случай внешних устройств.

3. Задание все-таки для школьников, а не остаточные знания студентов

6.4. Наличие слов "любое", "и то и другое", "ОБА" в качестве дистракторов

Неправильно:

Правильно:

Схему обработки данных можно изобразить посредством:

коммерческой графики

иллюстративной графики

научной графики

когнитивной графики

любое

Схему обработки данных можно изобразить посредством ... графики

коммерческой

иллюстративной

научной

когнитивной

Правильный ответ – "иллюстративной графики". Трудно понять, что означает слово "любое" (особенно при перемешивании элементов в группе допустимых ответов). Происходит умышленное "сбивание с толку", задание можно считать "обманным".

6.5. Многословность и сложность изложения.

Неправильно:

Правильно:

Выберите из перечисленных ниже характеристик те, которые относятся к системам типа OLAP.

Хранимые данные:

1. оперативные

2. охватывающие большой период времени,

3. детализированные

4. агрегированные

Системами типа OLAP являются хранимые данные:

оперативные

Ö охватывающие большой период времени

детализированные

Ö агрегированные

6.6. Формулировка задания не соответствует его форме

Неправильно:

Правильно:

Отношение имеет несколько вероятных ключей и несколько не ключевых атрибутов. Один из вероятных ключей - простой, остальные - составные.

Укажите максимальную НФ, про которую гарантированно можно сказать, что она соблюдается при данных условиях.

Выбрать один из следующих вариантов ответов:

1 - 1НФ, 2 - 2НФ, 3 - 3НФ

Ответ: 1

Отношение имеет один простой вероятный ключ, несколько составных вероятных ключей и несколько не ключевых атрибутов.

При данных условиях гарантированно соблюдается … НФ.

Ответ: 1, первая

Формулировка задания ориентирована на закрытую форму, а ввод ответа ориентирован на открытую форму задания.

Неправильно:

Правильно:

Расставьте этапы проектирования баз данных в порядке их выполнения:

1. даталогическое

2. инфологическое или концептуальное

3. физическое

Ответ: 2-1-3

Последовательность этапов проектирования БД:

инфологическое или концептуальное

даталогическое

физическое

Формулировка задания ориентирована задание на соответствие, а ввод ответа предусматривает открытую форму задания.

Система автоматически их перемешает. А ввод ответа осуществляется «прощелкиванием» элементов в нужной последовательности

6.7. Один из дистракторов сильно отличается от других

Неправильно:

Правильно:

К какому поколению языковых средств относятся генераторы экранных форм:

1. 1

2. 2

3. 3

4. 4

5. 5

6.
это вообще не языковое средство

Генераторы экранных форм относятся к … поколению языковых средств

Правильные Ответы: 4, четвертому

Вариант ответа №6 отличается от остальных.

для вариантов ответов используются целые числа. В этом случае лучше использовать открытую форму заданий
.

7. Подготовка материала в
MS Word
для использования в АСТ

Прежде всего необходимо отметить, что АСТ предоставляет пользователям-создателям тестов два пути ввода их в систему: посредством использования конструктора тестов и путем конвертации заданий в формате Word с помощью специальной программы.

7.1. Структура заданий в АСТ
7.1.1. Открытая форма заданий

Компоненты задания (рис.2):

– Формулировка задания

– Содержание задания.

– Эталонные заключения (ответы) – все допустимые заключения, которые являются правильными.

Рис. 2 – Компоненты открытой формы заданий

7.1.2. Закрытая форма заданий

Компоненты задания (рис. 3):

– Формулировка задания

– Содержание задания.

– Группа заключений (ответов), среди которых обязательно есть один или несколько верных. Количество верных обязательно меньше количества всех заключений (желательно более чем в 2 раза)

Рис. 3 – Компоненты задания закрытого типа

7.1.3. Установление правильной последовательности

Компоненты задания (рис. 4):

– Формулировка задания

– Группа элементов для упорядочения

Рис. 4 – Задание на установление правильной последовательности

7.1.4. Установление соответствия

Компоненты задания (рис. 5):

– Формулировка задания

– 1-ая группа элементов

– 2-ая группа элементов

Рис. 5 – Задание на установление соответствия

7.2. Правила оформления БАНКОВ ТЕСТОВЫХ заданий

Документ должен быть оформлен в соответствии с Правилами (Приложение №1)

В шаблоне Normal.dot документа MSWord должны быть установлены следующие параметры: шрифт: Times New Roman; размер шрифта: 14

Для всего документа MSWord необходимо установить прозрачный фон. Для этого, выделите весь документ воспользовавшись комбинацией клавиш "Ctrl+A". Затем выберите пункт меню "Формат→Границы и заливка→Заливка→Нет заливки".

Для каждого OLE-объекта в исходном документе, свойство "Формат рисунка" → "Положение" в обязательном порядке должен быть установлено "Обтекание – В тексте"

7.2.1. Оформление структуры тестовых заданий

Оформление Накопителя Тестовых Заданий должно сопровождаться служебными символами:

F1: (Наименование Накопителя Тестовых Заданий)

F2: (Авторы Накопителя Тестовых Заданий)

F3: (Область применения НТЗ)

F4: (раздел, подраздел, тема) указывается структура ТЗ

V
1: {Название раздела}

V
2: {Название подраздела}

V
3: {Название темы}, (если отсутствует раздел и подраздел, то тема оформляется
V
1: )

Например:

F
1: Геометрия

F
2: ВУЗ, Иванов И.И., Петров П.П., Сидоров С.С.

F3: Аттестационное тестировании е по специальности 000000 «Наименование специальности»

F4: Раздел; Подраздел; Тема;

V
1: Простейшие геометрические фигуры

V
2: Точка, прямая, плоскость.

{задания, относящиеся к данной структурной единице}

V
2: Взаимное расположение точек и прямых на плоскости.