РефератыИностранный языкЛиЛингводидактическое тестирование как средство контроля обученности иностранному языку

Лингводидактическое тестирование как средство контроля обученности иностранному языку

Министерство Образования и Науки РФ


Государственное образовательное учреждение высшего профессионального образования


«Астраханский государственный университет»


Кафедра английской филологии


КУРСОВАЯ РАБОТА


по теории и методике обучения английскому языку на тему:


Лингводидактическое тестирование как средство контроля обученности иностранному языку.


Выполнила:


Бисеналиева А.С.


студентка гр. АЯ-52


Руководитель:


Соловьева Н.И.


ст.преподаватель


кафедры английской


филологии АГУ


Астрахань - 2010


Содержание


Введение………………………………………………………………………………3


Глава I. История развития лингводидактического тестирования……………........5


Выводы по первой главе……………………………………………………………14


Глава II. Лингводидактическое тестирование………………………….................16


2.1 Понятие теста и тестирования………………………………………………….16


2.2 Функции тестов………………………………………………………………….22


2.3 Классификация лингводидактических тестов………………………………...25


Выводы по второй главе……………………………………………………………29


Глава III. Техники тестирования…………………………………………………...30


Выводы по третьей главе…………………………………………………………...37


Заключение…………………………………………………………………………..38


Список литературы………………………………………………………………….39


Введение


Вопросы контроля обученности учащихся иностранному языку по сравнению с другими проблемами получили значительно меньшее освещение в отечественной методической литературе. Более того, в ряде пособий эта важная проблема, по существу не рассматривалась. Так, в методических пособиях некоторых методистов вообще нет специальных разделов или параграфов, посвящённых особенностям контроля усвоения учащимися иностранного языка: лишь отдельные рекомендации сообщались в процессе изложения приемов работы над языковым материалом. Однако для того чтобы привить учащимся определенные знания и умения, необходимо тщательно продумывать методы и формы контроля. Важно не только правильно организовать контроль, но и планомерно и систематически осуществлять его на каждом уроке. Именно поэтому методы непрерывного и интенсивного контроля знаний являются существенными компонентами современного образования, и тестирование является важнейшим из них. Контроль является одним из основных компонентов управления образованием и управления качеством образования. Для того, чтобы управлять образовательным процессом реально, а не формально, преподавателю необходимо иметь разнообразные фактические данные о различных сторонах процесса образования. Процесс управления качеством образования становится невозможным без постоянной обратной связи, т.е. без информации о промежуточных результатах.


Эффективность систем контроля и оценка хода результативности обучения необходимы для того, чтобы обоснованно судить о том, насколько точно и полно реализуются цели обучения, и своевременно вносить требуемые коррективы, стимулировать учащихся к успешному овладению иностранным языком. Рассматривая проблему тестового контроля, приходится констатировать, что нет единства по этому вопросу, и он требует более тщательного рассмотрения. Одной из задач современной методики преподавания иностранных языков является разработка системы объективного и независимого контроля. Первоначально, методисты при контроле усвоения языкового материала использовали обычные упражнения, затем стали применять тесты. В последние годы тесты знаний и способностей получили широкое распространение в различных областях общественно-экономической жизни в качестве инструмента диагностики уровня подготовленности выпускников школ, абитуриентов, студентов, специалистов. Процесс введения образовательных стандартов вновь актуализировал проблему контроля учебных достижений. Поскольку нужна стандартная типовая процедура проверки знаний, умений и навыков, оптимальным средством проверки считают тест. Именно вопросу лингводидактического тестирования на уроках английского языка и посвящена данная работа.


Объектом исследования является контроль уровни обученности учащихся иностранному языку.


Предметом исследования является – лингводидактическое тестирование как средство контроля обученности учащихся.


При написании данной работы мы ставили следующие цели:


1. Познакомиться с историей развития лингводидактического тестирования.


2. Изучить понятие теста и тестирования и основные характеристики тестов. Выявить функции тестов.


3. Сформировать представление о различных видах тестов в целях применения их в практической деятельности.


Глава

I.

История развития лингводидактического тестирования


Для того чтобы охарактеризовать лингводидактическое тестирование, описать современные направления в лингводидактическом тестировании целесообразно начать данную работу с обзора истории развития языкового тестирования, берущего своё начало и тесно связанного с психологическими и педагогическими тестами. Знакомство с историей развития тестовых методов контроля в обучении ИЯ позволяет понять современное состояние лингводидактического тестирования.


Впервые как метод, т.е. совокупность операций и приемов, опирающихся на определенные теоретические установки, метод тестов был предложен психологами. Поэтому основные теоретические и практические положения тестологии были разработаны для психологических тестов, а затем экстраполированы на генетически более поздние педагогические тесты(12, с. 42). Освоение тестовых методик на научном уровне приходится на конец XIX – начало XX вв., и их появление отражает общее состояние научных исследований и достижений того времени как науки в целом, так и в ее отдельных направлениях. Так, быстрое развитие естествознания, возникновение и распространение теорий, объясняющих процесс развития человека как изменяющийся и усложняющийся во времени, способствовали проникновению точных измерительных методов в систему наук о человеке, прежде всего, в психологию. Импульсом к появлению первых психологических тестов стала проблема исследования индивидуальных различий. В наибольшей степени этому способствовали исследования английского антрополога и психолога Френсиса Гальтона (Francis Galton) и американского психолога Джеймса Кеттелла (James McKe en Cattell). Их идеи применения измерений и статистического анализа при определении индивидуальных различий, а также выдвинутые ими две основные концепции оценки качества тестов – надежности и валидности – легли в основу теории тестов и практики тестирования – тестологии(2, с. 23).


Начало нового века, а именно 1900–1915 гг., было охарактеризовано как период исканий и накопления эмпирического материала. Между тем пока психологи занимались разработкой тестов интеллекта, метод тестов распространялся на другие области, в частности – образование, где находил новые цели применения, отвечая все новым социальным заказам. Если психологические тесты определяли уровень умственного развития, то основной задачей педагогических тестов являлось измерение успешности учащихся по тем или иным предметам за определенный период обучения, а также успешность применения определенных методов преподавания и организации процесса обучения (7, с. 34).


Основоположником педагогических измерений принято считать американского психолога Эдварда Торндайка. Результатом большой исследовательской работы в области измерений и использования метода тестов в педагогике явилась вышедшая в 1904 г. Книга Э. Tорндайка “An Introduction to the Theory of Mental and Social Measurements”, сыгравшая большую роль в научной разработке проблем педагогического тестирования и подводившая теоретическую базу под работу по конструированию дидактических тестов (13, с. 46). В 1908 г. под руководством Э. Торндайка был опубликован первый стандартизированный тест – тест Стоуна на решение арифметических задач, впервые снабженный нормами. А к 1915 г. в США были разработаны и опубликованы стандартизированные тесты по всем основным школьным предметам. Последующие пятнадцать лет, период с 1915 по 1930 год, явились периодом бума в развитии тестов. Наиболее масштабно и результативно в этот период тестовая работа проводилась в США. Переход от индивидуальной формы проведения тестового испытания к групповому тестированию повлек за собой стремительное развитие групповых тестов для испытуемых всех возрастов и категорий (7, с. 58).


Следует отметить, что с течением времени применение таких групповых тестов стало обгонять ход их технического совершенствования. Во многом тесты, составляемые в большом количестве и зачастую наспех, были несовершенны, так как ни наукой, ни тем более практикой не уделялось должного внимания качеству инструментария, прежде всего, надежности тестов. На основе несовершенных тестов без учета факторов, влияющих на результаты тестирования, принимались необоснованные решения в отношении испытуемых. В результате в массовом сознании любой случай некорректной практики применения тестов все больше стал отождествляться с ошибочностью самого метода, что приводило к скептицизму и неприязни в отношении тестирования вообще (15, с. 52).


Наиболее драматично на дальнейшей судьбе тестов и их создателей сказались противоречия отечественной практики тестирования. В начале 20-х годов XX в. свои исследования по изучению и применению метода тестов проводили известные психологи и педагоги: А.П. Нечаев, С.Г. Геллерштейн, П.П. Блонский, А.П. Болтунов, М.С. Бернштейн, А.М. Шуберт, Г.И. Залкинд и другие (12, с.46). Достаточно быстро их работы по применению тестов в психологии и педагогике получили международное признание. В 20-е – 30-е годы проводились научно-теоретические исследования и практическое применение тестовых методик.


Однако со временем достижения в теории и практике тестирования стали сопровождаться уже отмеченными недостатками: абсолютизация тестового контроля и отсутствие должной экспериментальной проверки тестовых материалов; невнимание к статистическим методам при оценке надежности тестов и ошибки в интерпретации результатов. В связи с этим развернулась критика тестовых исследований, а затем и официальный запрет с принятием постановления ЦК ВКП(б) «О педологических извращениях в системе наркомпросов» (10, с. 15). И хотя это постановление было направлено, в первую очередь, против педологии и применявшихся педологами тестов для выявления коэффициента умственного развития, под запрет попали любые тесты, в том числе тесты достижений, с помощью которых можно было выявлять реальный уровень обученности школьников, сравнивать эффективность различных форм и методов обучения. Так, период бума сменил период забвения и застоя в развитии и применении тестов в нашей стране, период, который продлился несколько десятилетий.


Между тем в зарубежных странах ошибки, порожденные в то время практикой массового тестирования, сыграли немалую роль в научном исследовании преимуществ и недостатков измерений в психологии и педагогике, в развитии теории и практики конструирования тестов. А основы, заложенные в педагогическом тестировании в первые три десятилетия XX в., оказались настолько высокопродуктивными, что принципы составления и применения тестов с тех пор остаются во многом неизменными (14, с. 67).


В начале XX века обозначилось лингводидактическое направление педагогического тестирования – languagetesting (20, с. 6).


В лингводидактическом тестировании также существуют достаточно четкие периоды и направления, которые связаны с развитием теории и практики базисных наук, прежде всего, педагогики, психологии, лингвистики, методики преподавания иностранных языков.


Bernard Spolsky выделил 3 периода в истории развития средств языкового контроля в XX в.: начальный, или донаучный, психометрически-структуралистский, интегративно-социолингвистический/психолингвистически-социолингвистический (21, с.10-11).


Начальный период, длившийся до середины 50-х годов, был назван донаучным, поскольку в это время недостаточное внимание уделялось качеству измерительных инструментов, особенно их валидности и надежности. Измерение преимущественно проводилось в форме традиционного экзамена посредством заданий открытого типа (например, написать эссе, выполнить письменный перевод), а оценка основывалась на субъективном впечатлении эк-


заменаторов. Первое исследование, посвященное проблеме тестирования в области ИЯ, датируется 1925 г. С этого времени начинают закладываться теоретические основы педагогического тестирования в области ИЯ и создаются тесты, которые широко применяются в практике зарубежной школы (12, с. 58).


В июне 1925 г. были применены первые массовые групповые тесты по ИЯ (французскому и испанскому) в качестве выпускных экзаменов в средних школах г. Нью-Йорка. Разработчиком этих тестов был профессор Колумбийского университета Benjamin Wood. Тесты были составлены по принципу построения психологических тестов и имели в своем составе три части: тест на словарь, тест на понимание прочитанного и грамматический тест. Были представлены 220–225 тестовых заданий, которые осуществляли проверку пройденного материала значительно шире, чем существовавшая прежде форма экзамена. Это были первые языковые тесты, прошедшие предварительную экспериментальную проверку и подвергшиеся стандартизации (14, с. 85).


Важной вехой в развитии лингводидактического тестирования явилась вышедшая в 1929 г. книга V. Henmon “Achievement Tests in the Modern Foreign Languages”, посвященная исследованиям, проведенным с 1924 по 1927 годы американским и канадским комитетами по изучению современных языков, и вошедшая в историю методики как первое теоретическое и практическое руководство по тестированию в методике обучения ИЯ (18, с. 4-6).


В своей книге автор обобщает опыт составления и использования тестов: обосновывает необходимость создания объективных стандартизированных тестов; выделяет цели лингводидактического тестирования; обобщает критерии качества, которым должны удовлетворять тесты по иностранному языку; проводит последовательность этапов в процессе подготовки тестов; анализирует существующие приемы выполнения тестов с точки зрения их приемлемости в языковом тестировании. В этот же период появляются первые работы в области составления и применения тестов лингвистических способностей.


Психометрически-структуралистский период продолжался с середины 1950-х до конца 60-х годов. При составлении тестов в этот период использовался структурный подход в лингвистике и достижения психометрической теории, что объясняет его название. Для этого периода были характерны высокая степень объективности тестов, разработка статистических методов оценки как самих тестов, так и работ тестируемых, преимущественное использование в тестах заданий множественного выбора, опора на надежность как приоритетный критерий качества теста (14, с. 89).


Наиболее полное освещение теории и практики тестирования ИЯ было дано в работах Роберта Ладо, среди которых фундаментальным трудом того времени считается монография “Language Testing”. Свою работу автор начинает с анализа современных лингвистических теорий о сущности языка, рассматривает структуру языка, вопросы методики обучения ИЯ, теорию тестирования в области ИЯ. Исходя из идеи тесного взаимодействия обучения и тестирования, Ладо считал, что необходимо тестировать языковые трудности, т.е. те элементы языка, которые по контрастивному анализу являются трудными для обучающихся, поскольку знание этих трудностей и умение их преодолеть дает возможность изучить язык. Подробно автор останавливается и на вопросе: как следует тестировать иностранный язык. На многочисленных примерах показывается, что необходимо тестировать отдельные элементы языка раздельно в зависимости от целей и условий тестирования. Такой подход к тестированию был назван дискретным, т.к. в основном предполагалось тестировать в одном предложении-задании одну проблему (трудность). Наиболее надежной и практичной формой контроля Ладо считает групповые объективные тесты. Наиболее приемлемыми методами выполнения тестов по иностранному языку признаются метод дополнения, метод множественного выбора и метод альтернативного выбора. Согласно Ладо, разрабатываемые и применяемые тесты по иностранному языку должны отвечать следующим критериям: валидность, надежность, простота подсчета результатов, экономичность, возможность проведения теста в существующих условиях (20, с. 25).


Особой заслугой Р. Ладо является то, что он поднял на должную высоту разработанность и научность теста и техники тестирования, а также требования достаточной надежности и валидности лингводидактических тестов. В этот период были составлены известные и используемые до сих пор стандартизированные тесты по английскому языку: TOEFL (TestofEnglishasaForeignLanguage), Мичиганский тест (MichiganTestofEnglishLanguageProficiency) в США; EPTB (EnglishProficiencyTestBattery), ELBA (EnglishLanguageBattery) в Англии и другие (7, с.64).


Изменение целей обучения ИЯ – смещение акцента на практическую направленность обучения, в результате чего учащиеся должны были приобрести коммуникативную компетенцию, – вызвало необходимость в теоретической разработке вопросов измерения уровня сформированности коммуникативной компетенции и появлении соответствующих тестов. С этого времени – конца 60-х – начала 70-х гг. – начинается отсчет современного периода лингводидактических тестов, получившего название психолингвистически-социолингвистического. В этот период исследуются проблемы соответствия тестов реальным жизненным ситуациям с их возможными социолингвистическими вариациями, решаются вопросы обеспечения не только объективности и надежности, но и валидности и аутентичности контроля. Если предыдущий период можно охарактеризовать как аналитический, то современный характеризуется синтетическим, прагматико-коммуникативным подходом к лингводидактическому тестированию.


Концепция прагматического тестирования опирается на одно из направлений современной лингвистики, в центре которого находится прагматический аспект языка. Прагматические тесты должны требовать от учащихся использования естественного контекста в речевой деятельности, а также понимания и продуцирования значащих последовательностей элементов языка в их соотношении с экстралингвистическим контекстом (7, с.67). С течением времени все большее влияние на лингводидактическое тестирование стала оказывать теория коммуникативной компетенции Хаймза (D. Hymes), которая значительно расширила круг аспектов, вовлекаемых в понимание природы языка и его применения в социально-детерминированных ситуациях (19, с. 15-19).


Между тем на современном этапе развития лингводидактического тестирования значительный вклад вносят компьютерные технологии. Очевидно, что тесты являются наиболее удобным средством контроля, ориентированным на использование современных технических средств, в том числе компьютера. В настоящее время мы являемся свидетелями того, как многие крупные национальные и международные тестовые проекты движутся в сторону компьютерного тестирования. Так, в 1998 г. Служба педагогического тестирования США выпустила компьютерную версию TOEFL, которая широко используется в Северной Америке и за ее пределами.


В 2001 г., провозглашенном Советом Европы Европейским годом языков, появляются два крупномасштабных проекта по применению адаптивных тестов в лингводидактике. Это QPT (Quick Placement Test), разработанный издательством Оксфордского университета (OUP) совместно с Экзаменационным синдикатом Кембриджского университета (UCLES). Являясь тестом распределения, он позволяет распределить учащихся в однородные по уровню знаний и умений группы при наборе курса.


Второй проект – DIALANG (DiagnosticLanguageTests) осуществляется при финансовой поддержке Европейской комиссии, Главного управления образования и культуры Совета Европы. Этот тест размещен на бесплатном сайте во всемирной сети (17), и любой желающий может выполнить его на компьютере, имеющем доступ в Интернет. DIALANG – это система оценки, предназначенная для изучающих иностранные языки самостоятельно или в рамках учебного заведения и желающих получить диагностическую информацию относительно своего уровня владения иностранными языками. Современные компьютерные адаптивные тесты обладают большей эффективностью за счет оптимизации подбора характеристик тестовых заданий, их количества и последовательности с учетом индивидуальных особенностей подготовки испытуемых и обеспечивают бо
льшую точность измерения.


Выводы по первой главе


Появившись на рубеже XX в. психологические тесты довольно быстро завоевали популярность во всех развитых странах.Спустя десятилетия тесты, возникшие в недрах экспериментальной психологии, тесты нашли применение в педагогике для оценки школьной успеваемости. Основной задачей педагогических тестов являлось измерение успешности учащихся по тем или иным предметам, в том числе по иностранному языку, и определение успешности применения определенных методов преподавания. Имя американского психолога Торндайка является знаковым в истории развития педагогического тестирования. Начало XX века стало периодом бума в развитии тестов. Тогда же началось развитие лингводидактического направления педагогического тестирования. Проблема контроля в обучении иностранному языку прошла в своем развитии несколько этапов – от эссе-переводного до коммуникативного, базирующегося на последних достижениях лингвистики и методики преподавания иностранного языка. Выделяются несколько периодов в истории развития лингводидактического тестирования: донаучный, психометрически-структуралистский, психолингвистически-социолингвистический. Каждый из периодов обозначился работами, которые способствовали дальнейшему развитию и совершенствованию лингводидактического тестирования. В донаучном периоде - книга V. Henmon “AchievementTestsintheModernForeignLanguages”, в психометрически-структуралистском – монография Роберто Ладо “Language Testing”, в психолингвистически-социолингвистическом периоде работы Хаймза кардинально перевернули подход к лингводидактическому тестированию, изменив его с аналитического на синтетический, коммуникативный. Основной целью лингводидактического тестирования становится определение сформированности иноязычной коммуникативной компетенции. В психолингвистически-социолингвистическом появляется компьютерное тестирование, которое активно используется для контроля обученности учащихся иностранному языку.


Таким образом, лингводидактическое тестирование является с одной стороны областью методики преподавания иностранных языков, а с другой стороны, относится к педагогическому (предметному, дидактическому) тестированию как часть к общей тестологии, включающей в себя также психологические, профессиональные и другие тесты.


Итак, проведя краткий экскурс в историю развития языкового тестирования, перейдем к определению сущности тестирования. В следующей главе мы определим содержание понятия «лингводидактическое тестирование» в обучении иностранным языкам.


Глава

II

. Лингводидактическое тестирование


2.1

Понятие теста и тестирования


Слово тест в английском языке обозначает «испытание, проба, эксперимент, проверка». При такой полисемии неудивительны терминологические неточности, и иногда сравнительно простые контрольные работы и контрольно-тренировочные упражнения также называются тестами, что не совсем оправдано, поскольку преподавательские тесты тоже должны быть составлены в соответствие с определенными правилами и требованиями.


В современной отечественной методической литературе по лингводидактическим тестам встречаются различные определения теста.


С. И. Воскерчьян считает, что «тест - это кратковременное, технически просто обставленное испытание, проводимое в равных для всех условиях и имеющее вид такого задания, решение которого поддается количественному учету и служит показателем степени развития к данному моменту известной функции у данного испытуемого» (6, с. 28).


И. А. Цаттурова: «тест - это централизованный, формализованный письменный контроль, который дает возможность определить основные параметры качественного и количественного состояния обученности учащихся на каждом этапе обучения» (7, с. 8).


Э. А. Штульман, считая тест методом эксперимента, определяет тест так: «методический тест - это контрольное задание (задания), проводимое в равных для всех условиях, длительность и характер которого строго соотнесены с объективными факторами и результаты выполнения которого подвергаются количественной оценке, являясь показателем определенных итогов учебного процесса к моменту данного теста» (15, с. 46).


И. А. Рапопорт предполагает: «тест - это самым тщательным образом подготовленная в соответствие с определенными разработанными правилами, прошедшая предварительную экспериментальную проверку и специальную процедуру для ее улучшения, имеющая достаточные характеристики своей эффективности совокупность вопросов и заданий, предъявляемых испытуемым целью квазиметрического выявления социальных, психических и психофизиологических характеристик его личности, отличающаяся формализацией ответов испытуемых, выделением в них части, несущей наибольшую информационную нагрузку, что ускоряет, облегчает и объективизирует их последующий анализ, обработку и интерпретацию» (12, с.44).


Чаще всего под лингводидактическим тестом понимается подготовленный в соответствие с определенными требованиями комплекс заданий, прошедший предварительное опробование с целью определения его показателей качества и позволяющий выявить у тестируемых степень их языковой (лингвистической) и (или) речевой (коммуникативной компетенции), и результаты которого поддаются определенной оценке по ранее установленным критериям (7, с. 25).


Тестовым заданием или заданием теста называют ту минимальную составляющую единицу теста, которая предполагает определенную вербальную или невербальную реакцию тестируемого.


Каждое тестовое задание создает для тестируемого некоторую лингвистическую и экстралингвистическую ситуацию, называемую тестовой ситуацией, точнее – ситуацией тестового задания. Тестовая ситуация представлена стимулом задания, который может быть вербальным или невербальным, т. е. наглядным. Вербальный стимул в тестовом задании называют основой, или текстом задания. Ответ тестируемого также может быть вербальным и невербальным. Вербальный ответ может быть выборочным или, как его называют иногда, - избирательным или свободно-конструируемым. В первом случае предлагается выбрать ответ среди вариантов, один из которых является правильным, другой (другие) – отвлекающими, или дистракторами (3, с. 70-76).


Систематическое тестирование стимулирует активность и внимание учеников на уроке, повышает их ответственность при выполнении учебных заданий. Результаты проверки тестов анализируются учителем и служат для него, с одной стороны, показателем уровня знаний учащихся, а с другой – самооценкой работы самого учителя, что позволяет ему внести необходимые коррективы в процесс обучения и тем самым предупредить повторение ошибок школьников.


Основная роль тестирования в преподавании ИЯ заключается в обратной связи (в широком смысле) и в контроле (в узком смысле) и чем теснее взаимосвязаны тестирование и учебный процесс, тем эффективнее учебный процесс и качественное тестирование (9, с. 41).


Непосредственным объектом тестирования является языковая компетенция, состоящая из языковых умений. Важнейшими характеристиками теста являются его количественная оценка (главное отличие от традиционной контрольной работы), экономичность (минимальные затраты времени для выполнения теста), практичность (доступное содержание тестовых заданий) и валидность (возможность сравнить результат теста с внешним критерием).


Лингводидактические тесты имеют следующие отличительные свойства:


1) Акцент делается не на то, как провести тестирование, а на то, что тестировать. Объектом тестирования является коммуникативная компетенция. 2) Лингводидактические тесты непременно имеют вербальный характер.


3) Лингводидактические тесты измеряют обученность, развитие и прогресс в учебной деятельности.


Бесспорными преимуществами лингводидактических тестов перед нетестовыми формами контроля являются:


1) более высокое качество знаний благодаря их предварительной проверке в предтексте;


2) большая надежность лингводидактических тестов благодаря выборочному способу ответов, что обеспечивает объективность подсчета результатов теста, а также за счет возможности привлечения большего количества заданий за одинаковое время и по ряду других причин;


3) относительная объективность всего языкового теста и объективность подсчета результатов;


4) экономия аудиторного времени за счет компактной письменн

ой формы заданий языкового теста;


5) экономичность проверки ответных листов лингводидактических тестов;


6) возможность стандартизации процедур проведения тестов и применения статистического анализа результатов языковых тестов;


7) более положительная мотивация и отношение тестируемых к тестовым формам контроля, т. к. исключена субъективность оценки, момент невезения с заданиями;


8) легкость перевода языковых и части речевых тестов на ЭВМ;


9) удобство массового использования;


10) лучшая воспроизводимость и репрезентативность результатов лингводидактических тестов благодаря стандартной процедуре тестирования.


Общим недостатком языковых и речевых тестов является их уменьшенная внешняя валидность. Главным недостатком речевых тестов без выборочных ответов является субъективность оценки ответов тестируемых, что снижает надежность тестов данного вида.


Следующие недостатки языковых тестов связаны с использованием выборочных ответов:


1) применяемая обычно методика представления нескольких неправильных вариантов ответа и одного правильного не соответствует типичной для реальной коммуникации стратегии. В общении исходят либо из наиболее подходящего для данной ситуации выбора (особенно в случае родного языка) или из наличных вариантов для поддержания общения (в случае иностранного языка).


2) угадывание правильного ответа как по случайным, так и по формальным или другим, не относящимся к владению языком, признакам.


3) недостаточная активность мыслительных процессов из-за наличия готовых ответов и из-за общей ориентации на результат теста.


4) возможность непроизвольного запоминания неправильных ответов.


5) тестовая ситуация в задании недостаточно полна, информативна и коммуникативна из-за сжатости контекста в языковых тестах.


6) неправильные варианты ответов могут содержать избыточную и отвлекающую информацию, препятствующую определению правильного ответа. В этом отношении составителю теста следует быть весьма осмотрительным, чтобы соблюдать так называемое семантическое равновесие среди вариантов ответов тестового задания.


2.2 Функции тестов


Как мы уже определили в прошлой главе, основная роль тестирования в преподавании иностранных языков заключается в обратной связи (в широком смысле) и в контроле (в узком смысле), и, чем теснее взаимосвязаны тестирование и учебный процесс, тем эффективнее учебный процесс и качественнее тестирование.


Все функции лингводидактических тестов можно разбить на следующие общие группы:


1) общедидактические функции обучения (собственно обучающая, повторительно-закрепляющая и развивающая) и функции воспитания (познавательная, дисциплинирующая и т. д.).


К общедидактическим можно отнести следующие функции:


- функции прогноза успешности обучения;


- функция определения готовности к учебе;


- функция диагноза пробелов;


- функция определения общего владения иностранным языком.


2) информационные функции результатов лингводидактических тестов (контрольная, исследовательская и учебно-информационная).


Информационные функции результатов лингводидактических тестов это:


- функции определения


а) текущей и промежуточной успеваемости;


б) итоговой успеваемости;


в) эффективности обучения (приема, метода);


- функции самоконтроля (взаимоконтроля).


Эти функции частично перекрываются, например важнейшая функция лингводидактических тестов - контрольная - относится традиционно и к группе общедидактических тестов. Кроме того, среди исследовательских функций лингводидактических тестов имеются функции развития памяти, внимания и личностных качеств (добросовестности, целеустремленности и т. п.), последние из которых относятся к воспитательной функции лингводидактических тестов. Итак, общедидактические функции обучения проявляются уже в ходе подготовки к тесту. Обучаемые систематизируют свои знания, ликвидируют пробелы. В ходе выполнения теста происходит определенное повторение и закрепление материала. Активизируется мыслительная деятельность, развивается память, т. е. достигается определенный обучающий эффект. Этот эффект тем больше, чем более контекстуален и коммуникативен тест, чем быстрее происходит обратная связь в системе тест-тестируемый, например, при использовании компьютера (8, с. 190).


Как указывает С. К. Фоломкина, можно составить и специальные обучающие тесты. Таковыми могут быть, например, тексты типа клоуз (Приложение 1),
диктанты и др. При анализе результатов теста также достигается обучающий эффект теста (операции типа: проверка по ключу ошибочных ответов). Лингводидактические тесты выполняют воспитательную функцию также на этапе подготовки к тесту и в ходе работы над заданиями теста через преодоление различных психолингвистических, мыслительных и других трудностей, т. е. путем воспитания силы воли, целеустремленности, добросовестности и других качеств личности, а также путем изменения отношения к учебе, к иностранному языку (13, с. 25). Эмоциональное состояние тестируемых изменяется также благодаря стимулирующей роли оценки (балла) теста (при анализе результатов теста).


Основной функцией тестирования является функция контроля. Тесты также могут выполнять специфические исследовательские функции. Для максимально эффективной реализации вышеуказанных функций лингводидактических тестов, тестологам следует соблюдать следующие основные принципы:


1) составление только таких лингводидактических тестов, которые достаточно качественны, достаточно надежны, валидны с точки зрения целей и задач тестирования и учебно-воспитательной работы;


2) соблюдение обычных процедур разработки, проведения и обработки результатов лингводидактических тестов;


3) использование лингводидактических тестов только тогда, когда это оправдано;


4) соблюдение общедидактических принципов контроля - регулярности, систематичности, активности, сознательности и др. при организации тестового контроля.


2.3 Классификация лингводидактических тестов


Активное развитие лингводидактического тестирования как средства контроля привело к появлению различных видов лингводидактических тестов.


В зависимости от цели тестирования выделяют следующие виды тестов:


· Тест определения способности к изучению иностранного языка (AptitudeTest) – с помощью данного теста можно определить перспективы усвоения данной области знаний;


· Диагностический тест (DiagnosticTest) определяет уровень владения английским языком (Приложение 2
);


· Тест отбора (Placementtest) используется в случае необходимости распределить учащихся по уровню языка (Приложение 3);


· Тест общих умений (ProficiencyTest) применяется для контроля усвоения курса в середине года (Приложение 4)
;


· Тест учебных достижений (AchievementTest) помогает получить информацию о том, что усвоено по одному из аспектов языка, и над чем надо работать дальше (Приложение 5).


Тесты учебных достижений или успешности обучения составляются только по программе или пройденному языковому материалу и используются для осуществления текущего, промежуточного и итогового контроля. Эти тесты, кроме того, выявляют ошибки и недостатки обучения и поэтому имеют также некоторые диагностические функции.


Тесты общего владения иностранным языком составляются независимо от программ (учебников) предыдущего обучения. В тест такого рода может быть включена проверка тех иноязычных навыков и умений, которые будут необходимы для дальнейшей работы или учебы. Таким образом, этот вид теста может выполнять и прогностические функции. Сейчас это все больше тесты для определения коммуникативной компетенции(4, с. 97-100).


Прогноз будущей успешности обучения иностранному языку может быть составлен на базе теста общего владения иностранным языком, если тестируемый уже обучен, но в начале обучения используются специальные прогностические тесты, выявляющие разные способности к изучению иностранных языков.


Дж. Кларк считает, что диагностические тесты являются разновидностью тестов достижений наряду с тестами общих учебных достижений. А. Гаррисон выделяет тесты достижений, общего владения иностранным языком, диагностические, а также так называемые распределительные тесты, целью которых является распределение учащихся по результатам этого теста в примерно равные по уровню обученности учебные группы (4, с.99). Распределительные или вступительные тесты - по существу это либо тесты достижений, если они составлены по программе, либо тесты общего владения иностранным языком.


Из вышесказанного следует, что практически все три основных типа тестов являются многоцелевыми.


Исходя из общего определения лингводидактических тестов, их подразделяют на две группы: языковые и речевые тесты. Языковые тесты измеряют в основном лингвистическую компетенцию тестируемых. Примерами языковых тестов являются лексические и грамматические тесты. Речевые тесты - тесты чтения, аудирования и т. д. - можно условно разделить в соответствие с применяемой формой контроля на следующие подгруппы: традиционные, прагматические и коммуникативные. Традиционные речевые тесты предназначены для выявления навыков и умений чтения, аудирования и письма с помощью традиционных приемов, например, вопросно-ответных заданий. Примерами прагматических тестов являются тесты восстановления типа клоуз, диктанты и др. (11, с.114-116). Коммуникативные тесты - это в основном тесты устной речи. Все речевые тесты измеряют какие-то компоненты коммуникативной компетенции.


При проведении тестирования используются разные виды тестовых заданий, благодаря чему достигается большая достоверность результатов. Тестовые задания делят на две большие категории:


1. тестовые задания закрытого типа (Приложение
6
)


2. тестовые задания открытого типа (Приложение
7
)


В заданиях закрытого типа содержатся вопросы и даются варианты ответов на них. При этом могут быть задания с одним и с несколькими вариантами ответов. Кроме заданий на выбор существуют также на соотнесение и упорядочение. При этом вопрос должен быть четко и грамотно сформулирован, а все варианты ответов должны выглядеть правдоподобно. Открытые задания имеют, как правило, более высокую сложность. Они могут требовать краткого ответа, либо развернутого суждения по какой-либо тематике.


Кроме того, выделяют стандартизированные и нестандартизированные тесты. Стандартизированным тестом называется такой тест, который опробован достаточно большим (500-1000 чел) и представительным контингентом тестируемых и который имеет стабильные и приемлемые показатели качества, а также спецификацию - паспорт с нормами, условиями и инструкциями для его многократного применения в разных условиях. Нестандартизированными называются преподавательские тесты, которые составлены самим учителем для своих учащихся. Существует так же еще одна разновидность лингводидактических тестов, промежуточная между стандартизированными и преподавательскими. Эта разновидность называется локально стандартизированным тестом. Как вытекает из названия, его отличие от стандартизированного теста состоит в том, что представительной выборкой является контингент тестируемых одной школы, одного ВУЗа или школ (ВУЗов) одного города в пределах 100-300 человек (11, с. 91).


Итак, существуют различные виды тестов. В зависимости от того или иного вида теста используется та или иная техника тестирования. Различные техники тестирования мы рассмотрим в следующей главе.


Выводы по второй главе


Итак, тест - это централизованный, формализованный письменный контроль, который дает возможность определить основные параметры качественного и количественного состояния обученности учащихся на каждом этапе обучения, имеющий определенные достоинства и недостатки. К достоинствам в первую очередь следует отнести экономичность и простоту использования, к недостаткам - возможность угадывания правильных ответов.


Функции тестов делятся на общедидактические и информационные, которые не существуют изолированно, а, пересекаясь, дополняют друг друга. Основной функцией тестирования является функция контроля. Существуют специально разработанные принципы составления тестов, без знания которых невозможно полностью реализовать потенциал тестов.


Лингводидактические тесты делятся на языковые и речевые. Речевые тесты, в свою очередь, делятся на традиционные, прагматические и коммуникативные. Выделяют тесты стандартизированные, нестандартизированные и локально стандантизированные; тесты учебных достижений, общего владения иностранным языком, диагностические и способностей.


Глава

III

. Техники тестирования


Cуществует множество различных техник тестирования лексики. Использование той или иной техники зависит от вида тестов и ряда других вопросов, которые в общих чертах сводятся к следующим:


1. Какой уровень владения языковым материалом хочет отразить в тесте учитель – узнавание или продуцирование?


2. Ограничивать или не ограничивать ответ учащегося в содержательном и формальном отношении?


3. На какие приемы тестирования ориентирует сам языковой материал?


4. Контролировать ли лексику в контексте или вне контекста?


5. Использовать ли в тесте только изучаемый язык или прибегать к родному языку?


6. Использовать ли в лексическом тесте наглядность?


7. Тестировать язык или речь?


Тестировать язык – значит брать за основу тестовых заданий явления системы языка и подбирать лексический материал так, чтобы учащийся демонстрировал понимание языкового механизма. Сюда входит и проверка знания правил.


Тестировать речь – брать за основу выполнения задания те внеязыковые отношения, которые заложены в конкретном речевом высказывании.


Все языковые элементы, входящие в тестовую задачу, образуют совокупностью своих отношений определенную ситуацию. Ситуация может быть составлена группировкой элементов на любом языковом уровне – от морфем до текста. По своему содержанию тестовая ситуация является одновременно лингвистической и экстралингвистической: информация, заключающаяся в элементах ситуации, относится как к организации самого языка, так и к внеязыковой действительности, и это соотношение меняется от одного тестового задания к другому. Целевой учебной установкой тестового задания может быть, в первую очередь, порождение словосочетания или предложения в соответствии с синтагматическими нормами языка или установление каких-либо отношений между элементами, отражающими внутреннюю парадигматическую организацию языка. Внеязыковые отношения в этом случае отходят на задний план. Напротив, тестовое задание часто ориентируется на решение внеязыковой проблемы, а языковые средства иностранного языка являются лишь средством ее кодирования (3, с. 90-95).


По своему характеру, тестовые задания относятся к проблемным ситуациям, следовательно, должны характеризоваться всеми их признаками: жизненностью, трудностью решения, возможность формулирования проблем и гипотез, динамичностью и завершением в виде какого-либо решения. В языковом тестировании мы встречаемся с задачами на так называемое вербальное рассуждение. При выполнении тестовой задачи учащийся выполняет ряд мыслительных операций по установлению некоторых отношений между компонентами задачи или их преобразованию. Предпосылкой выполнения этих операций является знание учащимися смыслового и функционального содержания языковых единиц и их отношений в составе задачи. Видов тестовых заданий огромное число, однако в их основе лежит довольно ограниченный круг умственных и вербальных операций над языковым материалом. К этим операциям относятся выделение и идентификация объекта, сопоставление объектов (поиск сходства, различия, тождества), расположение по какому-либо порядку, трансформация, завершение, обобщение, исправление, оценка информации (3, с. 97-100).


Наиболее частыми техническими приемами, отображающими эти вербальные операции являются:


1. Множественный выбор (Приложение 4, 5)


2. Двойной выбор (Приложение 8)


3. Завершение, в том числе совмещенное с множественным выбором


(Приложение
9
)


4. Действия с группировками (Приложение
10
)


5. Сопоставление (Приложение11)


6. Трансформация (Приложение
1
2)


7. Интерпретация


8. Ответы на вопросы (Приложение
1
3)


9. Расположение по порядку (Приложение
1
4)


10. Исправление (Приложение
1
5)


Тестирование, которое направлено на выявление парадигматических связей, тяготеет к внеконтекстным тестовым заданиям и проверке так называемого словарного значения слова. В этом типе тестирования распространены языковые ситуации.


Техника множественного выбора сейчас является самой популярной. Суть ее в том, что учащийся должен выбрать один правильный ответ из ряда предложенных. В своем классическом виде тестовое задание по технике множественного выбора состоит из основы задания, в которой создаются смысловые предпосылки решения данной проблемной ситуации, и разрешающей части, включающей правильный ответ и несколько неверных ответов – отвлекающих. Количество отвлекающих ответов обычно колеблется от двух до четырех. Одним из принципов данного тестирования является избежать усиленного размышления и припоминания. Акцент на проверку знаний, речевых навыков и умений не позволяет использовать в тестировании сложные в логическом и информационном отношении задачи. Исключения составляют лишь задания на понимание прочитанного. По этой причине существует запрет на увеличение отвлекающих, что не всегда учитывается составителями тестов.


Множественному выбору присуща некоторая искусственность, которая состоит в том, что для решения любой проблемной ситуации он предлагает единственный выход в виде перебора вариантов ответов и фактически сводит интеллектуальную деятельность к поиску мотивации пригодности или непригодности того или иного варианта.


Все вербальные действия при решении тестовых задач по технике множественного выбора можно свести к трем основным операциям – идентификации, предицированию и отождествлению.


Техника двойного выбора, с одной стороны является разновидностью множественного выбора, а с другой – в некоторых своих вариантах сближается с приемом интерпретации смыслового содержания высказывания.


При тестировании лексики двойной выбор чаще всего используют для сопоставления какой-либо пары языковых элементов, вызывающих трудность из-за сходства формы и значения.


Особое значение при использовании приема множественного выбора с завершением приобретает выбор типов ситуаций, приводящих к однозначному их завершению. Как показывает анализ многочисленных тестовых заданий этого типа, авторы предпочитают использовать для завершения в сочетании с выборочным ответом ситуации типа: причина, условие-следствие, объяснение какого-либо действия, состояния; противопоставление двух действий, состояний; дополнение предиката состояния близким предикатом действия и наоборот; обязательность какого-либо действия, состояния при определенных обстоятельствах.


Непременным условием всех этих заданий является максимальная эксплицитность ситуации. Особенно трудным для учащихся являются тестовые задания, где пропуск находится в самом начале высказывания.


Недостатком таких заданий является то, что они часто тестируют не язык, а общий кругозор.


Прием завершения (без сопровождения множественным выбором) относится к категории так называемых свободных ответов и, следовательно, представляет собою более сложный вид тестирования, чем все виды готовых ответов.


На самом раннем этапе изучения языка может применяться завершение с подсказкой, которое Р. Ладо называет частичным продуцированием (20, с.15).


На уровне слов техника завершения смыкается с техникой группировок (учащийся должен понять принцип организации группировки и завершить ее в соответствие с этой логикой).


На уровне словосочетаний в тестах на завершение предпочитают использовать структурно и тематически сходные ряды. Особенно часто проверяют образные фразеологизмы.


На уровне сверхфразового единства часто встречаются задания, первая часть которых представляет дефиницию, а вторая незавершенную номинацию.


На уровне текста ведущим приемом завершения является клоуз-процедура, при котором из учебного текста извлекается каждое слово через определенный интервал. Задача учащегося состоит в том, чтобы, сообразуясь с контекстом, употребить эти или эквивалентные им лексические единицы.


Действия с группировками. Основу тестовых заданий здесь составляет группа слов, объединенных теми или иными смысловыми отношениями. Знание учащимися значений каждого члена группировки существенно важно для решения тестового задания. Поэтому группировки представляют собой экономный и комплексный вид контроля лексики.


Существует несколько основных разновидностей действий с группировками.


Прием исключения из группировок (исключите слово, обозначающее нечто другое; исключите слово, обозначающее самое меньшее и пр.) является самым распространенным и может также быть применим для проверки знания словообразовательных моделей. В этом случае является полезным понятие словарной ниши и словарного блока. Словарная ниша – это семантическая группировка внутри словообразовательной модели. Словарные блоки объединяют в одно целое ниши, имеющие одно и то же значение, но относящиеся к разным словообразовательным моделям. Пример задания может быть следующим: исключите из каждой строки одно слово, имеющее значение непохожее на значения других слов.


Обобщение группировки. Учащийся должен обобщить смысловые отношения между словами группировки и назвать родовое слово. Довольно часто при этом обобщающее слово не включается в состав группировки, а должно быть названо самостоятельно.


Прием расположения по порядку используется в группировках, тяготеющих к упорядоченности (найти слово, идущее не по порядку; найти следующее слово).


Техника сопоставления используется для проверки как парадигматических, так и синтагматических связей слов (отметете, какие пары образуют синонимы; найдите антонимы).


Задачи на лексическую трансформацию охватывают уровни слов, словосочетаний и предложений и относятся как к морфологической структуре, так и к значению лексических единиц. На уровне изолированных слов задания на трансформацию, в основном, затрагивают смешанные – семантические словообразовательные процессы: слова, подвергающиеся трансформации, обычно организуются в группировки.


Трансформации словосочетаний обычно сводится к синонимической замене их однокоренным словом.


К трансформации примыкает парафраза, при которой испытуемый заменяет тестовое слово другим словом или словосочетанием.


К этой же группе приемов относится часто используемое отгадывание (припоминание) слова по его дефиниции.


Технический прием интерпретации относится к уровню продуцирования и используется, в основном, на продвинутом этапе. Тестируемый имеет право выбора языковых средств в ответе, длина ответа может не оговариваться.


При интерпретации лексических единиц наиболее часто встречающимися в тестах примерами являются пословицы, клише, афоризмы, фразеологизмы, так как по ним легче получить стандартные ответы (объясните значение следующих выражений; кого так называют?; объясните различие)


Сюда же можно отнести расшифровки различных символов, графических изображений, чертежей, диаграмм, сокращений.


Весьма полезной для тестирования на продвинутом этапе может явиться интерпретация типов речевых высказываний. Трактовка речевых актов может проводиться в сочетании с различными видами тестирования, например, по технике множественного выбора, сопоставления и т. д.


Выводы по третьей главе


В зависимости от целей, тестолог выбирает определенный вид тестов и технику тестирования. Видов тестовых заданий огромное число, однако в их основе лежит довольно ограниченный круг умственных и вербальных операций над языковым материалом. Наиболее частыми техническими операциями являются множественный выбор, двойной выбор, завершение, действия с группировками, интерпретация, ответы на вопросы, расположение по порядку и исправление. Суть техники множественного выбора в том, что учащийся должен выбрать один правильный ответ из ряда предложенных. Одним из принципов данного тестирования является избежать усиленного размышления и припоминания. Техника двойного выбора является разновидностью множественного выбора. В приеме завершения ведущим является клоуз-процедура. В действиях с группировками основу тестовых заданий составляет группа слов, объединенных теми или иными смысловыми отношениями. Существует несколько основных разновидностей действий с группировками: прием исключения из группировок, обобщение группировки. Прием интерпретации относится к уровню продуцирования и используется, в основном, на продвинутом этапе. Наиболее популярным из всех вышеперечисленных приемов является множественный выбор, однако недостатком таких заданий является то, что они часто тестируют не язык, а общий кругозор.


Заключение


Тесты не заменяют и не отменяют другие средства контроля. Опыт применения стандартизированных тестов в большинстве стран свидетельствует об их использовании в основном для итогового контроля или экзаменов. Они широко востребованы в системе оценки качества образования и мониторинга, в процессе которых необходимо проводить надежные сравнения образовательных достижений а также устанавливать взаимосвязи на основе количественных характеристик. В ходе тестирования оценивается ограниченное число характеристик, определяющих образовательные достижения, а не вся их совокупность. В связи с этим результаты тестирования дают лишь некоторую информацию о подготовке учащихся, а потому не могут быть единственным инструментом, на основе которого происходит контроль обученности учащихся.


Список литературы


1. Анастази А., Урбина С.. Психологическое тестирование. СПб.: 2003.-с.


2. Аванесов В. С. Тесты в социологическом исследовании. М.: 1982.-с.


3. Банкевич Л. В. Тестирование лексики иностранного языка. Учебное пособие. М.: Высш. школа, 1981, с. 70-105.


4. Брейгина М.Е., Климентенко А.Д. Контроль в обучении иностранным языкам учащихся средних профтехучилищ. М.: 1979.-с.


5. Воскерчьян, С. И. Об использовании метода тестов при учете успеваемости школьников. М.: 1991.-


6. Воскерчьян С. И. Советская педагогика. - 1963. -№10.-С. 28-37.49.


7. Гак В.Г. Прагматика, узус и грамматика речи. Иностранные языки в школе. М.: 1982. № 5.-


6. Кадневский В.М. История тестов. М.: 2004.-с.


7. Коккота В.А. Лингводидактическое тестирование. М.: 1989. - с. 7-37, с.130


8. Коростелев В. С. Основы функционального обучения иноязычной лексике. Воронеж.: 1990.- с. 190


9. Кувшинов В. И. Тестовый контроль в процессе обучения иностранному языку // ИЯШ. 1992 №2.- с. 41


10. О педологических извращениях в системе наркомпросов. Постановление ЦК ВКП(б) от 4 июля 1936 г. // Директивы ВКП(б) и постановления Советского правительства о народном образовании за 1917–1947 гг. Вып. I. М.: 1947.


11. Рабинович Ф.М. Контроль на уроке иностранного языка. Иностр. языки в школе. М.: 1987, №1.-с.


12. Рапопорт И.А., Сельг Р., Соттер И. Тесты в обучении иностранным языкам в средней школе. Таллин.: 1987.-с.


13. Фоломкина С.К. Тестирование в обучении иностранному языку. Иностр. языки в школе. М.: 1986, №2.- с.


14. Цатурова И.А. Из истории развития тестов в СССР и за рубежом. Таганрог.: 1969.-с.


15. Штульман Э. А. Функции эмпирических методов исследования. Сов. педагогика. М.: 1986, № 3. - с. 46–52.


16. Canale M., Swain M. Theoretical Bases of Communicative Approaches to Second Language Teaching and Testing. Applied Linguistics. 1980. № 1.


17. DIALANG – http://dialang.org


18. Henmon V.A.C. (ed.) Achievement Tests in the Modern Foreign Languages, Prepared for the Modern Foreign Language Study and the Canadian Committee on Modern Languages. New York.: 1929.


19. Hymes D. On Communicative Competence // Sociolinguistics / J.B. Pride, J.Holmes (eds.). Harmondsworth, 1972.


20. Lado R. Language Testing: the Construction and Use of Foreign Language Tests. London, 1961.Spolsky B. Introduction: Linguists and Language Testers // Approaches to Language Testing [Papers in Applied Linguistics. Advances in Language Testing Series:2] / B. Spolsky (ed.). Arlington, Va., 1978.


21. Spolsky B. What Does It Mean to Know How to Use a Language? An Essay on the theoretical Basis of Language Testing // Language Testing. 1985. Vol.2. No. 2.

Сохранить в соц. сетях:
Обсуждение:
comments powered by Disqus

Название реферата: Лингводидактическое тестирование как средство контроля обученности иностранному языку

Слов:6959
Символов:60411
Размер:117.99 Кб.