Коломиец Б.К.
Комплексная оценка качества подготовки выпускников вузов. Методические рекомендации
Bзложен подход к разработке системы комплексной оценки качества подготовки выпускников высших учебных заведений, даются примеры средств оценки для разных специальностей и направлений подготовки. Эффективность предлагаемого подхода подтверждается многолетними экспериментами в системе высшего, а с 2002 г. и среднего профессионального образования. Система обеспечена компьютерной программой, разработанной А.Я. Мотехиной, осуществляющей обработку и анализ информации по алгоритмам, разработанным Б.К. Коломийцем.
Брошюра адресована руководителям образовательных учреждений, заведующим и преподавателям выпускающих кафедр, а также исследователям качества высшего образования; материалы могут быть использованы при разработке фондов оценочных средств качества подготовки выпускников по отдельным направлениям подготовки / специальностям высшего (а также среднего) профессионального образования как в вузах, так и в органах аккредитации / аттестации учебных заведений.
Текст представлен в авторской редакции.
СОДЕРЖАНИЕ
| ПОСТАНОВКА ЗАДАЧИ КОМПЛЕКСНОЙ ОЦЕНКИ КАЧЕСТВА
ПОДГОТОВКИ ВЫПУСКНИКОВ ВУЗОВ
|
| 1. Структура и технология комплексной оценки
качества подготовки выпускников
|
| 2. Разработка комплексных квалификационных
заданий (ККЗ), выпускных квалификационных
работ (ВКР)
|
| 3. Организация экспертизы качества ВКР и ККЗ
членами ГАК
|
| 4. Организация опроса (анкетирования) выпускников
|
| ОЦЕНКА ВКР И ККЗ, ОБРАБОТКА И АНАЛИЗ
РЕЗУЛЬТАТОВ ОЦЕНОК
|
| ЛИТЕРАТУРА |
| ПРИЛОЖЕНИЯ
|
| Приложение 1.
|
| Приложение 2.
|
| Приложение 3.
|
| Приложение 4.
деятельности по специальности
«Коммерция» (ГОС-2)
|
| Приложение 5.
по специальности «Коммерция»
|
| Приложение
задачам деятельности по специальности 032200 – Физика (преподаватель) (проект автора)
|
| Приложение
по педагогической специальности – инвариантная составляющая (проект автора)
|
| Приложение
по направлению подготовки
|
| Приложение
|
| Приложение 1
|
| Приложение
(агрегирование) значений показателей качества ВКР/ККЗ
|
| Приложение 1
|
ПОСТАНОВКА ЗАДАЧИ КОМПЛЕКСНОЙ ОЦЕНКИ
КАЧЕСТВА ПОДГОТОВКИ ВЫПУСКНИКОВ ВУЗОВ
Основные проблемы создания систем и средств комплексной оценки качества подготовки выпускников вузов (КПВ):
· результаты деятельности большинства Государственных аттестационных комиссий (ГАК) мало информативны – по ним нельзя судить о том, как подготовлен выпускник для решения совокупности (или системы) конкретных задач профессиональной деятельности, представленных (должны быть представлены) в квалификационных характеристиках (КХ) и в квалификационных требованиях (КТ) или требованиях к подготовке выпускника) в качестве конечных целей обучения, насколько качество их подготовки удовлетворяет требованиям соответствующих ГОС [1] (значительно более информативны Приложения к дипломам, но по ним трудно судить о конечных результатах обучения выпускника);
· почти во всех ГОС, в принципе, являющихся базой, основанием оценки КПВ (в том числе и в ГОС по техническим специальностям / направлениям подготовки (СП / НП)) нет однозначного или просто приемлемого соответствия между составом и содержанием задач в КХ и составом и содержанием КТ;
· разработка систем и средств оценки качества подготовки выпускников значительно усложняется отсутствием задач (или обобщенных задач) профессиональной деятельности (ЗПД / ОЗПД) в ГОС, КХ и КТ ко всем педагогическим специальностям, части экономических и университетских специальностей. В них перечисляются только виды деятельности без соответствующих им задач;
· в процессе итоговой государственной аттестации (ИГА), как правило, оцениваются не качество подготовки специалистов
, их компетентность в решении задач и проблем профессиональной деятельности на конкретном рабочем месте, а качества подготовки выпускников
в момент их окончания вуза; в то же время для обеспечения большей востребованности выпускников на рынке труда необходимо также мнение уже работающих выпускников и их руководителей о качестве их подготовки;
· в отличие от достаточно хорошего методического и технологического обеспечения разработки и использования средств оценки качества подготовки студентов по отдельным учебным дисциплинам в виде тестов
(удовлетворяющих критериям валидности и надежности, как минимум), отечественные средства оценки качества подготовки выпускников
такого обеспечения не имеют (хотя с 2002 г. – времени начала разработки фондов оценочных средств качества подготовки выпускников по отдельным направлениям подготовки / специальностям высшего профессионального образования (ФОС) [2-6] – ситуация в этой области значительно улучшилась); основная причина этого – значительно большая сложность оценки КПВ.
Такое состояние средств оценки качества подготовки выпускников (КПВ) вузов является одним из существенных факторов невысокой эффективности как действующих, так и проектируемых систем управления качеством высшего образования: эти системы практически оказываются без удовлетворительной обратной связи по КПВ.
Эта ситуация не может не сказаться негативно на эффективности образовательных стандартов как действующего, так и проектируемого – третьего поколения, – основывающихся на компетентностной структуре конечных целей качества подготовки выпускников: степень достижения предусмотренного ГОС уровня компетенций выпускников не сможет быть качественно оценена.
Напомним, что в ГОС второго поколения (ГОС-2) конечные цели профессиональной подготовки выпускника представлены в квалификационных характеристиках (КХ-2) и в квалификационных требованиях (КХ-2) в виде наборов ЗПД для каждого включенного в соответствующий ГОС-2 вида профессиональной деятельности и соответствующих каждой задаче КТ к уровню их решения. Такая структура ГОС-2, КХ-2 и КТ-2 наиболее полно представлена в ГОС по инженерно-техническим и экономическим специальностям.
С учетом вышеизложенного, а так же отечественной и зарубежной практики в этой области, определены следующие критерии системы и средств КПВ и принципы их разработки:
валидность
– направленность на оценку степени достижения конечных целей обучения, содержащихся в КХ и КТ и полного состава ЗПД и КТ в соответствующей ООП;
н
адежность
– достоверность, объективность оценок;
полихронность
–
учет распределенности результатов, эффекта образования во времени – в течение всей жизни выпускника;
полнота оценки
– полнота предметов оценки: охват оценочными средствами всей системы (или подсистемы) задач профессиональной деятельности (ЗПД) / компетенций, учет всех соответствующих этим задачам КТ;
технологичность
– удобство использования, эксплуатации оценочных средств и технологии, удобство оценок, сбора и хранения полученной в системе информации;
экономичность
;
соответствие современному уровню (культуре) оценки
– оценивается по сравнению с лучшими примерами аналогичных отечественных и зарубежных оценочных средств и технологий оценки, их состава, структуры и содержания;
комплексность оценки
– обеспечение оценки всех качеств профессиональной и общекультурной подготовки выпускника, определенных в ГОС и ОП; наличие у членов ГАК и рецензентов показателей качества ВКР, ККЗ, соответствующих ГОС и ООП по СП/НП; использование этих показателей в процессе ИГА и отзывов; наличие и использование всех, предусмотренных положением об ИГА, источников информации (отзывов рецензента и руководителя, результатов оценки государственной аттестационной комиссии) по каждому выпускнику; наличие при окончательной оценке ГАК результатов сдачи государственного экзамена (в том числе, решения выпускником ККЗ) и оценки качества ВКР, использование этих оценок с учетом отзывов руководителя и рецензента; учет мнения выпускников и их руководителей (работодателей) о качестве их подготовки в вузе; агрегирование значений оценок из всех источников информации по единым принятым в квалиметрии (А.И. Субетто) методам, представленным в работах [19, 22] в виде оригинального комплекса алгоритмов.
Принципы построения системы комплексной оценки КПВ:
· разработка оценочных средств осуществляется на основании критериальной и оценочной моделей – системной совокупности показателей КПВ и соответствующих каждому показателю шкал (или нормативов – как дихотомической шкалы);
· оценочная модель разрабатывается на основании модели специалиста (выпускника), включающей перечень компетенций - умений по решению задач профессиональной (как минимум) деятельности (ЗПД), требований к качеству (уровню) решения этих задач и уровню знаний, необходимых для решения соответствующих задач;
· выделение системообразующих элементов, ядра в базе оценки – принцип объективных оснований комплексной оценки;
· соответствие оценочной модели комплексной оценки основанию оценки – КХ и КТ, наличие в оценочной модели общего для КХ, КТ и ФОС ядра;
· представление оценочной модели как квалиметрической модели и одновременно упрощенного (гомоморфного) образа той части объекта (или базы оценки), который подлежит непосредственной оценке;
· максимально возможное (при имеющихся ограничениях) соответствие информативности, сложности оценочной модели ее прообразу – модели специалиста;
· корректирующая функция комплексной оценки по отношению к базе оценки, ее структуре, придание основанию оценки КХ и КТ тех качеств, свойств, которых в ней нет в явном виде, но которые необходимы для комплексности оценки;
· органическая связанность процессов проектирования, создания и развития КО и ее базы – ОС – как связного комплекса подсистем более общей системы управления.
С учетом вышеизложенного формулируются следующие основные Цели комплексной оценки КПВ:
· улучшение полноты и достоверности информации о качестве подготовки выпускников (КПВ), о соответствии КПВ требованиям ГОС
, обеспечение комплексности оценки и лучшей сравнимости КПВ по разным специальностям (Сп) и направлениям подготовки (НП) в условиях работы ГАК и экспертов Госинспекции в процессе аттестации вуза;
· соответствующая принятым критериям оценка
степени достижения выпускником сформулированных в соответствующем образовательном стандарте и образовательной программе конечных целей подготовки – способности выпускника компетентно решать систему (или подсистему) задач профессиональной деятельности;
· оценка уровня владения выпускниками необходимыми – для компетентного, качественного решения задач профессиональной деятельности – методами, средствами, алгоритмами и технологиями (МСАТ), а также знаниями по дисциплинам, умением пользоваться этими знаниями;
В предлагаемой системе это достигается в результате:
· применения для оценки КПВ структуры системы показателей, состоящей из а) инвариантного (для большинства НП и Сп) набора показателей, к которому добавляются б) показатели КПВ, специфичные для конкретного НП (но общие для соответствующего подмножества специальностей); в) показатели, соответствующие КПВ по конкретной специальности, ОП (см. приложения 2-4,8,10);
· сохранения этой структуры в выпускных квалификационных работах (ВКР), комплексных квалификационных заданиях (ККЗ) ситуационного типа (см. приложения 5-9), в анкетах выпускников и их руководителей;
· получения агрегированных (групповых и интегральных) оценок с помощью одинаковых процедур свертки и единых (в рамках своего НП) наборов весовых коэффициентов показателей качества выпускных квалификационных работ (ВКР); в) благодаря использованию концепции инвариантов при определении состава показателей. Агрегирование оценок осуществляется с помощью специальных квалиметрических процедур нелинейной (с учетом нелинейности шкал) свертки [21].
Основными средствами повышения достоверности, надежности комплексной оценки являются:
· применение в системе комплексной оценки КПВ четырех источников информации: ВКР, ККЗ, анкет выпускников и их руководителей;
· оценка и потенциала, и результатов
деятельности; обоснованная избыточность количества показателей; дублирование методов и источников информации по трудноизмеримым качествам; комплексность, системность оценки (сопоставление и синтез всех источников информации, ее анализ);
· обработка и анализ информации по специальным алгоритмам и компьютерной программе.
1. Структура и технология комплексной оценки качества подготовки выпускников
Общая структура всей технологии комплексной оценки КПВ, соответствующая вышеприведенным принципам и критериям качества, приводится в Приложении 1. При этом предлагаемый подход рассчитан на последовательное, поэтапное продвижение пользователей к разработке и внедрению полной технологии комплексной оценки КПВ.
Информационной основой комплексной оценки КПВ является оценочная модель (ОМ) в виде полного набора показателей (критериальная модель) и набора соответствующих каждому показателю шкал или нормативов (дихотомических или бинарных шкал).
В результате комплексной оценки должна быть получена следующая информация: полный набор значений оценок КПВ по каждому k-му показателю критериальной модели, по каждому i-му студенту-выпускнику, по каждой j-й специальности, по каждой академической группе/потоку.
В принципе предусматривается получение информации из следующих четырех источников:
· результатов оценки качества комплексных квалификационных заданий (ККЗ) и качества выпускных квалификационных работ (ВКР) в процессе ГАК по соответствующим ККЗ и ВКР наборам показателей их качества;
· результатов самооценки работающих выпускников и оценки качества их подготовки их руководителями с помощью анкет (приложения 11 и 12).
При этом показатели для каждого из этих источников берутся из полного набора показателей – критериальной модели с учетом возможности оценки соответствующего показателя с помощью этого источника, с одной стороны, и необходимости оценки максимального количества показателей, с другой.
Полученные в результате работы ГАК и анкетирования выпускников и их руководителей наборы оценок (по каждому отдельному источнику информации) не агрегируются (не сворачиваются), а суммируются (в виде средневзвешенной суммы) по каждому показателю отдельно
. Как показано на схеме Приложения 1 (и Приложения 10), полученные таким образом наборы (средневзвешенных) оценок агрегируются для получения интегральных и групповых оценок отдельно по каждому выпускнику.
В результате на «выходе» системы комплексной оценки КПВ получается – необходимая для анализа и управления качеством – следующая информация: наборы (или векторы) оценок КПВ по каждому выпускнику, по каждой академической группе, потоку, в том числе, отдельно по ГАК (без результатов анкетирования), а также соответствующие агрегированные (интегральные) оценки.
Вместе с тем, при отсутствии всей или части информации по одному из источников информации, система выдает вышеприведенную информацию из остальных источников, что позволяет создавать, внедрять и применять ее последовательно.
Изложенный в материалах подход, ориентированный на полную, максимальную структуру и технологию комплексной оценки КПВ (Приложение 1), рекомендуется осваивать и вводить в практику оценочной деятельности поэтапно, в следующей последовательности.
1. Разработка полной системы показателей КПВ – критериальной модели (КМ) на основе КХ и КТ ГОС-2 (или полного набора компетенций выпускника – в ГОС-3) и с использованием инвариантных показателей (Приложение 3, 4).
2. Определение источников информации по каждому из показателей (см. Приложение 2).
3. Разработка нормативов или шкал для соответствующих показателей КМ (см. примеры шкал в Приложении 4), образующих вместе с КМ оценочную модель (ОМ).
4. Экспериментальная оценка (экспертиза) ВКР в процессе ИГА по выделенным на этапе 1 показателям ВКР.
5. Разработка ККЗ на основе КХ, КТ, инвариантной модели (Приложение 3) и примеров ККЗ (Приложение 6).
6. Экспериментальное применение ККЗ и их оценка (по показателям и нормативам в пп. 1–3).
7. Опрос выпускников-дипломников, а затем и работающих выпускников (Приложение 7).
8. Приведение информации о результатах обучения студента к показателям по п.1 (Приложение 2).
9. Построение сводного вектора оценок после освоения каждого нового источника информации (Приложение 2).
Представленная в пп. 1-9 последовательность создания и освоения технологии комплексной оценки КПВ рассчитана на 2-3 года. Минимальный вариант комплексной оценки на основе оценки ВКР и ККЭ, соответствующий требованиям Положения об ИГА, может быть создан в течение года.
Более сложная структура методики создания оценочных средств для ИГА, основывающаяся на современной квалиметрии образования А.И. Субетто, излагается в его монографии [14].
2. Разработка комплексных квалификационных заданий (ККЗ), выпускных квалификационных работ (ВКР) и показателей их качества
Все четыре перечисленные основные источники информации разрабатываются таким образом, чтобы значение каждого из показателей оценочной / критериальной модели могло быть оценено с помощью ККЗ и ВКР, как минимум. В принципе, с помощью ККЗ осуществляется оценка в большей степени репродуктивной составляющей КПВ, тогда как оценка ВКР должна давать информацию о творческой составляющей КПВ. Но в связи с неуверенностью в том, кто в действительности является автором ВКР, оценка ККЗ повышает надежность информации о ВКР.
Структура ККЗ
в предлагаемой системе комплексной оценки КПВ должна иметь следующую структуру ситуационного теста:
объект (процесс)
задан с помощью следующей исходной информации ...;
общая задача
: разработать проект программы деятельности (исследования) объекта / процесса (создания модели, проведения анализа, диагностики, прогноза) и проект плана реализации этой программы.
Промежуточные задачи:
1. Провести анализ состояния исходной информации (ее полноты, надежности) об объекте / процессе.
2. Определить необходимую дополнительную (недостающую) информацию (для моделирования, анализа, принятия решений, разработки проекта программы и плана деятельности).
3. Привести (дать описание) необходимые для анализа, прогноза, проектирования и планирования математические модели объекта/процесса.
4. Провести анализ состояния и динамики объекта/процесса, используя необходимые для анализа модели, методы, средства, алгоритмы, технологии (МСАТ).
5. На основе анализа сформулировать (определить) и обосновать проблемы (узкие места) объекта/процесса; определить их связи между собой, построить систему проблем (и задач), спрогнозировать тенденции, динамику их развития, используя для этого необходимые МСАТ прогнозирования (или воспользоваться уже имеющимися прогнозами, приводя необходимые для прогнозов МСАТ).
6. Дать и обосновать диагноз причин появления проблем КО.
8. Разработать и обосновать цели программы (и плана) решения системы проблем и задач. Определить (выбрать) критерии и показатели степени достижения выбранных целей.
9. Перечислить и охарактеризовать основные этапы, обобщенный алгоритм (схему) разработки проекта, программы для достижения принятых целей решения системы проблем и задач; описать (привести) МСАТ, необходимые для разработки программы (в том числе, программные средства для ЭВМ).
Такая структура ККЗ в наиболее полной степени удовлетворяет всем вышеприведенным критериям качества комплексной оценки КПВ.
Эта же структура ККЗ, адаптированная для конкретного НП/СП, охватывает большинство (корректно определенных) задач деятельности или компетенций выпускника (см. Приложения 5-7,9), как минимум, для одного из видов деятельности. При этом оценка качества решения ККЗ дифференцирована в соответствии с составом задач деятельности, а значит, и показателями оценочной модели.
Структура и содержание ВКР
определяются выпускающими кафедрами, как правило, имеющими в этом большой опыт (особенно если их ГОС лишен вышеприведенных недостатков). Рекомендуется пользоваться разработанными УМО соответствующими НП/СП фондами оценочных средств (ФОС).
Оценка ВКР
осуществляется по показателям ее качества, которые непосредственно берутся из оценочной модели (см. Приложения 2,4,8,10). Веса этих показателей, а так же показателей качества ККЗ, определяются заранее с помощью бланков в Приложении 10 и рассчитываются по формулам в Приложении 14. При наличии полного набора показателей (критериальной модели) лучше сразу определить все значимости веса всех показателей.
Экспертиза конкретных ВКР осуществляется руководителями (консультантами) дипломников и рецензентами, которые заполняют соответствующие специальные формы (например, предлагаемые в Приложении).
При написании отзывов о ВКР их руководители сначала проводят экспертизу качества ВКР по приведенным в оценочных листах показателям, а затем дают описательную характеристику проекту или работе, объясняя выставленные ими оценки, в первую очередь, наиболее высокие и наиболее низкие.
Руководители, рецензенты и члены ГАК могут охарактеризовать дополнительные качества ВКР (ДП и Р), которые не описываются предложенными показателями, но являются важными по мнению руководителя или рецензента.
Для повышения обоснованности выбора состава показателей и их весовых коэффициентов руководители и рецензенты могут высказать свое мнение по этим вопросам (см. гр. 5, Приложение 1). Эта информация после статистической обработки и анализа может использоваться кафедрами для совершенствования методики оценки качества дипломных проектов и работ.
3. Организация экспертизы качества ВКР и ККЗ членами ГАК
За несколько дней до начала работы ГАК выпускающая кафедра организует ознакомление членов ГАК с принятой методикой экспертизы (оценки) ВКР и ККЗ. При необходимости член ГАК проводит консультации по методике экспертизы до начала или в процессе работы ГАК. Бланк экспертизы или оценки (Приложение 10) заполняется каждым членом ГАК индивидуально, отдельно по группе дипломных проектов и отдельно по группе дипломных работ.
Матричная форма записи оценок качества ВКР и ККЗ, предлагаемая членам ГАК, облегчает им выбор конкретных оценок, повышает достоверность экспертизы. С помощью матричной формы каждый эксперт имеет возможность сопоставить выставленные им оценки группы дипломных работ (проектов) по одному и тому же показателю качества, сформировать для себя уровень требовательности или точку отсчета и при необходимости скорректировать свои оценки после экспертизы группы ВКР и ККЗ.
Оценки по показателям качества выставляются каждым членом ГАК индивидуально, без согласования их с другими членами ГАК. При желании член ГАК может произвести предварительный контрольный расчет интегральной оценки проекта или работы как среднеарифметической выставленных им оценок показателей или с помощью калькулятора рассчитать средневзвешенную оценку.
Член ГАК, привлекая технический персонал выпускающей кафедры, рассчитывает групповые и интегральные оценки каждой ВКР и ККЗ как средневзвешенные оценок показателей качества для каждого члена ГАК отдельно, а также рассчитывает средние для каждой группы выпускников оценки по каждому показателю качества по оценкам всех членов ГАК после заполнения ими своих форм (оценочных листов). Эти расчеты упрощаются при введении оценок в процессе работы ГАК ее членам непосредственно в их персональные компьютеры (а также при использовании специальной программы, разработанной в Исследовательском центре).
В процессе обсуждения результатов защиты и согласования интегральных оценок дипломных проектов и работ членами ГАК друг с другом, они могут внести коррекции в интегральные оценки. Все коррекции оговариваются в оценочном листе соответствующим членом ГАК и заверяются его подписью.
После обсуждения общая оценка каждой ВКР/ККЗ рассчитывается как среднеарифметическая интегральных оценок всех членов ГАК. При значительной разнице интегральной оценки члена ГАК с оценками большинства членов ГАК его оценка и ее обоснование фиксируется в протоколе ГАК.
При большой разнице между оценками ВКР/ККЗ рецензентом или руководителем проекта, ГАК отмечает эти факты в протоколе и высказывает свою точку зрения по этому поводу, давая характеристику объективности оценок, выставленных рецензентом или руководителем.
В протоколе ГАК особо отмечаются высокие и низкие качества большинства ВКР.
Заполненные членами ГАК оценочные листы подписываются ими и остаются на кафедре для последующей обработки на ЭВМ и анализа.
4. Организация опроса (анкетирования)
выпускников
Для анкетирования выпускников-дипломников и работающих выпускников предлагается использовать специальный опросный лист, образец которого представлен в Приложении 10.
Анкетирование выпускников-дипломников рекомендуется проводить, как правило, до защиты ими дипломных проектов (работ).
Для сбора заполненных опросных листов на кафедре должна быть установлена специальная урна, вскрытие которой производится в заранее оговоренный срок рабочей группой выпускающей кафедры, ответственной за опрос дипломников.
Простейшая обработка опросных листов состоит в расчете процента ответов по каждому вопросу и по каждому варианту ответа отдельно.
Результаты опроса выпускников анализируются и обсуждаются на заседании выпускающей кафедры.
Результаты самооценки выпускников (их КПВ) по п.5 (5.1–5.9) (Приложение 10) необходимо использовать при расчете значений инвариантных показателей КПВ (с помощью программы ЭВМ), преобразуя ответы выпускников в пятибалльную шкалу оценок следующим образом: вариант ответа 1 соответствует оценке «отлично», 2 – «хорошо», 3 – «удовлетворительно».
ОЦЕНКА ВКР И ККЗ, ОБРАБОТКА И АНАЛИЗ
РЕЗУЛЬТАТОВ ОЦЕНОК
При оценке ВКР/ККЗ эксперт выставляет оценки отдельно по каждой ВКР по каждому показателю качества ВКР в бланке экспертизы или в оценочном листе (Приложение 1), заполняя соответствующий каждой ВКР столбец оценок. Для удобства текст показателей может не включаться в бланк, а прилагаться к нему. Указанные показатели разрабатываются соответствующим УМО (выпускающая кафедра или цикловая (предметная) комиссия)
.
Бланки заполняются экспертом отдельно по группе дипломных проектов и отдельно по группе дипломных работ, если УМО дает для них разные наборы показателей
.
Как правило, оценки выставляются в традиционной пятибалльной шкале.
При отсутствии необходимости наличия соответствующего качества в оцениваемой ВКР эксперт может ставить «0». При расчете средних (или средневзвешенных) оценок по столбцам – интегральных оценок по каждой ВКР, или средних оценок по строкам – по каждому показателю отдельно для всех ВКР, учитываются (суммируются) только ненулевые оценки.
Табличная форма записи оценок качества ДП и ДР, предлагаемая экспертам, облегчает им выбор конкретных оценок, повышает достоверность экспертизы. С помощью табличной формы каждый эксперт имеет возможность сравнить выставленные им оценки группы ВКР (дипломных работ, проектов) по одному и тому же показателю качества, сформировать для себя уровень требовательности или точку отсчета и при необходимости скорректировать свои оценки после экспертизы группы ВКР.
При желании эксперт может произвести предварительный контрольный расчет интегральной оценки для каждой ВКР (дипломного проекта или работы) и ККЗ как среднеарифметической выставленных им оценок показателей соответствующей ВКР (ККЗ), или с помощью калькулятора рассчитать средневзвешенную оценку, если для каждого показателя имеется его вес по отношению к другим показателям.
Эксперт, привлекая технический персонал выпускающей кафедры, может также рассчитать среднеарифметические значения всех ВКР (или ККЗ) по каждому показателю качества отдельно. Эти расчеты упрощаются при использовании специальной программы для ПЭВМ, разработанной в Исследовательском центре.
По методике, разработанной в Исследовательском центре, проводится расчет ряда параметров и определяется средняя оценка ГАКом качества дипломных проектов по специальности, выполненных под руководством b
-го преподавателя.
С помощью программ обработки информации на ЭВМ производятся расчеты рассогласования мнений экспертов и экспертных групп, расчет статистических оценок с учетом рангового характера используемых шкал.
По результатам расчета средних оценок показателей качества всей совокупности ДП и Р кафедрой проводится анализ сильных и слабых характеристик ДП и Р. Рекомендуется произвести расчет всех ДП и Р по каждой группе экспертов (ГАК, руководители, рецензенты) отдельно и по всем экспертам. Сопоставление этих четырех групп оценок позволит сравнить уровень требовательности каждой группы экспертов и акцентов, которые делает каждая группа. Анализ этой информации поможет провести сопоставление оценок экспертных групп с их средними значимостями или весами показателей.
Для выделения наиболее сильных и слабых руководителей дипломных проектов рекомендуется проанализировать оценки дипломников этих руководителей Qjгак и Qkjгак, выставленных ГАК и рецензентами.
При анализе сильных и слабых качеств всех ВКР рекомендуется учитывать тематику и эффективность НИР на кафедре, степень участия студентов в этих НИР, сроки выдачи ДП и Р, связь тематик курсовых и дипломных проектов и работ и НИР, связь фундаментальных, обязательных и специальных дисциплин, специализацию первых и фундаментализацию последних.
Этому анализу поможет учет обобщенного мнения дипломников.
ЛИТЕРАТУРА
1. Решение Коллегии Минобразования РФ от 19.09.2000 г. «О проблемах качества реализации государственных образовательных стандартов в вузах Российской Федерации».
2. Методические рекомендации по определению структуры и содержания государственных аттестационных испытаний по направлению подготовки (специальности) высшего профессионального образования. Письмо Министерства образования Российской Федерации от 18 мая 2002 г. № 14-55-359ин/15.
3. Максимов Н.И., Бородулин И.Н., Галямина И.Г., Коротков Э.М., Коршунов С.В., Соловьев В.П., Трубина Л.А. Методические рекомендации по определению структуры и содержания государственных аттестационных испытаний по направлению подготовки (специальности) высшего профессионального образования. Минобразование 15.05.02. № 14-55-369 ин/15.
4. Татур Ю.Г., Казанович В.Г. О методике создания примерных фондов оценочных средств для аттестации выпускников вузов на соответствие ГОС ВПО // Проблемы качества образования. Ч. 2. – М.; Уфа.
5. Оценочные и диагностические средства для итоговой государственной аттестации выпускников вузов по специальности 291400 «Кораблестроение и океанотехника». – СПб.: УМО по образованию в области кораблестроения и океанотехники СПбМГТУ, 2003.
6. Оценочные и диагностические средства для итоговой государственной аттестации выпускников вузов по специальности 032200 – Физика. – М.: УМО по педагогическому образованию, 2003.
7. Положение об итоговой государственной аттестации выпускников высших учебных заведений Российской Федерации. – М.: Минобразование РФ, приказ от 25.03.2003 № 1155.
8. Селезнева Н.А., Субетто А.И. Новое качество высшего образования в современной России. – М.: Исследовательский центр проблем качества подготовки специалистов, 1995.
9. Селезнева Н.А. Качество высшего образования как объект системного исследования. – М.: Исследовательский центр проблем качества подготовки специалистов, 2004.
10. Концепция и методическое обеспечение разработки образовательных стандартов высшего профессионального образования второго поколения. Проект /Под общ. ред. Н.И. Максимова, Н.А. Селезневой. – М.: Исследовательский центр проблем качества подготовки специалистов, 1999.
11. Образовательный стандарт высшей школы: сегодня и завтра. Монография / Под общ. ред. В.И. Байденко, Н.А. Селезневой. – М.: Исследовательский центр проблем качества подготовки специалистов, 2001.
12. Основная образовательная программа: Метод. рекомендации / Авт.- сост. А.Л. Гавриков, С.В. Гудилов, В.А. Исаев, Е.И. Грошев, Г.С. Поровский; НовГУ им. Ярослава Мудрого. – Великий Новгород, НовГУ, 2002. – 36 с.
13. Субетто А.И. Концепция стандарта качества базового высшего образования (системная методология стандарта и проблемы нормативного отражения в стандарте фундаментализации образования). – СПб.; М.: Исследовательский центр проблем качества подготовки специалистов, ПАНИ, 1992.
14. Субетто А.И. Оценочные средства и технологии аттестации качества подготовки специалистов в вузах: методология, методика, практика. – СПб.; М.: Исследовательский центр проблем качества подготовки специалистов, 2004. – 68 с.
15. Коломиец Б.К. Управление качеством образования: инвариантные аспекты. М.: Исследовательский центр проблем качества подготовки специалистов, Московская государственная технологическая академия, 2003. – 60с.
16. Коломиец Б.К. Методические рекомендации по комплексной оценке качества подготовки выпускников вузов. – Москва; Хабаровск: Исследовательский центр проблем качества подготовки специалистов. Изд-во Хабаровского государственного технического университета, 2002. – 35 с.
17. Анищева Л.И., Ащеулов Ю.Б., Коломиец Б.К. Исследование по разработке системы комплексной оценки качества подготовки выпускников ссузов / Под ред. Б.К. Коломийца. – Воронеж: Воронежский государственный промышленно-гуманитарный колледж, 2003. – 35 с.
18. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты. – М.: Исследовательский центр проблем качества подготовки специалистов, 1999.
19. Челышкова М.Б., Ковалева Г.С. Основные подходы к оценке качества подготовки обучаемых в России и за рубежом. – М.: Исследовательский центр проблем качества подготовки специалистов, 1999.
20. Бородулин И.Н. Методическое обеспечение разработки оценочных средств итоговой аттестации выпускников // Материалы IX Симпозиума «Квалиметрия человека и образования: методология и практика». Кн. 3. – М.: Исследовательский центр проблем качества подготовки специалистов, 2000.
21. Коломиец Б.К. Подведение итогов социалистического соревнования коллективов в системе Миннвуза УССР. Препринт докладов Институту экономики промышленности АН УССР. – Донецк: ИЭП АН УСРР, 1981. – 17 с.
22. Развитие методологии и моделей комплексной оценки качества подготовки выпускников (КПВ) и студентов вузов. Т. I. «Комплексная оценка выпускников высших учебных заведений». Исполнитель Б.К. Коломиец. Отчет по НИР за 1996 г. – М.: Исследовательский центр проблем качества подготовки специалистов, 1997. – 135 с.
ПРИЛОЖЕНИЯ
Приложение 2
Система инвариантных показателей КПВ для ВКР и ККЗ
(на основе общеинтеллектуальных компетенций)
· Владеет методами сбора, хранения и обработки (редактирования) информации, применяемыми в сфере его профессиональной деятельности;
· умеет пользоваться системами моделей объектов (процессов) деятельности или выбирать (строить) адекватные объекту модели;
· умеет анализировать состояние и динамику объектов деятельности с использованием методов и средств анализа и прогноза;
· умеет корректно формулировать задачи (проблемы) своей деятельности (проекта, исследования), устанавливать их взаимосвязи, строить модели систем задач (проблем), анализировать, диагностировать причины появления проблем;
· умеет формулировать цели проекта (программы) решения задач (проблем), критерии и показатели достижения целей, строить структуры их взаимосвязей, устанавливать приоритеты решения задач (проблем), учитывать нравственные аспекты деятельности;
· умеет прогнозировать динамику, тенденции развития объекта, процесса, задач, проблем, их систем, пользоваться для этого формализованными моделями (методами);
· владеет современными методами проектирования: умеет строить обобщенные варианты проекта (концепции) решения проблемы, задачи, их систем, анализировать эти варианты, прогнозировать последствия каждого варианта, синтезировать альтернативные варианты, находить компромиссные решения в условиях многокритериальности, неопределенности, планировать реализацию проекта;
· владеет методами самооценки, контроля качества своей деятельности, ее результатов;
· умеет делать обоснованные, доказательные выводы;
· владеет методами обучения в процессе деятельности, обучения новым методам, средствам деятельности, приобретения новых знаний, используя современные образовательные технологии, программы ЭВМ; умеет рефлексировать (моделировать, анализировать, оценивать) свою интеллектуальную деятельность и деятельность в кооперации с коллегами;
· умеет осуществлять деятельность в кооперации с коллегами, находить компромиссы при совместной деятельности;
· владеет применяемыми в сфере своей профессиональной деятельности компьютерными средствами, программами моделирования, анализа, прогноза, проектирования, планирования и обучения;
· владеет необходимыми для выполнения всех перечисленных интеллектуальных функций знаниями (фундаментальными и прикладными);
· знает системы задач профессиональной деятельности по соответствующему направлению подготовки, их характеристики (модели), характеристики методов, средств, технологий и алгоритмов (МСАТ) решения этих задач.
Приложение 3
Инвариантные показатели ВКР для всех СП/НП
1. Научный (технический) уровень проекта, его соответствие последним достижениям науки и техники, актуальность темы и содержания ВКР.
2. Оригинальность проекта, наличие в нем новых конструктивных решений, идей (пример шкалы: 5 – решения, идеи содержат элементы изобретения; 3 – содержит элементы рацпредложений; 1 – отсутствие новых решений, идей).
3. Уровень использования в проекте естественнонаучных, фундаментальных дисциплин (математики, физики и т.д.).
4. Системность, логическая взаимосвязь всех частей ВКР друг с другом и с более общей задачей (проблемой).
5. Уровень применения в проекте ЭВМ (пример шкалы: 5 – расчеты основных частей ВКР осуществляются на современных ЭВМ и программном обеспечении с применением библиотеки стандартных подпрограмм; 2 – применение ЭВМ на низком уровне; 1 – ЭВМ не используется; 0 – нет необходимости использовать ЭВМ).
6. Объем выполненных в проекте работ (пример части шкалы: 5, 4 – выше среднего объема большинства подобных проектов по специальности).
8. Экологическая обоснованность решений.
9. Завершенность ВКР (проекта, работы), уровень фактического использования, внедрения результатов ВКР (пример шкалы: 5 – внедрена вся ВКР; 4 – внедрена часть ВКР; 3 – ГАК рекомендует ВКР к внедрению или публикации).
Приложение 4
Показатели КПВ, соответствующие задачам деятельности
по специальности «Коммерция» (ГОС-2)
· Владеет методами сбора, хранения, обработки и анализа информации, применяемыми в коммерческой деятельности; методами исследования ее информационно-методического обеспечения;
· умеет анализировать и оценивать: коммерческую деятельность, товарные рынки, продвижение товаров от производителей до потребителей;
· умеет прогнозировать: результаты коммерческой деятельности; конъюнктуру товарных рынков; номенклатуру товаров;
· владеет методами проектирования: номенклатуры товаров, процессов их продвижения и реализации на рынке; разработки стратегии коммерческой деятельности;
· умеет планировать: коммерческую деятельность организации, предприятия, объемы закупки и продажи товаров, товарные запасы;
· умеет организовывать: реализацию проектов и планов в области коммерции, закупку и оптовую продажу товаров, их продвижение и реализацию на рынке, формирование товарного ассортимента; осуществлять выбор покупателей и поставщиков, коммерческие взаиморасчеты, управление товарными запасами и торговое обслуживание.
· умеет пользоваться системами моделей процессов коммерческой деятельности или выбирать (строить) модели бизнес-технологий.
Отметим, что стилистически формулировку каждого показателя необходимо начинать словами «степень владения (умения) методами».
Набор показателей разработан кафедрой коммерции Московского государственного университета коммерции совместно с автором на основе системы задач деятельности квалификационной характеристики выпускника по специальности 351300 "Коммерция (торговое дело)".
Приложение 5
Пример комплексного контрольного задания по специальности
«Коммерция»
Исходная информация
Коммерческий объект (КО) задан с помощью следующей информации:
– состояние спроса и предложений на продукцию КО (или на перечень (номенклатуру) продукции ... на рынке) .....
– запасы этой продукции (вероятностные оценки этих запасов), ее состояние (качество) на рынке, у самого КО ....
– возможности (производственные мощности) по производству этой (номенклатуры) продукции ...
– другая информация.....
Общая задача
: разработать проект программы деятельности КО – коммерческого объекта (или коммерческой деятельности – КД объекта) и проект плана реализации этой программы.
Промежуточные задачи:
1. Провести анализ состояния исходной информации (ее полноты, надежности) о КО, в том числе, наличия и качества (адекватности) моделей КО, рынка и т.д.
2. Определить необходимую дополнительную (недостающую) информацию для анализа, принятия решений, для разработки проекта программы и плана деятельности КО, в том числе, правовые, юридические акты, документы.
3. Привести (дать описание) необходимые для анализа, прогноза, проектирования и планирования математические модели (общие и частные) КО или КД.
4. Провести анализ состояния и динамики КО, товарного рынка, продвижения товаров, возможности роста производимой (производства новой) продукции КО, используя необходимые для анализа модели, методы, средства, алгоритмы, технологии (МСАТ).
5. Спрогнозировать возможности КО (КД), результаты КД, динамику товарного рынка по соответствующей номенклатуре товаров, используя для этого необходимые МСАТ прогнозирования (или воспользоваться уже имеющимися прогнозами, приводя необходимые для прогнозов МСАТ).
6. На основе анализа сформулировать (определить) и обосновать проблемы («узкие места») КО (КД); определить их связи между собой и с задачами решаемыми КО – построить систему проблем и задач КО (КД), спрогнозировать тенденции из развития..
7. Дать и обосновать диагноз причин появления проблем КО.
8. Разработать и обосновать цели программы и плана КО (КД), связав их с решением проблем и задач КО (КД). Определить (выбрать) критерии и показатели степени достижения выбранных целей.
9. Перечислить и охарактеризовать основные этапы, обобщенный алгоритм (схему) разработки программы КД для достижения принятых целей, решения системы проблем и задач; описать (привести) МСАТ, необходимые для разработки программы (в том числе, программные средства для ЭВМ).
10. – " – для разработки плана КО по реализации программы.
11. Привести состав партнеров, с которыми необходимо организовать взаимодействие
а) на этапах разработки программы, плана;
б) на этапах их реализации.
12. Охарактеризовать этические аспекты коммерческой деятельности и их учет на этапах проектирования, планирования и реализации планов – в процессе коммерческой деятельности, документы, в которых отмечены эти аспекты.
Приложение
6
Пример показателей КПВ, соответствующих задачам деятельности
по специальности 032200 – Физика (преподаватель)
(проект автора)
Специалист умеет:
· собирать и обновлять информацию о каждом учащемся и каждой группе (классе) (успеваемость, мотивация изучения физики и т.д.), используя их текущую успеваемость, результаты социально-психологических измерений, и формировать соответствующие базы данных (в т.ч. компьютерные);
· анализировать имеющуюся информацию, формулировать проблемы каждого учащегося и их классов (групп), давать диагноз (психолого-педагогический) причин этих проблем;
· формулировать цели обучения физике и воспитания в процессе обучения, согласовывать эти цели с целями других дисциплин (предметов) и всей программы обучения;
· разрабатывать проект программы обучения физике, реализующей выбранные цели обучения и воспитания, включающей выбор методов и средств (технологии) обучения, а также план (во времени) реализации программы, с учетом индивидуальных возможностей учащихся; согласовывать свой проект и план с проектами и планами по другим дисциплинам (предметам) и всего учебного плана;
· прогнозировать возможные положительные и отрицательные последствия своего поведения, своих решений, проекта и планов для всех участников образовательного процесса и корректировать их с учетом прогноза;
· разрабатывать (создавать) необходимые средства оценки успешности реализации программы каждым учащимся и всем классом (группой), в т.ч. с помощью педагогических измерений с использованием компьютера;
· организовывать выполнение программы и планов учебной и воспитательной деятельности в процессе изучения физики, в т.ч. самостоятельной работы учащихся, мотивации их к успешному изучению физики;
· организовывать промежуточный (текущий) контроль реализации программы и планов каждым и всем классом (группой), в т.ч. с помощью компьютера;
· организовывать заинтересованное взаимодействие основных участников учебно-воспитательного процесса – учащихся, их родителей, других преподавателей – при выполнении программы и планов изучения физики;
· анализировать положительные и отрицательные результаты выполнения программы и планов обучения физике, воспитания в процессе обучения и вносить необходимые коррекции в программу и планы (анализ индивидуальный и совместно с другими преподавателями);
· осваивать новые методы, средства и технологии преподавания физики (в т.ч. компьютерные).
Специалист владеет знаниями, необходимыми для решения этих задач и предусмотренными образовательной программой.
Приложение
7
Комплексное квалификационное задание по педагогической специальности – инвариантная составляющая (проект автора)
Имеется предварительная информация о группе (классе) учеников и об отдельных учениках. Заданы программа учебного заведения, учебный план и программа обучения.
Разработать план педагогической деятельности, направленный на формирование ученического коллектива или определенных характеристик межличностных отношений учащихся, на формирование у конкретных учащихся необходимых психологических и социально-психологических характеристик (качеств), умений, знаний и навыков по определенному предмету.
Промежуточные задачи:
1. В результате анализа исходной информации и общей задачи определить необходимую дополнительную информацию (например, о способностях, мотивации, ценностной ориентации и других психологических качествах (характеристиках) учащихся, об их межличностных отношениях и иных социально-психологических характеристиках класса (группы)).
2. Дать интерпретацию результатов психологического и педагогического тестирования учащихся, результатов социометрии или других социально-психологических измерений (оценок). На основании всей имеющейся информации построить формализованные части моделей каждого учащегося в виде совокупности его характеристик (качеств и их взаимосвязей) построить социально-психологическую модель межличностных отношений в классе (группе).
3. Провести анализ моделей и их совокупности, сформулировать проблемы для каждого учащегося и класса, диагностировать причины возникновения этих проблем.
4. На основании результатов анализа сформулировать цели обучения по конкретному предмету для каждого учащегося, групп и класса в целом, согласовать их с общими целями обучения и воспитания образовательной программы и стандарта (ГОС),
5. Разработать варианты обобщенных (без деталей) планов воспитания и обучения, индивидуальной и групповой самоорганизации и самообучения учащихся, способные обеспечить выполнение поставленных целей.
6. Спрогнозировать с помощью имеющихся или построенных моделей возможные последствия каждого варианта программы, плана для конкретных учащихся, класса, оценить качество, эффективность каждого варианта по своим или заданным критериям.
7. Выбрать окончательные варианты планов, программ, согласовать их с общими заданными планами по отношению к классу, с планами других преподавателей по предметам.
8. Провести логический, системный анализ результатов решения задач 1-6, противоречий своих целей, планов с заданными (общими, по предметам). По результатам анализа обосновать необходимость коррекции, изменений в заданных общих и предметных целях и планах или внести коррекции в решение задач 1-6.
Приложение 10
Бланк сравнительной оценки экспертом качества ВКР (дипломных проектов, работ) по направлению подготовки
ВУЗ______________ Выпускающая кафедра ____________________________
Направление подготовки «Экономика, бухгалтерский учет и контроль»
Б Л А Н К
сравнительной оценки
экспертом качества ВКР
(дипломных
проектов, работ
)
Дата экспертизы "___"______________200 __ г.
Уважаемый эксперт!
Дайте, пожалуйста, оценки качества рассмотренных Вами работ по каждому из приведенных ниже показателей в пятибалльной шкале. Общая оценка по каждой дипломной работе рассчитывается как средневзвешенная оценок по показателям.
| №№
|
Показатели качества ВКР
|
Оценки по показателям качества ВКР |
Средние оценки показателей по всем ВКР |
Весовые коэффициенты показателей |
Значимость показателей |
|||||||||
| Ф.И.О. студентов-дипломников и их номера |
||||||||||||||
| 1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|||||
| 1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
| 1. Инвариантные показатели ВКР
|
||||||||||||||
| 1.1. |
Научный (технический) уровень проекта, его соответствие последним достижениям науки и техники, актуальность темы и содержания ВКР. |
|||||||||||||
| 1.2. |
Оригинальность проекта, наличие в нем новых конструктивных решений, идей (пример шкалы: 5 – решения, идеи содержат элементы изобретения; 3 – содержит элементы рацпредложений; 1 – отсутствие новых решений, идей. |
|||||||||||||
| 1.3. |
Уровень использования в проекте естественнонаучных, фундаментальных дисциплин. |
|||||||||||||
| 1.4. |
Системность, логическая взаимосвязь всех частей ВКР друг с другом и с более общей задачей (проблемой). |
|||||||||||||
| 1.5. |
5. Уровень применения в проекте ЭВМ (пример шкалы: 5 – расчеты основных частей ВКР осуществляются на современных ЭВМ и программном обеспечении с применением библиотеки стандартных подпрограмм; 2 – применение ЭВМ на низком уровне; 1 – ЭВМ не используется; 0 – нет необходимости использовать ЭВМ). |
|||||||||||||
| 1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
| 1.6. |
Объем выполненных в проекте работ (пример части шкалы: 5, 4 – выше среднего объема большинства подобных проектов по специальности). |
|||||||||||||
| 1.7. |
Уровень экономической обоснованности, эффективности решений в ВКР. |
|||||||||||||
| 1.8. |
Экологическая обоснованность решений. |
|||||||||||||
| 1.9. |
Завершенность ВКР (проекта, работы), уровень фактического использования, внедрения результатов ВКР. (пример шкалы: 5 – внедрена вся ВКР; 4 – внедрена часть ВКР; 3 – ГАК рекомендует ВКР к внедрению или публикации). |
|||||||||||||
| 2. Показатели КПВ, соответствующие задачам деятельности по направлению подготовки «Экономика» /Бухгалтерский учет и контроль /
|
||||||||||||||
| 2.1. |
владеет методами сбора, хранения, обработки и анализа информации, применяемыми в экономической деятельности; использования информационных технологий для решения экономических задач на предприятии; |
|||||||||||||
| 2.2. |
умеет корректно формулировать задачи анализа исследования объекта экономической деятельности, устанавливать их взаимосвязи, строить системы задач, диагностировать причины появления проблем; |
|||||||||||||
| 2.3. |
умеет формулировать цели решения задач (проблем), критерии и показатели достижения целей, строить структуры их взаимосвязей, устанавливать приоритеты решения задач (проблем), учитывать нравственные аспекты деятельности; |
|||||||||||||
| 2.4. |
владеет методами экономического анализа производственно-хозяйственной деятельности предприятия, его подразделений и оценки рыночных позиций предприятия; |
|||||||||||||
| 2.5. |
умеет проводить анализ исследования внешней и внутренней среды предприятия, основных факторов, формирующих динамику потребительского спроса на продукцию предприятия, научных основ организации производства и труда; |
|||||||||||||
| 2.6. |
умеет выявлять проблемы экономического характера при анализе конкретных ситуаций, предлагать способы их решения и оценивать ожидаемые результаты; |
|||||||||||||
| 2.7. |
умеет прогнозировать динамику, тенденции развития объекта, задач, проблем, их систем; |
|||||||||||||
| 2.8. |
умеет планировать производственно-хозяйственную деятельность предприятия и его подразделений, в т.ч.: – разрабатывать бизнес-планы проектов; – определять условия поставки, хранения и транспортировки продукции; – рассчитывать цены и себестоимость продукции; – разрабатывать организационно-управленческие структуры предприятия, определять доходы и расходы; – определять производительность труда и затраты рабочего времени на производство продукции и оказание услуг; – определять оптимальные формы и системы оплаты труда, материального и морального стимулирования, порядок установления доплат, надбавок и коэффициентов к заработной плате, исследования затрат рабочего времени, нормирования труда; – владеть методами финансового планирования, определения экономической эффективности оргтех. мероприятий. |
|||||||||||||
| 2.9. |
умеет пользоваться системами моделей процессов экономической деятельности или выбирать имеющиеся модели бизнес-технологий; |
|||||||||||||
| 2.10. |
владеет компьютерными средствами, программами статистического анализа, планирования; |
|||||||||||||
| 2.11. |
умеет делать обоснованные, доказательные выводы. |
|||||||||||||
| Общие оценки по каждой работе (ВКР)
|
/В данном Приложении использована работа /18/, Приложение 9.
Эксперт / член ГАК _________________________________________
(подпись) (ФИО)
Приложение
8
АНКЕТА ВЫПУСКНИКА
Уважаемый выпускник!
Ваше мнение о состоянии и проблемах обучения в вузе (колледже) (далее «учебном заведении») поможет их решению и совершенствованию учебного процесса в учебном заведении. Поставьте, пожалуйста, в выделенном месте
номер ответа, соответствующий Вашему мнению.
Вам гарантируется конфиденциальность Ваших ответов.
Заполненный опросный лист опускается в закрытый ящик или в урну для голосования.
1. Насколько Вы (были) знакомы с задачами (и проблемами) Вашей (будущей) профессиональной деятельности: 1 – знаком детально с основными задачами (и проблемами) и методами их решения; 2 – достаточно знаком с основными задачами; 3 – знаком, но не достаточно; 4 – не знаком.
2. Знание, освоение Вами каких дисциплин или курсов содействовало формированию Ваших способностей решать задачи предстоящей профессиональной деятельности? (Укажите в порядке убывания их значимость для Вашей профессиональной деятельности; на первом месте укажите наиболее значимую):
______________________________________________________
Что дало Вам обучение в учебном заведении?
3. Чувствуете ли себя подготовленным для самостоятельной работы по Вашей специальности на уровне специалиста с высшим (средним) профессиональным образованием? 1 – да, вполне; 2 – да; 3 – частично; 4 – не чувствую. __________
4. Появилась (усилилась) способность к творчеству, к рационализаторской, изобретательской, научной деятельности: 1 – да; 2 – не изменилась; 3 –
уменьшилась
______________________________________________________
5. Усилились (сформировались) общеинтеллектуальные способности, умения: 1 – да, в значительной степени; 2 – да; 3 – не очень, 4 – не усилились;
5.1 аналитические__________
5.2 моделирования, работы с моделями__________
5.3 способность доказательства, аргументации, обоснования своей позиции, решений __________
5.4 прогноза последствий своих решений, вариантов этих решений, действий __________
5.5 способность к обобщению, синтезу (информации, моделей, логических выводов, проектных решений и т.д.) __________
5.6 способность к обучению __________
5.7 способность к запоминанию, память, __________
5.8 способность к работе с информацией __________
5.9 способность осознания, рефлексии своей деятельности, действий __________
6. Стали лучше разбираться в сложных социальных и экономических проблемах нашего общества: 1 – да; 2 – не совсем; 3 – нет.__________
7. Сформировалась (усилилась) ответственность за качество результатов своей работы: 1 – да; 2 – не изменилась; 3 – ухудшилась. __________
8. Сформировалось (усилилось) оптимистичное отношение к миру, к своему будущему: 1 – да; 2 – не изменилось; 3 – ослабло, ухудшилось. __________
9. Появилось (усилилось) желание и умение активно вмешиваться в трудовую и общественную жизнь коллектива: 1 – да; 2 – не совсем; 3 – нет.__________
10. Улучшились отношения с товарищами, способность находить с ними контакт, компромиссы, совместные решения: 1 – да; 2 – не изменились; 3 – ухудшились. __________
11. Улучшились деловитость, умение оперативно работать: 1 – да; 2 – не изменились; 3 – ухудшились. __________
12. Улучшились организаторские качества: 1 – да; 2 – не совсем; 3 – нет. __________
13. Усилился авторитет учебного заведения, престиж учебного заведения: 1 – да; 2 - не изменился; 3 – уменьшился __________
14. Усилился авторитет выбранной специальности; 1 – да; 2 – не изменился; 3 – уменьшился, избрал бы другую специальность, если бы снова поступал в колледж __________
15. Кто из преподавателей оказал наибольшее положительное влияние на формирование Вашей нравственности, духовной культуры
______________________________________________________________
16. Кто из преподавателей оказал наибольшее положительное влияние на Вашу профессиональную и естественнонаучную подготовку
______________________________________________________________
17. Насколько и в какой форме заинтересованы Вы в продолжении контактов с учебным заведением: 1 – обучение на повышенном уровне СПО или по другой специальности; 2 – консультации с преподавателями по вопросам Вашей будущей работы; 3 – участие в совместной (Вашей фирмы и вуза) исследовательской, проектной, инновационной и др. работе; 4 – работа на одной из кафедр в качестве преподавателя; 5 – участие в деятельности ассоциации выпускников учебного заведения.__________
18. Как вы оцениваете возможности Вашего трудоустройства по полученной в учебном заведении специальности: 1 – вопрос трудоустройства решен полностью с помощью колледжа; 2 – вопрос трудоустройства решен самостоятельно; 3 – трудоустроен, но не по специальности; 4 – вопрос с трудоустройством не решен. __________
19. Какой уровень зарплаты считаете Вы приемлемым в начале Вашей трудовой деятельности__________
20. Насколько Вы уверены в получении такого – приемлемого уровня зарплаты в начале Вашей трудовой деятельности: 1 – есть договоренность с работодателем о более высоком уровне зарплаты; 2 – уверен, есть договоренность об этом; 3 – не уверен; 4 – начальный уровень зарплаты будет значительно ниже этого уровня.__________
Если Вы желаете дать на какой-то из приведенных вопросов другой или более развернутый ответ, высказать предложения по этим или другим вопросам, сделайте это в отведенном ниже (в рамке) месте или на отдельном листе.
Фамилию свою не указывайте.
№ _______________ Вашей специальности
Год, месяц____________________
Благодарим за ответ!
Анкетирование проводят:
Воронежский государственный промышленно-гуманитарный колледж,
Исследовательский центр проблем качества подготовки специалистов
Анкета разработана в Исследовательском центре проблем качества подготовки специалистов
Приложение
9
АНКЕТА РУКОВОДИТЕЛЯ/РАБОТОДАТЕЛЯ
Уважаемый руководитель!
Для учета мнения фирм, предприятий, организаций (ФПО) при оценке содержания и качества подготовки выпускников учебного заведения мы просим Вас дать ответы на приведенные ниже вопросы. Ваше мнение о состоянии и проблемах подготовки выпускников нашего учебного заведения поможет их решению с учетом и Ваших пожеланий. Поставьте, пожалуйста, в выделенном месте
номер ответа, соответствующий Вашему мнению. При отсутствии или неопределенности информации поставьте «0». При Вашем пожелании Вам гарантируется конфиденциальность Ваших ответов.
Название учебного заведения
___________________________________
Специальность (направление подготовки), по которой выпускники окончили учебное заведение ___________________________________________
Количество выпускников
__________
1. Насколько выпускники оказались знакомы с решаемыми в Вашей ФПО задачами (и проблемами) профессиональной деятельности: 1 – знакомы детально с основными задачами (и проблемами) и методами их решения; 2 – достаточно знакомы с основными задачами; 3 – знакомы, но не достаточно; 4 – не знакомы: __________
2. Знания каких дисциплин или курсов оказались наиболее востребованными, содействовали формированию способностей выпускников решать задачи предстоящей профессиональной деятельности? (Укажите в порядке убывания их значимости для профессиональной деятельности выпускников; на первом месте укажите наиболее значимую):
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Что, по вашему мнению, дало выпускникам их обучение в учебном заведении?
3. Подготовленность для самостоятельной работы по своей специальности на уровне специалиста со средним профессиональным образованием: 1 – да, вполне; 2 – да; 3 – частично; 4 – не подготовлен.__________
4. Способность к творчеству, изобретательской, научной, инновационной деятельности: 1 – высокая; 2 – хорошая; 3 – удовлетворительная; 4 – не проявилась.__________
5. Общеинтеллектуальные способности, умения: 1 – высокие; 2 – хорошие; 3 – удовлетворительные, 4 – не удовлетворительные;
5.1 аналитические__________
5.2 моделирования, работы с моделями__________
5.3 способность доказательства, аргументации, обоснования своей позиции, решений __________
5.4 прогноза последствий своих решений, вариантов этих решений, действий __________
5.5 способность к обобщению, синтезу (информации, моделей, логических выводов, проектных решений и т.д.) __________
5.6 способность к обучению__________
5.7 способность к запоминанию, память,__________
5.8 способность к работе с информацией __________
5.9 способность осознания, рефлексии своей деятельности, действий__________
6. Умение ориентироваться в сложных проблемах нашего общества: 1 – на высоком уровне; 2 – удовлетворительные; 3 – неудовлетворительные
6.1 социальных__________
6.2 экономических. __________
7. Ответственность за качество результаты своей работы: 1 – высокая; 2 – удовлетворительная; 3 – плохая.__________
8. Отношение к миру, к своему будущему: 1 – оптимистическое; 2 – не выраженное явно; 3 – пессимистическое.__________
9. Желание и умение активно вмешиваться в трудовую и общественную жизнь ФПО: 1 – на высоком уровне; 2 – не совсем; 3 – не проявляется.__________
10. Отношения с сотрудниками, способность находить с ними контакт, компромиссы, совместные решения: 1 – на высоком уровне; 2 – удовлетворительные; 3 – не удовлетворительные.__________
11. Деловитость, умение оперативно выполнять свои задачи: 1 – высокая; 2 – удовлетворительная; 3 – низкая.__________
12. Организаторские качества: 1 – на высоком уровне; 2 – хорошие; 3 – удовлетворительные; 4 – отсутствуют.__________
13. Насколько контакты с выпускниками учебного заведения, с его преподавателями, сотрудниками способствуют формированию у Вас авторитета учебного заведения: 1 – сформировался и поддерживается его высокий авторитет; 2 – удовлетворительный авторитет; 3 – низкий, отрицательный. __________
14. Насколько контакты с выпускниками специальности, направления подготовки (выпускающей кафедры), с ее преподавателями, сотрудниками способствуют формированию у Вас их авторитета: 1 – сформировался и поддерживается их высокий авторитет; 2 – удовлетворительный авторитет; 3 – низкий, отрицательный. _________
15. С кем из преподавателей Вы заинтересованы в контактах по вопросам формирования хороших, творческих, деловых отношений в руководимом Вами подразделении / ФПО
______________________________________________________________
______________________________________________________________
16. С кем из преподавателей Вы заинтересованы в контактах по вопросам внедрения результатов их исследований, разработок, проектов в руководимом Вами подразделении / ФПО
______________________________________________________________
______________________________________________________________
17. Насколько и в какой форме заинтересованы Вы в продолжении контактов с учебным заведением: 1 – участие в формировании долгосрочного (краткосрочного) заказа на подготовку специалистов для Вашей фирмы, а также заказа на открытие новых специальностей и направлений подготовки; 2 – консультации с преподавателями по вопросам Вашей работы; 3 – участие в совместной (Вашей фирмы и учебного заведения) исследовательской, проектной, инновационной и др. работе; 4 – работа на одной из кафедр в качестве преподавателя; 5 – участие в деятельности ассоциации выпускников учебного заведения.___
_______
Если Вы желаете дать на какой-то из приведенных вопросов другой или более развернутый ответ, высказать предложения по этим или другим вопросам, сделайте это на отдельном листе. Фамилию свою можете не указывать.
Год, месяц ____________________
Благодарим за ответ!
Анкетирование проводят:
Исследовательский центр проблем качества подготовки специалистов
Телефоны ________________________,
адрес проводящего анкетирование: __________________________________
Анкета разработана в Исследовательском центре проблем качества подготовки специалистов
Приложение 1
0
Определение весовых коэффициентов и свертка (агрегирование)
значений показателей качества ВКР/ККЗ
Использование наборов первичных показателей для оценки ВКР/ККЗ требует получения различных агрегированных оценок в виде наборов меньшего количества групповых и интегрального показателей качества. Это необходимо для принятия решения о выставлении окончательной итоговой оценки качества ИКР и ККЗ («отлично», «хорошо», «удовлетворительно», «неудовлетворительно»), для удобства анализа их качества, для расчета различных рейтингов по интегральным оценкам или по каждому из групповых показателей.
Наиболее простой и распространенный способ такого агрегирования – придание весов каждому показателю и расчет значений групповых и интегральных оценок как средневзвешенных сумм значений первичных показателей, что описывается в данной методике. При этом значение интегральной или групповой оценки может рассчитываться как средневзвешенная сумма значений групповых или первичных показателей. Такой способ агрегирования предполагает взаимозаменяемость
всех качеств ИКР/ВКР: недостаток одних качеств может быть компенсирован высоким значением других. Признание наличия, как минимум, двух невзаимозаменяемых важных качеств приводит к необходимости применения более сложных методов агрегирования [23].
Формирование весов показателей необходимо также и для объективизации формирования состава этих показателей: чем больший вес получает конкретный показатель, тем больше вероятность того, что он будет включен в окончательный набор показателей, и наоборот.
Выбор состава инвариантных (для ОП направления подготовки) показателей и их шкал (а затем соответствующих нормативов или шкал) осуществляется экспертной группой соответствующего УМО. Эту же работу для специальных показателей (перед вторым этапом эксперимента) осуществляют выпускающие кафедры или представители НП /СП (департамента, если он создан).
Формирование первоначального набора показателей и их весов осуществляется экспертной группой УМО на основании соответствующего ГОС-2 с помощью данной методики.
Для проведения экспертизы всем членам экспертной группы раздаются бланки оценочных листов с полным первоначальным набором показателей (типа бланка оценочных листов, представленного в Приложении 10).
1-й этап. Все члены экспертной группы (каждый отдельно) дают оценки dk
значимости показателей в 10-балльной шкале, где k
– индекс показателя, d
– индекс эксперта. Индекс значимоcти dk
проставляется экспертами против соответствующих показателей.
2-й этап. Все оценки усредняются dk= 1/nASdk
, nA
– количество n
экспертов в группе. По каждому показателю рассчитываются все отклонения индивидуальных оценок от средних: Ddk=|dk-dk|
. Экспертам, у которых Ddk
>2, предлагается еще раз просмотреть свою оценку по k
-му показателю. Если он считает необходимым сохранить свою оценку, то проводится совместное обсуждение оценок. Если после обсуждения кто-либо из экспертов меняет оценку, то рассчитывается новое dk
. Если оценка не меняется, то принимается первое dk
.
3-й этап. Рассчитываются нормированные весовые коэффициенты показателей lk=dk/ S dk
; Nk
– общее количество показателей ВКР (или ККЗ).
Правильность расчетов весов lk
проверяется выполнением условия
S lk
= 1+0,005.
С учетом полученных весовых коэффициентов lk
для всех показателей экспертной группой может уточняться полный состав этих показателей, оставляя в нем показатели с наибольшими весами.
При этом, экспертная группа предварительно
определяет максимальное общее количество показателей и состав групп показателей, которые обязательно должны быть в критериальной и оценочной моделях. В состав показателей оценки ВКР обязательно должны войти: а) показатели соответствующие общим требования к выпускнику (приложения 5, 6); б) показатели характеризующие общепрофессиональную подготовку; в) показатели качества выполнения ВКР (качество проектной или конструкторской части проекта, экспериментально А части – в дипломной работе) и т.д.
Для группы специальных показателей эксперты УМО могут резервировать определенное количество показателей, с учетом их общего количества. Но на первом этапе эксперимента специальные показатели могут быть не предусмотрены. Эксперты УМО могут рекомендовать построенные ими оценочные модели (показатели, соответствующие им веса, нормативы или шкалы) для экспериментального применения в ГАК при итоговой государственной аттестации выпускников (соответствующего направления подготовки и специальностей).
Разработанные оценочные модели утверждаются экспертной группой (или УМО) и вносятся во все оценочные листы (Приложения П.2.2., П.2.3., П.3.1., П.3.2.).
При использовании этих оценочных моделей в процессе ИГА их содержание доводится до сведения всех студентов-дипломников соответствующих кафедр (ОП) при выдаче им заданий на дипломный проект или работу.
Перечень условных символов
, используемых в оценочных листах качества дипломных проектов и работ:
qk
– значение k
-го показателя;
qki
– значение k
-го показателя i
-го дипломного(ой) проекта (работы).
При экспертной оценке качества нескольких дипломных проектов (работ), например, как в оценочном бланке для членов ГАК (Приложение П.3.1. и П.3.2.), рассчитываются отдельно групповые показатели каждого проекта (работы)
Qi= S lk*qki
и среднее значение каждого качества по всей выборке проектов (работ).
qk=1/nB S qki
, где nB
- количество проверенных проектов.
Общая или агрегированная оценка i
-го ВКР/ККЗ вычисляется по формуле:
Qi= S lk*qk
,
где Nk
– множество оцениваемых показателей.
В общем случае в Nk
включаются инвариантные и специальные показатели. Возможен упрощенный вариант расчета Qi= 1/n S qki ,
когда все веса lk
принимаются одинаковыми.
Приложение 1
2
СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ
ВКР – выпускная квалификационная работа
ГОС-1/ГОС-2 – государственный образовательный стандарт
первого/второго поколения
ДП – дипломный проект
ДР – дипломная работа
ЗПД – задачи профессиональной деятельности
ИГА – итоговая государственная аттестация выпускников вуза
ИМЭ – итоговый междисциплинарный экзамен
КПВ – качество подготовки выпускников
КМ – критериальная модель
КХ – квалификационная характеристика
КТ – квалификационные требования
МСАТ – методы, средства алгоритмы, технологии
НП – направление подготовки
ОЗПД – обобщенные ЗПД
ОМ – оценочная модель
ОП – образовательная программа
СП – специальность
ФОС – фонды оценочных средств качества подготовки выпускников