Підходи щодо оцінювання ключових процесів підготовки студента ВНЗ

Підходи щодо оцінювання ключових процесів підготовки студента ВНЗ

1. Фактори впливу на якість вищої освіти

Світова практика у сфері вищої освіти свідчить, що традиційних методів, які забезпечують високу якість навчання на сьогодні вже явно недостатньо. Потрібні нові організаційні, наукові і методичні підходи для забезпечення конкурентоспроможності випускника на глобалізованому ринку праці.

Зараз під якістю вищої освіти прийнято розуміти забезпечення необхідного рівня підготовки фахівців, здатних до ефективної професійної діяльності, швидкої адаптації в умовах науково-технічного прогресу, які володіють сучасними технологіями своєї спеціальності, уміннями використовувати отримані знання і навички в процесі вирішення швидкозмінних професійних завдань.

Саме тому ВНЗ повинен мати ефективну систему управління підготовкою майбутніх фахівців, які повною мірою відповідатимуть вимогам ринку праці і потребам роботодавців та суспільства.

Існує досить багато різних організаційних, методичних, технологічних факторів, які безпосередньо впливають на якість підготовки фахівця у ВНЗ. Частина з них оцінюється під час проведення атестації й акредитації ВНЗ. Наведений у таблиці перелік факторів впливу на якість навчання у порівнянні з принципами TQM, критеріями EFQM і вимогами міжнародного стандарту ISO 9001:2000 [1] дає підстави для прийняття висновку про те, що зазначені фактори повністю вкладаються в спільну ідеологію TQM, на якій вони базуються.

Таблиця 1

№ з/п	Фактори, що впливають на якість підготовки ВНЗ	Принципи TQM	Критерії EFQM	Вимоги ISO 9001:2000
1.	Рівень підготовки абітурієнтів	Орієнтація на споживача Налагодження взаємовигідних стосунків з пос-тачальниками	Використання потенціалу персоналу	7.3.2 Вхідні дані проектування та розроблення
2.	Рівень підготовки викладачів, підбір кадрів, підвищення їх кваліфікації, рівень соціального захисту	Роль вищого керівництва Залучення персоналу	Роль вищого керівництва Політика і стратегія Задоволеність персоналу	6.2 Людські ресурси
3.	Організація учбового процесу, впровадження наукових досягнень у навчальний процес	Процесний підхід	Управління процесами	7.2 Проектування та розроблення 7.5 Виробництво і надання послуг
4.	Оснащеність навчальним обладнанням, підручниками, посібниками, обчислювальною та оргтехнікою, використання інформаційних технологій	Системний підхід	Раціональне використання ресурсів	6.3 Інфра-структура 6.4 Виробниче середовище
5.	Гуманітарізація навчання, позаучбова виховна робота	Процесний підхід	Управління процесами	7.3.3 Вихідні дані проектування та розроблення
6.	Організація самостійної роботи студентів	Залучення персоналу	Використання потенціалу персоналу	7.5 Виробництво і надання послуг
7.	Мотивація студентів до якісного навчання	Залучення персоналу	Задоволеність споживачей	7.3.3 Вихідні дані проектування та розроблення
8.	Контроль знань, умінь та навичок студентів	Прийняття рішень на підставі фактів	Управління процесами Результати роботи	8.2.4 Моніторинг та вимірювання продукції 8.3 Управління невідповідною продукцією
9.	Оцінка рівня підготовки студентів роботодавцями, суспільством	Орієнтація на споживача	Задоволеність споживачей і суспільства Результати роботи	8.2.1 Задоволеність замовника
10.	Рівень самооцінювання і удосконалення	Постійне удосконалення	Результати роботи	8.2.2 Внутрішній аудит 8.4 Аналізування даних 8.5 поліпшення
11.	Рівень відповідності вимогам державної акредитації	Орієнтація на споживача	Задоволеність споживачей і суспільства Результати роботи	1.1 Загальні положення
12.	Зв» язок з роботодавцями і колишніми студентами	Орієнтація на споживача	Задоволеність споживачей і суспільства Результати роботи	7.2 Процеси, що стосуються замовників 7.2.3 Зв» язок з замовником
13.	Організація продовження навчання	Постійне удосконалення	Управління процесами Результати роботи	8. Вимірювання, аналізування та поліпшення

2. Модель системи якості ВНЗ на основі процесного підходу

За оцінками багатьох експертів у галузі вищої освіти вже найближчим часом сучасні технології управління, що базуються на принципах загального управління якістю (TQM), міжнародних стандартах ISO 9000, моделях європейського (EFQM) та національного конкурсів якості, мають стати визначальними для подальшого розвитку та удосконалення вищої освіти [2].

Одним з важливих положень TQM, ISO 9000, моделі EFQM є той факт, що якість кінцевого продукту або послуги формується як результат якості бізнес-процесів організації. З цього основоположного постулату випливає, що якість головних результатів діяльності ВНЗ, а саме якість підготовки студента ВНЗ, тісно пов» язана з якістю ключових процесів ВНЗ.

У [3] авторами запропонована модель оцінювання якості підготовки студента ВНЗ за вісьмома критеріями, орієнтованими на використання принципів TQM і стандартів ISO 9000.

Одним з основних критеріїв, що суттєво впливає на рівень підготовки студента є критерій, який оцінює ступінь досконалості ключових процесів, з яких складається діяльність ВНЗ.

Відповідно до моделі системи якості на основі процесного підходу діяльність будь-якої організації можна представити як сукупність чотирьох процесів, а саме: відповідальність керівництва, управління ресурсами, процес життєвого циклу, вимірювання, аналіз та поліпшення.

Тоді інтегрований показник якості ключових процесів Qпроцесів
можна визначити за формулою:

n

Qпроцесів
= å Pi
Qi процесу
= P1
Q1
+ P2
Q2
+ P3
Q3
+ P4
Q4,
де (1)

i=1

Qi
–показник якості i-того ключового процесу,

Pi
–ваговий коефіцієнт процесу.

З урахуванням специфіки діяльності ВНЗ модель системи якості на основі процесного підходу відповідно до вимог [1] можна зобразити як сукупність взаємопов'язаних 10-ти ключових процесів.

При цьому процес життєвого циклу замінений на 7 основних процесів, які становлять сутність навчального процесу ВНЗ. Це процеси набору студентів, їх навчання, проектування навчання, наукової діяльності, працевлаштування, післядипломного навчання, виховання. Відповідно і інтегрований показник якості ключових процесів буде визначатись за формулою:

4

Qпроцесів
= å Pi
Qi
= P1
Q1
+ P2
Q2
+ P3
(P31
Q31
+ P32
Q32
+ P33
Q33
+ P34
Q34
+ P35
Q35

i=1 (2)

+ P36
Q36
+ P37
Q37
) +P4
Q4

Кожен з процесів Qi
формули (2) може бути описаний через систему показників даного процесу. При цьому можна використати два підходи.

3. Опис ключових процесів ВНЗ на основі універсальних показників

Перший полягає у встановленні системи загальних (універсальних) показників, які характеризують будь який процес. Орієнтовний перелік таких показників наведений у таблиці 2.

У даному випадку оцінювання проводиться за 3‑ма групами показників:

- зрілість процесу;

- забезпеченість його ресурсами;

- часові характеристики процесу.

3

Qi
= å Pj
Qj,
де (3)

j=1

Pj
- ваговий коефіцієнт однієї з трьох груп показників, який встановлюється окремо кожним експертом в залежності від його впливу на кінцевий результат, або визначається до проведення оцінки;

Qj
– інтегрована оцінка j‑групи показників процесу.

Таблиця 2

№ з/п	Універсальні показники для оцінювання ключових процесів ВНЗ	Ваговий коефіцієнт (Pj)	Оцінка у балах (Аj)
Група 1. Зрілість процесу
1.	Визначення цілей процесу
2.	Розуміння цілей процесу персоналом
3.	Якість планування процесу
4.	Якість визначення вхідних даних процесу
5.	Якість визначення вихідних даних процесу та їх достатності
6.	Якість реєстрації виконання операцій процесу
7.	Якість виконання технологічних стадій процесу
8.	Якість контролю процесу
9.	Якість удосконалення процесу
Індивідуальна оцінка групи 1 IAG1
Група 2. Забезпеченість процесу ресурсами
1.	Інформаційні ресурси
2.	Фінансові ресурси
3.	Матеріальні ресурси
4.	Технічні ресурси
5.	Людські ресурси
Індивідуальна оцінка групи 2 IAG2
Група 3. Часові характеристики процесу
1.	Тривалість підготовки до процесу
2.	Оптимальність тривалості процесу
3.	Своєчасність виконання процесу
4.	Можливість скорочення часу процесу без негативного впливу на якість продукту
Індивідуальна оцінка групи 3 IAG3

4. Опис ключових процесів ВНЗ на основі спеціальних показників

Другий підхід полягає в описі процесу через систему спеціальних показників, що характеризують його. У даному випадку оцінювання проводиться за перерахованими у таблиці 3 показниками кожного з десяти ключових процесів ВНЗ.

Таблиця 3

№ з/п	Спеціальні показники для оцінювання ключових процесів ВНЗ	Ваговий коефіцієнт	Оцінка у балах
Процес 1. Відповідальність вищого керівництва
1.	Рівень виконання рішень
2.	Рівень виділення ресурсів
3.	Рівень особистої участі
Індивідуальна оцінка процесу 1 IО1
Процес 2. Менеджмент ресурсів
1.	Рівень відповідності компетентності персоналу потребам
2.	Рівень відповідності інфраструктури потребам
3.	Рівень відповідності робочого середовища встановленим вимогам
Індивідуальна оцінка процесу 2 IО2
Процес 3. Включає усі етапи життєвого циклу надання навчальної послуги і підготовки фахівця складається з п» яти процесів
Процес 3.1. Набір студентів
1.	Конкурс за спеціальностями
2.	Рівень роботи підготовчого відділення
3.	Рівень роботи приймальної комісії
4.	Рівень реклами
5.	Рівень початкової оцінки знань і особистих якостей студента
6.	Рівень формування однорідних за результатами тестування груп
7.	Рівень задоволеності студентів і батьків
Індивідуальна оцінка процесу 3.1 IО31
Процес 3.2. Проектування навчання
1.	Рівень оновлюваності навчальних програм
2.	Рівень участі роботодавців у проектуванні та внесенні змін до програм
3.	Рівень задоволеності студента навчальною програмою
Індивідуальна оцінка процесу 3.2 IО32
Процес 3.3. Наукова діяльність
1.	Рівень публікацій
2.	Рівень НДР
3.	Рівень участі у конференціях і семінарах
4.	Рівень роботи з аспірантами та докторантами
5.	Рівень студентської наукової роботи
Індивідуальна оцінка процесу 3.3 IО33
3.4. Навчальний процес
1.	Рівень успішності
2.	Рівень заборгованості
3.	Рівень задоволеності студентів навчальним процесом
4.	Рівень якості підготовки випускника
5.	Рівень контролю знань
6.	Рівень участі в олімпіадах
Індивідуальна оцінка процесу 3.4 IО34
3.5. Працевлаштування
1.	Рівень організації практики
2.	Рівень працевлаштування за спеціальністю
3.	Рівень зв» язку з випускниками
Індивідуальна оцінка процесу 3.5 IО35
3.6. Післядипломне навчання
1.	Рівень знань випускників
2.	Рівень задоволеності студентів
3.	Рівень задоволеності роботодавців
4.	Рівень задоволеності викладачів
Індивідуальна оцінка процесу 3.6 IО36
3.7. Виховний процес
1.	Рівень задоволеності студента створеними умовами для розвитку
2.	Рівень студентського самоврядування
Індивідуальна оцінка процесу 3.7
Індивідуальна оцінка процесу 3 IО37
Процес 4. Вимірювання, аналіз, удосконалення
1.	Рівень поліпшень процесів якості підготовки
2.	Рівень результативності та ефективності СУЯ
Індивідуальна оцінка процесу 4 IО4

5. Основні вимоги до оцінювання якості ключових процесів ВНЗ

Сформулюємо основні вимоги до оцінювання ключових процесів ВНЗ відповідно до формули (2).

1. Оцінювання якості здійснюється за системою показників, які характеризують процеси (таблиця 2 або 3).

2. Оцінювання виконується групою експертів. Склад групи формується за спеціальною методикою. До складу групи можуть входити внутрішні аудитори та фахівці, відповідальні за функціонування процесу. Можливе також формування групи з залученням зовнішніх аудиторів та сторонніх фахівців, що мають високу кваліфікацію сфері діяльності, на яку розповсюджується процес. Під час формування групи доцільно використати методику підбору аудиторів і технічних експертів, викладену у [4] (ISO 19011). Кількісний склад групи складає від 3 до 15 фахівців.

3. Експертне оцінювання здійснюється на основі базових оцінок і вагових коефіцієнтів. Аналіз внеску кожного з процесів у кінцевий результат підготовки випускника ВНЗ дозволяє встановити орієнтовні значення вагових коефіцієнтів у такому вигляді:

Р31 = 0,15	(проектування)
Р1 = 0,15	Р32 = 0,10	(наукова діяльність)
Р2 = 0,15	Р33 = 0,25	(навчальний процес)
Р3 = 0,5	Р34 = 0,1	(післядипломна освіта)
Р4 = 0,2	Р35 = 0,1	(процес працевлаштування)
Р36 = 0,1	(виховний процес)
Р37 = 0,2	(набір студентів)

При цьому вага кожного з зазначених коефіцієнтів може виражатись або уточнюватись шляхом експертного оцінювання в рамках загального оцінювання якості ключових процесів.

4. Експертне оцінювання здійснюється через визначення кожним експертом – членом групи окремого показника окремого процесу, а за потреби, і окремого відповідного вагового коефіцієнта за встановленою шкалою. Причому у разі експертного визначення вагових коефіцієнтів їх сума має дорівнюватись 1.

5. Оцінювання проводиться у такій послідовності:

- вивчення експертами об'єкта оцінювання (процесу);

- вибір для оцінювання системи показників процесів (наприклад, таблиця 2 або 3);

- вибір для оцінювання шкали оцінювання (наприклад, звичайна 5-ти [5], 10-ти бальна [6], спеціальна шкала);

- незалежне заповнення анкет у вигляді таблиць кожним експертом;

- встановлення експертами індивідуальних оцінок і показників процесів і вагових коефіцієнтів;

- підрахунок індивідуальних оцінок групових показників процесів;

- вибір методу узагальнення індивідуальних оцінок;

- підрахунок узагальнених оцінок кожного з ключових процесів, відповідно до обраного методу (наприклад, для методу усереднених оцінок підраховуються середньоарифметичне індивідуальних оцінок групових показників по кожному з процесів ВНЗ усіх експертів за формулою (2) і підраховується інтегрований показник оцінювання процесів ВНЗ);

- представлення результатів оцінювання в абсолютних і відносних значеннях, а також у графічному вигляді;

- введення результатів оцінювання у базу даних моніторингу процесів ВНЗ;

- інтерпретація результатів оцінювання і здійснення заходів для подальшого удосконалення процесів.

Розглянемо визначення інтегрованого показника якості процесів ВНЗ на прикладі оцінювання якості за допомогою таблиці 2.

Q – інтегрований показник процесів

Рис. 2

6. Визначення інтегрованого показника якості процесів ВНЗ
Оцінювання інтегрованого показника якості процесів ВНЗ за формулою (1) здійснюється у 7 послідовних етапів з використанням таблиці 2.

1й
етап.

Визначення кожним експертом групи значень вагових коефіцієнтів Р1
, Р2
, Р3
, Р4
.

2й
етап.

Визначення кожним експертом вагових коефіцієнтів кожного показника у кожній групі показників з таблиці 2.

3й
етап

. Визначення в балах від 1 до 5 рівня кожного показника з таблиці 2 або 3 за шкалою, наведеною у додатку А стандарту ДСТУ ISO 9004.

4й
етап.

Підрахунок індивідуальної оцінки для кожного з десяти ключових процесів ВНЗ.

i

IО1
= å Pj
´Aj,
де (4)

j=1

Pj
–ваговий коефіцієнт j‑того показника якості процесу з першої групи,

i

å Pj
=1 (5)

j=1

Aj
- оцінка у балах, яка дана експертом по j‑тому показнику,

i – кількість показників у групі 1.

5й
етап.

Підрахунок індивідуальної оцінки експертом кожного з десяти ключових процесів ВНЗ

10

IОPi
= å Pi
´IОi
(6)

i=1

6й
етап.

Підрахунок усередненої оцінки кожного з десяти ключових процесів

M= å IAi
Pi,
де (7)

М – усереднена оцінка

N – кількість експертів.

7й
етап.

Підрахунок за формулою (2) інтегрованого показника якості процесів ВНЗ.

Відносну усереднену оцінку кожного з ключових процесів можна відобразити графічно.

Аналогічно здійснюються підрахунки для другого підходу на основі таблиці 3.

Слід враховувати обмеження, які усереднені показники і обрана оцінювальна шкала накладають на точність і достовірність отриманих результатів.

Для того, щоб запобігти некоректностям від застосування середніх арифметичних значень доцільно використовувати інші оцінювальні шкали, а замість абсолютних значень показників використовувати частоту їх появи.

Сукупність показників, які характеризують інтегрований показник ключових процесів формально можна зобразити множиною Q, яка відповідає узагальненій складній властивості і включає можливі елементи підмножин Q1
, Q2
, Q3
, Q4
.

Тобто Q É (Q1
, Q2
, Q3
, Q4
).

Графічно це можна представити у вигляді ієрархічної структури (рис. 4).

Q

Рис. 4

6.
Знаково-числова система оцінювання показників ключових процесів ВНЗ

Для кількісного оцінювання показників процесів використовувалась проста і доступна 5‑ти бальна шкала, яка є малоінформативною.

У зв» язку з цим пропонується кількісну оцінку за кожним показником якості ключових процесів проводити на основі теорії вимірювань з застосуванням типової п» ятибальної шкали, посиленої додаванням до числа знаків «+» та «– «. В такій шкалі знаки відповідають якісній оцінці, а числа – кількісній, яка відповідає ступеню досконалості показника.
Змістовна відповідність значень елементів знаково-числової системи з відношеннями наведена у таблиці 4.

Таблиця 4

№ з/п	Ступінь доскона-лості	Зміст значення	Пояснення
1.	– -1	Відсутність будь-яких результатів
2.	-1	Непрогнозовані надзвичайні результати
3.	1	Формальний підхід відсутній	Немає очевидного системного підходу
4.	+1	Погані результати
5.	++1	В основному погані результати
6.	– -2	Розглядаються окремі проблеми
7.	-2	Розглядаються найсуттєвіші проблеми
8.	2	Формальний підхід	Системний підхід в основу якого покладено усунення проблем
9.	+2	Усі проблеми розглядаються і окремі вирішуються
10.	++2	Наявні мінімальні позитивні результати
11.	– -3	Поліпшення плануються
12.	-3	Початкова стадія поліпшень
13.	3	Стабільний формальний системний підхід	Системний підхід, в основу якого покладено процеси
14.	+3	Наявні дані про відповідність цілям
15.	++3	Є тенденція до поліпшень
16.	– -4	Є незначні негативні результати
17.	-4	Є поліпшення за окремими показниками
18.	4	Зосередженість на постійному поліпшені	Застосовується процес поліпшень
19.	+4	Добрі результати
20.	++4	Сталі тенденції до поліпшення
21.	– -5	Результати постійно покращуються
22.	-5	Результати найкращі з моменту започаткування поліпшень
23.	5	Оптимальні показники	Активно застосовується інтегрований процес поліпшень
24.	+5	Результати національного рівня
25.	++5	Результати світового рівня

Таку систему оцінок у вигляді шкали інтервалів D можна вважати нечіткою, оскільки оцінка базується на суб» єктивних вимірюваннях експертів. Усю множину вимірювань показника якості i‑того процесу можна описати функцією Qji
процесу, яка матиме вигляд трикутника.

Таким чином показник оцінювання i‑того процесу, який в свою чергу характеризується j показниками можна представити як функцію приналежності множини D нечітких вимірювань: QD
.

Рис. 5

Кожен з ключових процесів характеризується показниками, які мають оцінюватись експертами за тією ж методикою.

Наведемо приклад процесу Q31
«набір студентів». Загальний показник якості цього процесу визначається 7‑ма параметрами: A, B, C, D, E, F, G. Експерт дав оцінку кожному з параметрів. Користуючись рис. 5, можна знайти числові показники функції приналежності, які наведено в таблиці 5.

Таблиця 5

D	Оцінка експертом показника
	A	B	C	D	E	F	G	Q( D )	D
DA	+4	0,76	19
DB	–4	0,64	16
DC	4	0,73	18
DD	3	0,52	13
DE	4	0,73	18
DF	++4	0,8	20
DG	-5	0,84	21

Усереднення значень функцій Q(
D
)
дасть Qсер
=0,717.

Зворотне відображення якості дасть середню оцінку одного експерта е = -4,4. Тобто експерт оцінив показник якості процесу Q31
«набір студентів» за таблицею 4, як зосередженість на постійному поліпшенні.

Наступним кроком має стати процес узгодження оцінок членів експертної групи за кожним показником і в цілому за інтегрованим показником якості ключових процесів ВНЗ.

Для узагальнення оцінок експертів доцільно використати теорію можливостей, яка дозволяє інтерпретувати оцінки, які потрапили до нечіткого інтервалу як функцію розподілу можливостей [7].

Висновки

Використання даного методу дозволяє враховувати неоднозначність експертної групи.

На основі експертних оцінок, даних кожним з експертів по кожному показнику будується функція розподілу можливостей нечітких множин оцінок. При цьому, чим менше узгодженість думок експертів, тим ширше ядро нечіткої множини оцінок.

Якщо виходити з важливості процесів і встановлювати відповідний інтервал для ядра нечіткої множини оцінок по кожному показнику процесу, а потім кожного ключового процесу, в результаті можна досить точно за допомогою експертної оцінки якості визначити інтегрований показник ключових процесів, з яких складається діяльність ВНЗ.

Список використаної літератури

1. ДСТУ ISO 9001–2001 Системи управління якістю. Вимоги

2. Е.Б. Гаффарова Создание системы менеджмента качества в вузе. Методы менеджмента качества № 12, 2002, стр. 12–16

3. Л.М.Віткін, Г.І.Хімічева Концептуальна модель оцінювання якості підготовки випускника ВНЗ. Стандартизація, сертифікація, якість, 2003, № 2, стор. 68–72

4. ISO 19011:2002 Настанови щодо аудиту систем управління якістю та навколишнім середовищем

5. ДСТУ ISO 9004–2001 Системи управління якістю. Настанови щодо поліпшення діяльності

6. В.А. Никитин Управление качеством на базе ISO 9000:2000. Питер, 2002

7. К.А. Меташкин Теоретические основы построения интеллектуальных систем управления учебным процессом в вузе. Харьков, 2000, стр. 207–217