Класична лінійна регресія

ЛАБОРАТОРНА РОБОТА №1

ТЕМА: КЛАСИЧНА ЛІНІЙНА РЕГРЕСІЯ

Мета: Дослідити метод побудови загальної лінійної регресії та провести аналіз її основних характеристик

Задача: Навчитися отримувати оцінки параметрів загальної лінійної регресії за допомогою 1МНК, визначати статистичні властивості окремих оцінок і моделі в цілому, будувати точковий та інтервальний прогнози за допомогою отриманої моделі. Дослідити альтернативні способи оцінки параметрів лінійної регресії.

Завдання: Для даних з варіанту перевірити гіпотезу про лінійну залежність між змінними Y і X1
, X2
, X3
.

Необхідно:

Побудувати загальну лінійну модель і оцінити коефіцієнти регресії за допомогою оператора 1МНК.

Оцінити значущость окремих коефіціентів регресії і всієї моделі в цілому.

Побудувати точковий та інтервальний прогноз на 3 періоди.

Розрахувати оцінки коефіціентів регресії методом покрокової регресії.

Результати надати у звіті в письмовому вигляді.

Звіт містить дані варіанту, проміжні розрахунки, кінцеві результати кожного етапу дослідження з необхідними поясненнями і висновками

КОРОТКІ ТЕОРЕТИЧНІ ВІДОМОСТІ

1. Економетрична модель дає кількісну оцінку кореляційно-регресійного зв'язку між економічними показниками, один чи кілька з яких є залежними (Y), а решта — незалежними змінними (X), тому часто економетричні моделі називаються регресій ними моделями, або просто регресіями.

Припустимо, що істинний зв’язок між Y і Х є лінійним, тобто

b0
+ b1
X1
+ b2
X2
+ ……. + bm
Xm
+e

або у матричному вигляді:

Y = Xb + e,

де Y- вектор залежних змінних моделі;

Х – матриця незалежних змінних моделі;

e - вектор відхилень моделі;

b - вектор параметрів моделі

Y = , Х = , b = , e =

Розглянемо його оцінку за допомогою лінійної регресійної моделі:

= b0
+ b1
X1
+ b2
X2
+ ……. + bm
Xm

Оцінки параметрів цієї регресії знаходяться з умови:

(1)

де е – вектор залишків моделі,

.

Продиференціювавши (1) по bj
і прирівнявши відповідні часткові похідні по bj
до 0, отримаємо такий вираз:

,

домноживши вираз зліва на , отримуємо вираз для знаходження вектора b:

Цей вираз називається основним оператором оцінювання параметрів лінійної моделі, а елементи вектора b є оцінками коефіцієнтів лінійної регресії.

6. Якщо виконуються всі необхідні умови для застосування 1МНК, то оцінки параметрів економетричної моделі мають такі властивості:

1) незміщеності; 3) ефективності;

2) обґрунтованості; 4) інваріантності.

7. Одним з важливих завдань економетричного моделювання — оцінити прогнозне значення залежної змінної за умови, що пояснювальні змінні задані на перспективу. На основі економетричної моделі можна отримати точковий та інтервальний прогнози залежної змінної на перспективу.

8. Незміщена оцінка точкового прогнозу запишеться так:

M[У0
(Х0
)]=Х0
B,

де Х0
— заданий рівень пояснюючої змінної на перспективу;

Y
0
—
точковий прогноз залежної функції на основі економетричної моделі.

9. Дисперсія прогнозу дорівнює:

йогостандартна помилка :

10. Довірчий інтервал для прогнозних значень:

ta
- значення t-крітерію при n-mступенях свободи і рівні значущості a.

11. З огляду на залежність між оцінками параметрів моделі та коефіцієнтами парної кореляції можна запропонувати альтернативну оцінку параметрів 1 МНК на основі покрокової регресії, ідея якої базується на існуванні залежності між оцінками параметрів моделі та коефіцієнтами парної кореляції. Ця залежність пропорційна до відношення середньоквадратичних відхилень залежної та незалежної змінних.

12. Опишемо алгоритм пошагової регресії.

Крок 1.
Усі вхідні дані стандартизують:

де y* - нормалізована залежна змінна;

х* - нормалізовані незалежні змінні.

Крок 2
. Знаходять кореляційну матрицю (матриця парних коефіцієнтів кореляції):

r
*
= ,

де - парні коефіцієнти кореляції між Y і незалежними змінними Х,

де n – кількість спостережень;

- парні коефіцієнти кореляції між Хj
iXi
:

.

Крок 3.
Вибирають . Відповідну незалежну змінну xj
включають в лінійну модель, для якої за допомогою 1МНК знаходять оцінки параметрів:

де g - оцінки параметрів моделі, яка будується на основі нормалізованих даних.

Крок 4.
Серед тих, що залишилися, значень вибирається максимальний і в модель вводиться наступна незалежна змінна xl
.

.

Оцінюються параметри за допомогою відношення:

g
r
=
rxy
,

де r – матриця парних коефіцієнтів кореляції між незалежними
змінними;

ryx
- вектор парних коефіцієнтів кореляції між залежною та незалежними
змінними.

Звідси оператор оцінювання параметрів моделі:

Якщо немає обмеження на кількість введених змінних, обчислення виконуються до тих пір, поки не будуть включені всі змінні.

Зв’язок між оцінками параметрів моделі на основі нормалізованих і ненормалізованих змінних запишеться таким чином:

.

13. Тіснота зв’язку загального впливу від незалежних змінних на залежну визначається коефіцієнтами детермінації і множинної кореляції. Коефіцієнт детермінації без урахування числа ступенів свободи

з урахуванням ступенів свободи:

.

14. Коефіцієнт детермінації показує, на скільки процентів варіація залежної змінної визначається варіацією пояснюючих (незалежних) змінних.

Коефіцієнт кореляції є інваріантною оцінкою коефіцієнта детермінації. Він характеризує тісноту зв'язку між залежною і пояснювальними змінними. Визначається як корінь квадратний від R
2
.

15. Оскільки коефіцієнти детермінації і кореляції є вибірковими характеристиками, то їх числові значення також перевіряються на значущість згідно зі статистичними гіпотезами. Для перевірки значущості коефіцієнта кореляції використовується t-критерій.

Нульова гіпотеза: значення коефіцієнту кореляції несуттєво відрізняється від 0.

Розрахункове значення критерію визначається як:

Якщо розрахункове значення цього критерію t не менше за критичне (табличне) tтаб
при вибраному рівні довіри a і ступені свободи n - m, тобто t³tтаб
, нульова гіпотеза відхиляється і відповідний коефіцієнт кореляції є достовірним.

16. Гіпотеза про істотність зв'язку між залежною і незалежною змінними може бути перевірена з допомогою F-критерію. Нульова гіпотеза: всі коефіцієнти регресії несуттєво відрізняються від 0, тобто Н0
: b0
= b1
= …….. =bm
= 0.

Розрахункове значення F-критерію визначається за формулою:

або в альтернативному запису:

Розрахункове значення порівнюється з табличним Fтаб
при n-m i m-1ступенях свободи та вибраному рівні довіри a. Якщо F³Fтаб
, нульова гіпотеза відхиляється і істотність моделі підтверджується, в протилежному випадку – відхиляється.

17. Гіпотезу про значущість кожного з параметрів bj
економетрічної моделі можна виконати за допомогою t-крітерію. Нульова гіпотеза: bj
несуттєво відрізняються від 0, тобто H0
: bj
= 0. Розрахункове значення t-критерію:

де cjj
– діагональний елемент j-ї строки (стовпця) матриці ,

- стандартна помилка оцінки j-го параметра моделі.

Якщо t³tтаб
, нульова гіпотеза відхиляється і відповідний коефіцієнт регресії є достовірним.

18. На основі t-критерію і стандартної помилки будуються граничні інтервали для оцінок параметрів моделі:

де ta
- табличне значення t-статистики з рівнем довіри a та ступенями свободи n-m.

ПРИКЛАД ВИКОНАННЯ ЛАБОРАТОРНОЇ РОБОТИ

Нехай маємо змінні:

- середньомісячна зарплата, ум. од.;

- продуктивність праці, ум. од.;

- фондомісткість продукції ум. од;

- виконання норми виробітку,%

Гіпотеза, що пропонується для перевірки - середньомісячна зарплата лінійно залежить від продуктивності праці, фондомісткості продукції та виконання норми виробітку.

Позначимо Y - середньомісячна зарплата, X1
- продуктивність праці, X2
- фондомісткість продукції, X3
- виконання норми виробітку/

Вихідні дані наведено в таблиці.