КОНТРОЛЬНА РОБОТА
МЕТОДИ ОЦІНЮВАННЯ ПАРАМЕТРІВ ТА ПЕРЕВІРКА СТАТИСТИЧНИХ ГІПОТЕЗ
ЗМІСТ
1.Оцінювання параметрів розподілів. Незміщені, спроможні оцінки
2. Методи знаходження оцінок: емпіричні оцінки, метод максимальноїправдоподібності
2.1. Означення емпіричної функції розподілу. Емпіричні значення параметрів
2.2 Метод максимальної правдоподібності
3. Задача перевірки статистичних гіпотез
4. Критерій c2
, гіпотетичний розподіл залежить від невідомих параметрів
5. Критерій c2
як критерій незалежності
Список використаних джерел
1.
Оцінювання параметрів розподілів. Незміщені, спроможні оцінки
Означення.
Випадковий вектор
x
= (
x
1
,
x
2
, ...,
x
n
) зі значеннями в
Rn
будемо називати вибіркою (вибірковим вектором).
Означення.
Вибірку
x
= (
x
1
,
x
2
, ...,
x
n
), утворену послідовністю незалежних, однаково розподілених випадкових величин
x
1
,
x
2
, ...,
x
n
, кожна з яких має розподіл
F
, називають вибіркою обсягом
n
з розподілу (закону)
F
.
Означення.
Простір
Rn
, в якому вибірка (вибірковий вектор) набуває значень, будемо називати вибірковим простором.
Ми будемо мати справу з вибірками, розподіли (функції розподілу) яких залежать від деякого параметра
q
. Множина можливих значень цього параметра (позначимо її
Q
) є підмножиною скінченновимірного простору
Rs
.
Постановка задачі оцінювання параметрів розподілів.
Нехай x(w) = (x1
(w), x2
(w), ..., xn
(w)) – реалізація вибірки x = (x1
, x2
, ..., xn
) з розподілом F( × ; q). Розподіл F( × ; q) залежить від параметра q, який набуває значень з множини Q. Значення параметра q в розподіліF( × ; q) невідоме і його необхідно оцінити (визначити) за реалізацією x(w) = (x1
(w), x2
(w), ..., xn
(w)) вибірки x = (x1
, x2
, ..., xn
). У цьому й полягає задача оцінювання параметрів розподілів.
Для оцінювання невідомого значення параметра q єдине, що нам відомо, і єдине, за допомогою чого ми можемо оцінювати (визначити) q, є реалізація вибірки x. Крім реалізації x(w) вибірки x ми не маємо нічого, що надавало б якусь інформацію про значення параметра q. Тому оцінити (визначити) значення q за реалізацією x(w) (точно чи хоча б наближено) – це означає реалізації x(w) вибірки x поставити у відповідність значення q, тобто вказати правилао, за яким реалізації вибірки ставиться у відповідність значення q. Точніше (формально), це означає, що для оцінювання q на вибірковому просторі – множині реалізацій вибірок – необхідно визначити (побудувати, задати) функцію h( × ) зі значеннями в Q – множині можливих значень параметра q – таку, що
h
(
x
(
w
)) дорівнює
q
або хоча б
h
(
x
(
w
))
“
наближено
”
дорівнює
q
.
Значення = h(x(w))ми й будемо використовувати як q. Необхідно відзначити, що для кожної реалізації x(w) значення = h (x(w)), яке використовується як q, буде своє, тому , як функція x = x(w) , є випадковою величиною.
Означення.
Борелівську функцію
h
(
×
), задану на вибірковому просторі
Rn
,
зі
значеннями в
Q
– множині можливих значень параметра
q
– будемо називати статистикою.
Одержувати (будувати) статистикиh(×), такі щоб q = h (x(w)) = ,тобто щоб за x(w) можно було точно визначити q, явно не вдасться вже хоча б тому, що q є константою, а оцінка = h (x(w)), як функція від вибірки (функція випадкової величини), є випадковою величиною. Тому (хочем ми того чи ні) для визначення q ми будемо вимушені задовольнятися значеннями = h(x), вважаючи (розглядаючи) їх за наближені значення q. Зауважимо, що для одного й того ж параметра q можна запропронувати багато оцінок.
У зв’язку з постановкою задачі оцінювання параметрів розподілів, як задачі одержання наближених значень = h(x) для q виникає необхідність вміти відповідати на запитання – наскільки великою є похибка – q при заміні q на , інакше, як далеко можуть відхилятися значення оцінки = h (x1
, x2
, ..., xn
), обчисленої за вибіркою x = (x1
, x2
, ..., xn
), від оцінюваної величини q?
Кількісно міру похибки при заміні q на (міру розсіювання відносно q) будемо описувати величиною
M | – q|2
.
Серед усіх оцінок з однією і тією ж дисперсією D мінімальну міру розсіювання відносно q мають оцінки, для яких М = q.
Означення.
Оцінку будемо називати незміщеною оцінкою параметра
q
, якщо М
=
q
або, що те саме ,
M
( –
q
) = 0.
Наочно незміщеність оцінки параметра q можна трактувати так: при багаторазовому використанні оцінки як значення для q, тобто при багаторазовій заміні q на , середнє значення похибки – q дорівнює нулеві.
Часто ми маємо можливість розглядати не одну оцінку =h(x) = h(x1
, x2
, ..., xn
), побудовану за вибіркою x = (x1
, x2
, ..., xn
), а послідовність оцінок = hn
(x1
, x2
, ..., xn
), n=1,2,... У цій ситуації природно говорити про асимптотичну поведінку послідовності оцінок.
Означення.
Послідовність оцінок ,
n
=1,2,..., будемо називати спроможною послідовністю оцінок параметра
q
, якщо для кожного
e
>
0
P { | – q| >e } ® 0при n®¥.
Означення.
Послідовність оцінок ,
n
=1, 2, ..., будемо називати асимптотично незміщеною послідовністю оцінок параметра
q
, якщо
M ( – q) ® 0
або, що те саме M®q при n®¥.
2.
Методи знаходження оцінок: емпіричні оцінки, метод
максимальної правдоподібності
2.1. Означення емпіричної функції розподілу. Емпіричні значення параметрів
Означення.
Нехай
x
1
,
x
2
, ...,
x
n
– вибірка з неперервного розподілу
F
. Функцію (
x
), визначену на
R
1
рівністю
(x) = ,
будемо називати емпіричною функцією розподілу.
При кожному фіксованому x емпірична функція розподілу , як функція випадкового вектора x1
, x2
, ..., xn
,
є випадковою величиною, тому також є функціею й w, тобто (x) = (x; w), wÎW, xÎR1
.
Для кожного фіксованого x емпірична функція розподілу (x) є незміщеною та спроможною оцінкою F (x).
Надалі нам буде зручно розглядати вибіркові значення x1
, x2
, ..., xn
, розташовані в порядку зростання: x1
*
, x2
*
, ..., xn
*
Тобто, x1
*
– найменше серед значень x1
, x2
, ..., xn
; x2
*
– друге за величиною і т.д., xn
*
– найбільше з можливих значень.
Означення.
Послідовність
x
1
*
,
x
2
*
, ...,
x
n
*
будемо називати варіаційним рядом послідовності
x
1
,
x
2
, ...,
x
n
; а
x
1
*
,
x
2
*
, ...,
x
n
*
– порядковими статистиками.
У термінах порядкових статистик емпіричну функцію розподілу можна подати у вигляді
(x) = (2.1.1)
Безпосередньо з рівності (2.1.1) одержимо, що при фіксованому w значення (x) = 0 у кожній точці x проміжку ( – ¥, x1
*
], оскільки число тих k, при яких xk
*
<x, дорівнює нулеві; (x) = 1 / n у кожній точці проміжку (x1
*
, x2
*
] тому що число тих k, при яких xk
*
<x, дорівнює 1 і т.д., і, нарешті, (x) = 1 для кожного x з проміжку (xn
, + ¥).
Із вищесказаного випливає, що для кожного фіксованого w функція (x) = (x; w) невід`ємна; стала на кожному з проміжків ( – ¥, x1
*
], (xk
*
, xk
+1
*
], k = 1, 2, …, n – 1, (xn
, + ¥) (а отже неперервна зліва); неспадна – зростає в точках xk
*
, k= 1,2,...,n, стрибками величиною 1 / n.
Зауваження 1.
Для вибірок x1
, x2
, ..., xn
з неперервних розподілів імовірність збігу вибіркових значень дорівнює нулеві, але оскільки ми фіксуємо результати з зазначеною точністю (наприклад, до третього знака), то внаслідок цього деякі вибіркові значення можуть збігатися. При цьому величина стрибка емпіричної функції розподілу в точці xk
дорівнює , де m – кількість вибіркових значень, які збігаються з xk
, враховуючи йxk
.
Зауваження 2.
Розподіл, що відповідає емпіричній функції розподілу (x), будемо називати емпіричним. При кожному фіксованому w це дискретний розподіл, що ставить у відповідність кожній точці xk
, k = 1, 2, ..., n, масу (або , якщо з xk
збігаються m вибіркових значень, враховуючи й xk
).
За допомогою емпіричної функції розподілу можна одержувати інтуїтивно-наочні оцінки параметрів розподілу.
Нехай x1
, x2
, ..., xn
– вибірка з розподілу F( × ; q), що залежить від параметра q, причому параметр q невідомий і його необхідно визначити за вибіркою. Припустимо, що параметр q однозначно визначається розподілом (функцією розподілуF(x; q) ), тобто
q = F (F(x; q) ),
де F – функціонал, заданий на множині функцій розподілу. Наприклад, a = Mx, s2
= Dx (коли вони існують) є функціоналами функції розподілу F (x) випадкової величини:
a = xF (dx); s2
= (x – tF (dt))2
F (dx).
Вибірка x1
, x2
, ..., xn
визначає емпіричну функції розподілу (x). І оскільки (dx) “близька” до F(x; q) ( при кожному х є незміщеною і спроможною оцінкою F(x; q), а q = F (F(x; q) ), то для оцінювання параметра q природно розглядати величину
= F ( (x)).
У такий спосіб, наприклад, для aодержимо оцінку
= x (dx) = ,
для s2
= (x – t (dt))2
(dx) = (xi
-)2
=
Інтеграли обчислюються як інтеграли Лебега за дискретним розподілом, зосередженим у точках x1
, x2
, ..., xn
з масою 1 / n в кожній з них.
Означення.
Оцінку параметра
q
=
F
(
F
(
x
;
q
))
, одержану за формулою
=
F
( (
x
)),
будемо називати емпіричним (вибірковим) значенням параметра
q
.
Зокрема,
=
– емпіричне (вибіркове) середнє,
= 2
– емпірична (вибіркова) дисперсія.
Теорема 2.1
Нехай x1
, x2
, ..., xn
– вибірка з розподілу F і g(x) – борелівська функція на R1
зі значенням в R1
. Якщо
G = g(x) F (dx) ¹¥,
то вибіркове значення величини G
= g(x) (dx) =
є спроможною й незміщеною оцінкою параметраG.
2.2 Метод максимальної правдоподібності
Нехай x = (x1
, x2
, ..., xn
) – вибірка з розподілом F( × ; q) = F( × ; q1
, q2
, …, qs
), що залежить від параметра q = (q1
, q2
, …, qs
) ∈Q⊂Rs
. Параметр q∈Q невідомий, і його необхідно оцінити за вибіркою (x1
, x2
, ..., xn
).
Загальним (важливим як у теоретичному відношенні, так і в застосуваннях) методом одержання оцінок є метод максимальної правдоподібності, запропонований Фішером.
Означення.
Функцією максимальної правдоподібності вибірки
x
= (
x
1
,
x
2
, ...,
x
n
) будемо називати функцію
L
(
q
) =
L
(
q
1
,
q
2
, …,
q
s
) параметра
q
∈
Q
, яка визначається рівністю
L
(
q
) =
f
(
x
;
q
) =
f
(
x
1,
x
2
, ...,
x
n
;
q
) =
f
(
x
1
;
q
)
f
(
x
2
;
q
) ….
f
(
x
n
;
q
) ,
q
∈
Q
, коли вибірковий вектор
x
= (
x
1
,
x
2
, ...,
x
n
) абсолютно неперервний зі щільністю
f
(
x
;
q
) =
f
(
x
1
,
x
2
, …,
xn
;
q
), і рівністю
L
(
q
) =
P
(
x
;
q
) = Р(
x
1,
x
2
, ...,
x
n
;
q
) = Р (
x
1
;
q
) Р (
x
2
;
q
) …. Р (
x
n
;
q
) ,
q
∈
Q
, коли вибірковий вектор
x
= (
x
1
,
x
2
, ...,
x
n
) дискретний з розподілом
P
(
x
;
q
) = =
P
(
x
1
,
x
2
, …,
xn
;
q
).
Метод максимальної правдоподібності одержання оцінок полягає в тому, що за оцінку параметра q = (q1
, q2
, …, qs
) приймається точка = (, , ..., ), в якій функція максимальної правдоподібності L (q) досягає найбільшого значення, інакше кажучи, за оцінку параметра q визнається розв’язок рівняння
L () = L (q),
якщо такий розв’язок існує.
Означення.
Оцінкою максимальної правдоподібності будемо називати точку , в якій функція максимальної правдоподібності досягає найбільшого значення.
Інакше кажучи, оцінкою максимальної правдоподібності параметра
q
будемо називати розв’язок рівняння
L
() =
L
(
q
).
Зазначимо, щоL (q) та lnL (q) досягають найбільшого значення в одних і тих же точках. Тому відшукувати точку, в якійL (q) досягає найбільшого значення, часто зручніше, роблячи це для lnL (q).
Логарифм від функції максимальної правдоподібності L(q) називають логарифмічною функцією максимальної правдоподібності.
Якщо L(q) = L (q1
, q2
, …, qs
) диференційовна по q1
, q2
, …, qs
, то для того, щоб розв’язати рівняння
L (, , ..., ) = (2, …, (s ( (L (q1
, q2
, …, qs
), (2.2.1)
достатньо знайти стаціонарні точки функції lnL(q1
, q2
, …, qs
), розв’язуючи рівняння
lnL (q1
, q2
, …, qs
) = 0, i = 1, 2, …, s,
і, порівнюючи значення lnL(q1
, q2
, …, qs
) у стаціонарних і граничних точках множини Q, вибрати точку = (, , ..., ), в якій функція lnL(q1
, q2
, …, qs
) досягає найбільшого значення. Ця точка і буде розв’язкомрівняння(2.2.1).
Рівняння
ln L (q1
, q2
, …, qs
) = 0, i = 1, 2, …, s,
називають рівняннями максимальної правдоподібності.
Зауваження.
Розв’язуючи рівняння максимальної правдоподібності
L () = L (q), необхідно відкинути всі корені, що мають вигляд = const. Оцінки, що не залежать від вибірки x1
, x2
, ..., xn
, нас не цікавлять (оцінка – це функція вибірки).
3.
Задача перевірки статистичних гіпотез
Постановка задачі перевірки статистичних гіпотез.
Часто виникає необхідність у розв’язанні такої задачі: маємо стохастичний експеримент, що полягає в спостереженні випадкової величини x = (x1
, x2
, ..., xn
) зі значеннями в Rn
або частини Rn
, тобто в одержанні вибірки обсягом n. (Такі стохастичні експерименти описуються моделями типу { Rn
, ℬn
, Pθ
}, Pθ
∈Ƥ, Ƥ = { Pθ
; q∈Q⊂Rs
}, де Ƥ – деяка параметрична сукупність розподілів.) Щодо розподілу випадкової величини x = (x1
, x2
, ..., xn
) (відносно розподілу вибірки x) відомо тільки те, що він належить до класу Ƥ. З класу Ƥ вибираємо (з тих чи інших міркувань) один із розподілів, наприклад G, і як модель випадкової величини x = (x1
, x2
, ..., xn
) пропонуємо розглядати { Rn
, ℬn
, G}.
Наша мета полягає в тому, щоб за результатом x = (x1
, x2
, ..., xn
) експерименту (відомий він чи одержимо його потім) дійти висновку: експеримент може описуватися моделлю { Rn
, ℬn
, G} (G може бути розподілом випадкової величини x) або експеримент не може описуватися моделлю { Rn
, ℬn
, G} (G не може бути розподілом випадкової величини x). Зробити за результатом експерименту більш “сильний” висновок:G є розподілом випадкової величини x – не можна. Оскільки один і той же результат може з’явитися при багатьох різних розподілах, а не тільки при істинному.
У теорії перевірки статистичних гіпотез прийняті такі означення.
Гіпотези щодо розподілів випадкової величини називають статистичними гіпотезами.
Вибір розподілу (чи класу розподілів) із сукупності Ƥ будемо називати вибором основної (нульової) гіпотези щодо розподілу в моделі { Rn
, ℬn
, Pθ
}, (щодо розподілу випадкової величини x зі значеннями в Rn
). Після вибору основної гіпотези решту гіпотез назвемо альтернативними або конкурентними відносно основної (нульової). Нульову гіпотезу будемо позначати H0
. Сукупність конкурентних (альтернативних) гіпотез у нас, як правило, буде параметричною. Конкурентні гіпотези будемо позначати так: H0
, q∈Q.
Гіпотези щодо розподілів, які однозначно їх визначають, будемо називати простими гіпотезами, у противному разі – складними.
Наприклад, гіпотезаH0
: випадкова величина x має розподіл
Pθ
(k) = Ck
n
qk
0
(1 – q0
)n-k
, k = 0,1,…,n,
де q0
– фіксоване, є простою. Гіпотеза Hq
: розподілом випадкової величини x є
Pθ
(k) = Ck
n
qk
(1 – q)n-k
, k = 0,1,…,n,
де q∈ (1/4;1/2), є складною.
Формулюючи задачу перевірки статистичних гіпотез, за нульову гіпотезу (для наочності та простоти) ми визнали просту гіпотезу: розподілом випадкової величини x є G, де G – цілком визначений розподіл.
Зазначимо, що математична статистика не дає ніяких рекомендацій щодо вибору нульової гіпотези, цей вибір повністю визначається дослідником і залежить від поставленої задачі.
Нехай основна гіпотеза H0
полягає в тому, що розподілом випадкової величини x зі значеннями в Rn
є розподіл G. Необхідно перевірити гіпотезу H0
, тобто дійти висновку: G може бути розподілом випадкової величини x (будемо говорити “гіпотеза H0
не відхиляється”) або G не може бути розподілом випадкової величини x (будемо говорити “гіпоте
відхиляється”). Робити висновок про відхилення або невідхилення гіпотези H0
: розподілом випадкової величини x є G, ми будемо за результатами x(ω) експерименту, за реалізацією x(ω) вибірки x (окрім реалізації x(ω) вибірки x, ми не маємо нічого, що б несло інформацію щодо її розподілу). Тому, щоб за результатом експерименту (за реалізацією x(ω) вибірки x) зробити висновок про відхилення або невідхилення гіпотези H0
, нам необхідно вказати ті результати x(ω) = (x1
(ω), x2
(ω), ..., xn
(ω) ) експерименту, при яких ми будемо відхиляти H0
, і ті, при яких ми не будемо відхиляти H0
. Інакше кажучи, нам необхідно поділити множину можливих результатів x(ω) = (x1
(ω), x2
(ω), ..., xn
(ω)) (вибірковий простір) на дві непересічні множини: S – множину результатів, при яких H0
відхиляється, та – при яких H0
не відхиляється. Далі проводимо експеримент – одержуємо реалізацію x(ω) = (x1
(ω), x2
(ω), ...,xn
(ω)) випадкової величини x = (x1
, x2
, ..., xn
) (одержуємо вибірку). Якщо при цьому результат x(ω) потрапляє до S, то ми відхиляємо гипотезу H0
(G не може бути істинним розподілом випадкової величини x). Якщо x(ω) не потрапляє до S, то ми не відхиляємо гипотезу H0
(G може бути істинним розподілом випадкової величини x).
Ось такою і є методика перевірки статистичних гіпотез.
Означення.
Борелівську множину S таку, що при x∈S гіпотеза H0
відхиляється, а приx∉S – не відхиляється, будемо називати критичною множиною (критичною областю) або критерієм для перевірки гіпотези H0
.
Визначення на Rn
– вибірковому просторі – борелівської множини S рівносильне визначенню борелівської функції φ (x) = Is
(х) – індикатора множини S:
Is
(х) = φ (x) =
І оскільки між множинами S та їхніми індикаторами Is
(х) існує взаємно однозначна відповідність, то борелівську функцію φ (x) = Is
(х) також називають критерієм (іноді тестом) для перевірки гіпотези H0
. Якщо φ (x) = 1 (або, що те саме, x∈S), то гіпотеза H0
відхиляється, якщо φ (x) = 0 (або, що те саме, x∉S), то гіпотеза H0
не відхиляється. Нехай H0
– нульова гіпотеза щодо розподілу випадкової величини зі значеннями в Rn
. Для перевірки H0
необхідно побудувати (визначити, вибрати) критичну множину S – борелівську множину в Rn
, таку що при x∈S гіпотеза відхиляється, а при x∉S – не відхиляється. Борелівських множин S на Rn
“багато” і не всі вони будуть однаково “слушними” для перевірки гіпотези H0
. Для кожної гіпотези H0
“слушні” будуть свої S. Ось тут і постає важлива задача (це основна задача перевірки статистичних гіпотез) – як будувати “слушні” критерії для перевірки даної гіпотези H0
.
Щоб відповісти на поставлене питання, ми спочатку розглянемо так звані помилки першого та другого роду та ймовірності цих помилок.
Нехай H0
– нульова гіпотеза; x(ω) – результат експерименту (реалізація вибірки x); S – борелівська множина вRn
. Будемо перевіряти H0
, користуючись множиною S як критичною множиною: якщо x(ω) потрапляє до S, гіпотезу H0
відхиляємо, якщо x(ω) не потрапляє до S, гіпотезу H0
не відхиляємо.
При цьому можливі такі ситуації: гіпотеза H0
справедлива або ні, реалізація x(ω) випадкової величини x потрапила до S або ні. Докладніше в таблиці 3.1.
Таблиця 3.1Справедлива гіпотеза
| H0
|
H1
|
|
H0
|
1 вірне прийняття H0
|
2 помилка II роду |
H1
|
3 помилка I роду |
4 вірне відхилення H0
|
Приймається гіпотеза
З чотирьох ситуацій дві: 1 та 4 – задовільні і дві: 2 та 3 – незадовільні. У випадках 2 та 3 говоримо, що ми припускаємося помилок. При цьому помилки у випадку 2 (гіпотеза H0
не відхиляється, коли вона несправедлива) та у випадку 3 (гіпотеза H0
відхиляється, коли вона справедлива) істотно різняться (за конкретних ситуацій ці помилки, як правило, відрізняються своєю ”ціною”) і мають свої назви.
Означення.
Помилка, яка полягає в тому, що гіпотеза
H
0
відхиляється, коли вона несправедлива, називається помилкою першого роду.
Означення.
Помилка, яка полягає в тому, що гіпотеза
H
0
не відхиляється, коли вона несправедлива, називається помилкою другого роду.
Докладніше до визначення помилок I та II роду в таблиці 3.2.
Таблиця 3.2Справедлива гіпотеза
| H0
|
H1
|
|
H0
|
1 x(ω) ∉ S |
2 x(ω) ∉ S |
H1
|
3 x (ω) ∈ S |
4 x(ω) ∈S |
Приймається гіпотеза
Про вибір нульової гіпотези.
Раніше вже відзначалося, що нульову гіпотезу із сукупності всіх гіпотез ми вибираємо самі. (Помилки, пов’язані з перевіркою гіпотез, які полягають у тому, що дану гіпотезу H0
, q∈Q, ми відхиляємо, коли вона справедлива, можна розглядати і не вибравши нульової гіпотези). Отже, за основу (нульову) гіпотезу ми вибираємо ту, для якої важливіше уникнути помилки, що полягає в відхиленні даної гіпотези, коли вона справедлива. Помилка першого роду – це помилка, якої важливіше уникнути, – це помилка, “ціна” якої вища.
Чи можна побудувати критерій (критичну множину) для перевірки гіпотези, який би не призводив до помилок? Ні, не можна. Адже, якою б не була критична множина S≠ Ø, значення x(ω) випадкової величини x (результат експерименту) може потрапити до S, коли гіпотеза H0
справедлива (помилка першого роду), і до – коли вона несправедлива (помилка другого роду). І, оскільки побудувати критерій (критичну множину) для перевірки даної гіпотези, який би не призводив до помилок, неможливо в принципі, то природно, що ми будемо намагатися будувати такі критерії, використовуючи які матимемо мінімально можливу частоту помилок. Подивимося, як це можна зробити.
Нехай H0
– основна гіпотеза. Припустимо для наочності, що H0
– проста. Конкурентна гіпотеза тільки одна (позначимо її H1
), і вона також проста. Нехай S – критична множина. Використовуючи S для перевірки гіпотези H0
(відхиляємо H0
, якщо x∈S, і не відхиляємо H0
, якщо x∉S), ми можемо припуститися помилок двох типів: H0
– справедлива, x∈S і, отже, H0
відхиляється (помилка першого роду); H0
– не справедлива, x∉S і, отже, H0
не відхиляється (помилка другого роду). Імовірність помилки першого роду дорівнює ймовірності того, що вибіркове значення x потрапить до критичної множини S, коли гіпотеза H0
справедлива, тобто P {x∈S | H0
} (або, що те саме, P{ φ (x) = 1 | H0
} ); стисло будемо писати: P (S | H0
). Імовірність помилки другого роду дорівнює ймовірності того, що вибіркове значення потрапить до , коли гіпотеза H1
справедлива, тобто P{x∈ | H1
} (або, що те саме, P{ φ (x) = 1 | H1
} ); стисло будемо писати: P ( | H1
).
Імовірність помилки першого та другого роду однозначно визначаються критичною множиноюS (а, отже, й частоти помилок першого та другого роду однозначно визначаються множиною S). Тому, вибираючи S, скажімо, за умови, що ймовірність помилки першого роду мала, ми водночас одержимо ймовірність помилки другого роду, яка визначається вибраною критичною множиноюS і буде такою, якою вийде. Можна вибратиS і за умови, що ймовірність помилки другого роду мала, але при цьому ймовірність помилки першого роду визначається вибраним S і буде такою, якою вийде. Отже, вибирати S так, щоб одночасно були контрольовані ймовірність помилки першого та другого роду (а разом з ними і частоти помилки першого та другого роду), не вдасться. Тому будемо діяти таким чином. Оскільки важливіше уникнути помилки першого роду (її “ціна” вища), то наша перша вимога до критерію φ (до критичної множиниS) буде така: ймовірність помилки першого родуP (S | H0
) має бути малою. Це означає, що, використовуючи критерій S у довгій серії експериментів, ми гипотезу H0
, коли вона справедлива, будемо відхиляти зрідка.
Таким чином, наша перша вимога щодо критерію – фіксуємо мале a і вибираємо критерій φ (критичну множинуS) так, щоб ймовірність помилки першого роду не перевищувала a:
P (S | H0
) £a( P{ φ (x) = 1 | H0
} £a ).
Якщо ця основна вимога задовольняється більш ніж одним способом, то ймовірність помилки другого родуP ( | H1
) була мінімальною (а отже, частота того, щоH0
не відхиляеться, коли вона несправедлива, була мінімальною), для чогоS вибираємо якомога “широким”.
Означення
.
Число
a
, що обмежує зверху ймовірність помилки першого роду, будемо називати рівнем значущості.
Якщо критична множина
S
(критерій φ ) задовольняє умову
P
(
S
|
H
0
)
£
a
(
P
{ φ (
x
) = 1 |
H
0
}
£
a
),
то будемо говорити, що критична множина
S
(критерій φ ) відповідає рівню значущості
a
.
Означення.
Імовірність
P
(
S
|
H
1
) відхилити основну гіпотезу, коли справедлива альтернативна гіпотеза
H
1
, будемо називати потужністю критерію
S
.
Якщо альтернативна гіпотеза складна (причому коли вона справедлива, справедлива одна з простих гіпотез H0
, q∈Q), то для кожного q∈Q можна обчислити P (S | H0
).
Означення.
Функцію
b
(
q
) =
P
(
S
|
H
0
), яка для кожного
q
∈
Q
дорівнює ймовірнсті відхилити основну гіпотезу
H
0
, коли справедлива гіпотеза
H
0
, будемо називати функцією потужності критерію.
Зауваження
.
Питання про те, яким має бути рівень значущості, не є статистичною задачею. Здебільшого за рівень значущості приймають числа 0,10; 0,05; 0,01; 0,001 і т.д. Чим серйозніші наслідки помилки першого роду, тим меншим повинен бути рівень значущості.
4.
Критерій
c
2
, гіпотетичний розподіл залежить від невідомих параметрів
Нехай x = (x1
, x2
, ..., xn
) – вибірка з невідомого нам розподілу F. Щодо розподілу F висувається гіпотеза
H0
: F( × ) = G ( × ; q1
, q2
, …, qk
), ( q1
, q2
, …, qk
) = q∈Q.
РозподілG ( × ; q1
, q2
, …, qk
) визначенийзточністюдопараметрівq1
, q2
, …, qk
. Параметриq1
, q2
, …, qk
невідомі, причомущодозначенняцихпараметрівмиможемоматилишетуінформацію, якаміститьсяувибірціx = (x1
, x2
, ..., xn
). Інакшекажучи, гіпотезаH0
полягаєвтому, щоx = (x1
, x2
, ..., xn
) євибіркоюзрозподілу, що належитьдокласурозподілівG ( × ; q1
, q2
, …, qk
),( q1
, q2
, …, qk
) = q∈Q.
Наша мета – за реалізацію вибірки x = (x1
, x2
, ..., xn
) зробити висновок: відхиляти гіпотезу H0
чи не відхиляти?
Оскільки q1
, q2
, …, qk
невідомі, природно за значення q1
, q2
, …, qk
визнати їх оцінки, побудовані за вибіркою x1
, x2
, ..., xn
, і, отже, як гіпотетичний розподіл розглядати G ( × ; q1
, q2
, …, qk
). Р. Фішер встановив, що коли гіпотеза H0
справедлива і оцінки q1
, q2
, …, qk
одержані за методом максимальної правдоподібності, то розподіл відхилення
D (, G) =
між і G при n®¥ збігається до розподілу c2
з (r – 1 – k) ступенями вільності, де k – число параметрів, які оцінені з вибіркою x= (x1
, x2
, ..., xn
). Відхилення D (, G) будується наступним чино: ділимо X (простір вибіркових значень xi
) на скінченне число r (2 ≤ r < ∞) непересічних множин Xi
; pi
(, , ..., k
) – імовірності попадання вибіркових значень до множин Xi
, i =1, 2, ..., r, обчислені за гіпотетичним розподілом.
Таким чином, коли параметри оцінюються за вибіркою згідно з методом максимальної правдоподібності, ми можемо користуватися критерієм c2
у такому формулюванні:
Якщо гіпотезуH0
відхиляти при
D (, G) = >c2
a
; (
r
-
1
-
k
)
і не відхиляти у противному разі, то з імовірністю a гіпотеза H0
буде відхилятися, коли вона справедлива.
5.
Критерій
c
2
як критерій незалежності
Нехай z = (x, h) – двовимірна випадкова величина (x набуває значень a1
, a2
, …, as
; h набуває значень b1
, b2
, …, bk
). Розподіл векторної випадкової величини z = (x, h) – спільний розподіл випадкових величин x та h (див.табл. 5.1) – нам невідомий. Невідомі й розподіли
компонент x та h відповідно.
Таблиця 5.1
| xh | b1
|
b2
|
… | bk
|
Сума |
| a1
|
p1
1 |
p1
2 |
… | p1k
|
p1
× |
| a2
|
p21
|
p22
|
… | p2k
|
p2
× |
| … | … | … | … | … | … |
| as
|
ps1
|
ps2
|
… | psk
|
ps
× |
| Сума | p×
1 |
p×
2 |
… | p×
k |
1 |
pi
×
= , i = 1, 2, …, s; p×
j
= , j = 1, 2, …, k.
= = = 1.
Щодо спільного розподілу випадкових величин x та h – компонент вектора z = (x, h) висувається гіпотеза
H0
: pi j
= pi
×
p×
j
; i = 1, 2, …, s;j = 1, 2, …, k,
тобто гіпотеза про незалежність випадкових величин x та h (ще говорять, гіпотеза про незалежність ознак).
Маємо результати n спостережень випадкової величини z = (x, h): “значення” (ai
,bi
)випадкова величина z = (x, h) набула ni
j
разів, i =1, 2, ...,s;j= 1, 2, ..., k. Результати спостережень випадкової величини z = (x, h) зручно подати у вигляді так званої таблиці спряженості ознак (табл. 5.2).
Таблиця 5.2
| xh | b1
|
b2
|
… | bk
|
Сума |
| a1
|
n1
1 |
n1
2 |
… | n1k
|
n1
× |
| a2
|
n21
|
n22
|
… | n2k
|
n2
× |
| … | … | … | … | … | … |
| as
|
ns1
|
ns2
|
… | nsk
|
ns
× |
| Сума | n×
1 |
n×
2 |
… | n×
k |
n |
ni
×
= , i = 1, 2, …, s; n×
j
= , j = 1, 2, …, k.
= = = n.
Наша мета – за результатами спостережень випадкової величини z = (x, h) (табл. 2.5.2) зробити висновок: відхиляти гіпотезу H0
про незалежність компонент x і h чи не відхиляти.
Для перевірки гіпотези H0
скористаємося критерієм c2
, коли гіпотетичний розподіл залежить від невідомих параметрів. Невідомими параметрами є pi
×
та p×
j
, i = 1, 2, …, s; j = 1, 2, …, k, причому
= 1; = 1.
В якості розбиття вибіркового простору
X = {(ai
, bj
), i = 1, 2, …, s; j = 1, 2, …, k}
розглянемо підмножини
Xi j
= {(ai
, bj
)}, i = 1, 2, …, s; j = 1, 2, …, k.
Відхилення емпіричного розподілу
, i = 1, 2, …, s; j = 1, 2, …, k,
від гіпотетичного
pi
×
p×
j
, i = 1, 2, …, s; j = 1, 2, …, k,
є
D (, G) = ,
де та – оцінки максимальної правдоподібності для параметрів pi
×
та p×
j
, які дорівнюють відповідно
, i = 1, 2, …, s та , j = 1, 2, …, k.
Отже,
D (, G) = .
Кількість параметрів, оцінених за вибіркою, дорівнює (s – 1) + (k – 1). Кількість підмножин Xi
j
, i = 1, 2, …, s; j = 1, 2, …, k, на які поділяється вибірковий простір X, дорівнює sk. Тому число ступенів вільності c2
-розподілу, граничного для D (, G), дорівнює sk – 1 – ( (s – 1) + (k – 1) ) = (s – 1) (k – 1).
Таким чином, гіпотезу H0
про незалежність випадкових величин x і h будемо відхиляти, якщо
>c2
a
; (
s
– 1) (
k
– 1)
,
і не будемо відхиляти в противному разі; при цьому з імовірністю a гіпотеза H0
буде відхилятися, коли вона справедлива.
Значення випадкових величин x та h ще називають ознаками, і в цьому випадку говорять про критерій c2
для незалежності ознак.
Рівні ознак ми, як правило, обираємо самі, поділяючи їх “значення” на підмножини Xi
, Yj
; де Xi
– підмножини значень x; а Yj
– підмножини значень h. При цьому, як завжди при використанні критерію c2
, ми повинні стежити, щоб для гіпотетичних імовірностей попадання значень пар ознак до Xi
´Yj
виконувалися співвідношення
( ) n = (ni
×
n×
j
) /n ³ 10,
(при всіх можливих значеннях i та j), де n – обсяг вибірки.
Зауваження.
Застережемо, що, маючи справу зі статистичними залежностями, треба бути вельми обережним. Статистична залежність будь-якого виду логічно не може бути чинником причинної залежності. Ідеї щодо причинного зв’язку повинні приходити “ззовні” статистики.
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ
1. Гихман И.И., Скороход А.В., Ядренко М.И. Теория вероятностей и математическая статистика. – Киев.: Вища шк., 1988. – 439 с.
2. Турчин В.М. Математична статитика. Навч. посіб. – К.: Видавничий центр “Академія”, 1999. – 240 с.
3. Крамер Г. Математические методы статистики. – 2-е изд., перераб. – М.: Мир, 1975. – 648 с.