Сегментація позичальників та прийняття рішення за допомогою карт Кохонена
Кожен позичальник має визначений набір факторів. Для аналізу ринку кредитування необхідно в першу чергу зрозуміти загальну картину. Хто бере кредити, навіщо, які існують причини відмовлень у видачі кредитів або причини неспроможності.
Для цього необхідно наочне представлення всіх наявних даних. Таку задачу можна вирішити за допомогою побудови самонавчальних карт Кохонена.
Для сегментації позичальників алгоритм формування карт ознак вхідних векторів буде наступним:
1. Ініціалізація мережі.
Ваговим коефіцієнтам мережі привласнюються малі випадкові значення.
Загальне число синаптичних ваг дорівнює (N·M).
Де N – кількість вхідних параметрів, M – загальна кількість нейронів в мережі.
2. Подача на мережу нового вхідного сигналу.
Обчислення відстані Кохонена між вхідними векторами і нейронами.
Відстань dj
від вхідного сигналу до j-го нейрона визначається по формулі:
(1)
де xi
- i -й елемент вхідного сигналу в момент часу t,
wi,j
(t) - вага зв'язку від i-го елемента до нейрона j у момент часу t.
4. Вибір нейрона з найменшою відстанню.
Вибирається нейрон j*
, для якого відстань dj
найменше.
5. Настроювання ваг нейрона j*
і його сусідів.
Виробляється підстроювання ваг для нейрона j*
і всіх нейронів з його зони сусідства NE. Нові значення ваг виходять по формулі :
(2)
де r(t) — крок навчання, позитивне число менше одиниці, що зменшується з часом.
6. Повернення до кроку 2.
Навчання складається з двох основних фаз: на первісному етапі вибирається досить велике значення швидкості навчання і радіуса навчання, що дозволяє розташувати вектора нейронів відповідно до розподілу прикладів у вибірці, а потім виробляється точне підстроювання ваг, коли значення параметрів швидкості навчання багато менше початкових. У випадку використання лінійної ініціалізації первісний етап грубого підстроювання може бути пропущений.
Для реалізації методу сегментації за допомогою карт Кохонена був обраний пакет Deductor Studio.
Пакет Deductor Studio містить повний набір механізмів імпорту, обробки, візуалізації й експорту даних для швидкого й ефективного аналізу інформації.
Уся робота з аналізу даних у Deductor Studio базується на виконанні наступних дій:
1. Імпорт даних;
2. Обробка даних;
3. Візуалізація;
4. Експорт даних;
Усі механізми уніфіковані і виконуються за допомогою майстрів. Відправною крапкою для аналізу завжди є процедура імпорту даних. Отриманий набір даних може бути оброблений кожним з доступних способів.
Результатом обробки також є набір даних, що у свою чергу знову може бути оброблений. Результати обробки можна переглянути безліччю способів і експортувати.
Послідовність дій, які необхідно провести для аналізу даних є сценарієм, якому можна автоматично виконувати на будь-яких даних.
У Deductor Studio використовуються самі могутні технології, такі як багатомірний аналіз, нейронні мережі, дерева рішень, самонавчальні карти, спектральний аналіз і безліч інших.
При цьому акцент зроблений на самонавчальні методи і машинне навчання, що дозволяє будувати адаптивні системи, тобто здатні реагувати на зміну ситуації.
Використання методів, що самонавчаються, і майстрів для настроювання, дозволяє знизити вимоги до підготовки персоналу, роблячи сучасні технології доступними широкому колу користувачів.
Для того, щоб почати аналіз, необхідно одержати табличні дані зі стороннього джерела.
Природа джерела даних значення не має. Deductor Studio підтримує безліч джерел даних: сховище даних Deductor Warehouse, промислові СУБД (Oracle, MS SQL), текстові файли, офісні програми (Excel, Access), ADO і ODBC джерела.
Наступним кроком є обробка даних. Під обробкою мається на увазі будь-яка дія зв'язана з перетворенням даних. Механізми обробки можна комбінувати довільним образом. Доступні наступні: нейронні мережі, дерева рішень, самонавчальні карти, асоціативні правила, лінійна регресія і безліч інших.
Переглянути результати можна за допомогою механізмів візуалізації. Візуалізувати можна будь-який об'єкт у сценарії обробки. Програма самостійно аналізує, яким образом можна відобразити інформацію, користувач повинний тільки вибрати потрібний варіант – статистика, граф нейросети, ієрархічна система правил, карти і т.д..
Завершальним кроком у сценарії обробки найчастіше є експорт даних. Підтримуються наступні формати: сховище даних Deductor Warehouse, Microsoft Access, Microsoft Excel, Microsoft Word, HTML, XML, Dbase, текстової файл із роздільниками.
Переваги системи:
- Одержання даних для навчання з текстового файлу, СУБД;
- Різні способи нормування даних;
- Створення багатошарових нейронних мереж різної конфігурації;
- Настроювання параметрів навчання нейросистеми;
- Можливість зберегти результати навчання;
- Автоматизація навчання системи – є можливість використання тестової безлічі як валідаційного, тобто можливість автоматично припинити навчання при зростанні помилок на тестовій безлічі, що дозволяє скоротити ризик перенавчання системи;
- Автоматичне формування навчальної і тестової безлічі. Додатково змінений спосіб формування навчальної безлічі, що також поліпшує якість навчання;
- При навчанні можливість варіювання вхідними параметрами системи;
- Відмінна візуалізація даних;
У пропонованому наборі компонентів мається компонент, що реалізує власне самонавчальну карту Кохонена - TDBSOM, що може бути самостійно використаний для рішення задачі аналізу.
Крім того, мається компонент TDBSOM, що дозволяє формувати карту на основі інформації, отриманої зі стандартних компонентів Delphi для роботи з базами даних (такі як TTable і TQuery).
Також мається компонент TSOMVisualizer, що дозволяє відобразити отриману карту в з
На рисунку 1 представлені карти, що показують розподіл позичальників по характеристиках “Сума кредиту”, “Термін кредиту”, “Ціль кредитування”(турпоїздки, покупка товарів, покупка та ремонт нерухомості, оплата навчання, оплата послуг, та інше), “Середньомісячний доход”, “Кількість утриманців” і “Вік”. Проведемо аналіз представлених даних.
Рисунок 1 - Карти Кохонена
Спочатку необхідно дати аналіз по кожній характеристиці окремо, а потім вже оцінити їхній загальний зв'язок.
На карті видна рівна кількість як бажаючих узяти суми до 20 000 гривень так і досить вагомі суми до 80 000 гривень. Причому, виходячи з даних карти середньомісячного доходу, практично всі позичальники мають однаковий прибуток 2 – 3 тис. грн., з якого випливає подібність карт “суми кредиту” і “терміну кредиту” - з тим самим доходом великі суми беруться на більший період.
По карті “вік” можна судити про затребуваність кредитів серед молоді - половина кредитів беруть позичальники молодше 30 років.
По сукупності карт “кількість утриманців” і “середньомісячний доход” можна судити про питому прибутковість на кожного члена родини позичальника. Зрозуміло, що при однакових доходах до позичальників з меншою кількістю утриманців довіра більше.
Переважна більшість кредитів беруться на покупку товарів тривалого споживання. Причому, навіть тут можна виділити як дешеві, так і дорогі товари:
Рисунок 2 - Виділення групи кредитів на дорогі товари
Цікава також група позичальників з мінімальним доходом (рис. 3). Як видно, їхня активність спостерігається в сфері оплати послуг, а також у сфері оплати за освіту. Також частина позичальників здобуває в кредит дешеві товари.
Рисунок 3 - Область кредитування позичальників з малим доходом
Карти Кохонена також вирішують задачу кластеризації.
На рисунку 4 усі позичальники розбиті на кілька сегментів.
Рисунок 4 - Виявлені сегменти позичальників
Опишемо кожний із представлених сегментів.
- 0 сегмент – найбільший, представляє всіх позичальників старше 30 років. Це найбільш консервативна частина всіх позичальників, тому їй властиві подібні риси і, отже, необхідний однаковий підхід при наданні їм послуг кредитування, а також їхньої класифікації. Позичальники ж молодше 30 років поділяються ще на 4 сегменти:
- 1 сегмент – більш заможні молоді родини, що бажають облаштувати своє житло. Причому верхня частина сегменту – проблемні позичальники, що неадекватно оцінюють свої можливості;
- 2 сегмент – працюючі студенти;
- 3 сегмент – позичальники, що здобувають у кредит дешеві товари;
- 4 сегмент – група позичальників, що бере кредит на ремонт;
- 5 сегмент – позичальники, що одержують у кредит освіту і різні послуги.
Кластеризація показала, що на ринку кредитування фізичних осіб існують не тільки різні напрямки - кредитування товарів, освітні кредити і т.д., але і різні сегменти позичальників, що користуються тим самим видом послуг.
Для цих груп потенційних позичальників необхідно дати нечітку оцінку його кредитоспроможності, наприклад, увівши поняття ймовірності повернення кредиту повністю й у строк Для побудови такої моделі необхідно представити рішення про видачу кредиту в числовому виді: 0 - "поганий кредит", 1 - "добрий кредит".
Тоді після побудови моделі на виході вийде саме ймовірність повернення. Керуючому ж залишається лише задати граничне значення ймовірності, і якщо результат вище його, то ухвалювати рішення щодо видачі кредиту, якщо нижче, то відмовляти.
Отримана модель дає можливість прямо управляти рівнем ризику. Можна звести ризик до мінімуму, указавши як поріг 1 або підвищити його при менших значеннях порога (але й, відповідно до практики, що застосовується в банках, перекласти його на позичальників).
Це дозволить залишатися у виграшному положенні перед конкурентами: знизити вартість певних послуг до рівня конкурентів, але також при цьому збільшити поріг, знизивши ризик.
Проведемо апробацію експертної системи. Для цього візьмемо кредитну історію позичальників (150 записів), як з поганими так і добрими характеристиками, а також кілька анкет, заповнених позичальниками для перевірки правильності ухвалення рішення по видачі кредитів. Анкети позичальників візьмемо з зовсім різними вхідними факторами, для того щоб вони потрапили в різні кластери при сегментації на картах Кохонена з підсумковою відповіддю про видачу кредиту.
Проведемо аналіз отриманих результатів.
Рисунок 5 – Результат сегментації на картах Кохонена
На рисунку 5 видно, що приклади анкетних даних, узятих для тестування системи були сегментовані з подібними даним з навчальної вибірки за допомогою карт Кохонена, вони на картах позначені мітками.
На виході було отримано 4 кластери, у яких дані сегментовані по подібних вхідних і вихідних факторах.
На карті видно що приклади 1, 3, 4 потрапили в кластер 3, і відповідно до вихідних параметрів навчальної вибірки, передбачуване рішення по видачі кредиту = 0, тобто кредит не видавати.
По матриці помилок квантування, видно що по дані приклади сегментовані з нульовою помилкою.
Приклад 2 потрапив у 2-ий кластер, і передбачуване рішення по видачі кредиту =1 – видавати кредит.
На карті помилок видно, що рішення по даному кредиті було прийнято з мінімальною помилкою. Розглянемо приклад 2, на карті видно, що він потрапив у 0-ий кластер, рішення по видачі кредиту = 0,5, при помилці = 0,25.
У такий спосіб параметри даного кредиту необхідно уточнити або переглянути, або сегментувати з великою кількістю прикладів у навчальній вибірці.