5. Препроцесінг інформації

Чотири закони теорії інформації:

Інформація, яка є, - не та, яка потрібна.

Інформація, яку хотілось 6u отримати, - не та, яка насправді потрібна.

Інформація, яка насправді потрібна, - недоступна.

Інформація, яка доступна, коштує більше, ніж можна заплатити.

Успішне розв'язання задач ідентифікації, прогнозування та діагностики неможливе без попередньої формалізації задачі та попередньої підготовки даних. Препроцесінгу апріорної інформації присвячені численні монографії та статті. У більшості випадків він зводиться до визначення інформативних або вагомих параметрів (ознак), вирівнюванню їх розподілу та приведенню до безрозмірного вигляду. Увага до релевантних задач викликана декількома аспектами:

• „прокляття розмірності" зумовлює необхідність скорочення кількості вхідних факторів;

• вплив шумових ефектів на вхідні фактори спотворює їх значення і, відповідно, значення результуючих характеристик. Тому необхідно вилучати найбільш зашумлені фактори без зниження загальної інформативності та визначати і зменшувати шумову присутність;

• необхідність обробки різнотипних факторів визначає необхідність нормалізації та стандартизації їх значень;

• нерівномірний розподіл значень факторів зменшує точність ідентифікації та прогнозування, тому актуальною є задача вирівнювання їх розподілу.

Інформативність факторів визначається тим, наскільки вони впливають на точність ідентифікації шуканих залежностей. Очевидно, що склад множини інформативних факторів залежить від конкретної задачі. У загальному випадку залежності можна розділити на лінійні та нелінійні. I якщо для лінійних залежностей інформативні фактори визначаються за відомими методами кореляційного та дисперсійного аналізу, то для нелінійних залежностей такі процедури найчастіше є емпіричними.

Майже парадоксальним є твердження про те, що максимальна ентропія значень вхідних факторів є необхідною умовою мінімальної ентропії значень результуючої характеристики. В даній лекції розглянуто моделі, методи та алгоритми, які вказують на конструктивні елементи реалізації такої умови, що включають у себе нормалізацію значень факторів, встановлення вагомих факторів та збільшення їх інформативності. Саме реалізація такого комплексу задач супроводжує процес максимально ефективного розв'язання задачі ідентифікації і прогнозування.

5.1. Ентропія і кількість інформації

Виникнення теорії інформації пов'язують з появою фундаментальної роботи американського вченого K. Шеннона «Математична теорія зв'язку» в 1948 році. Ним була запропонована, а радянським вченим Л.Я. Хінчиним доведена одиничність функціоналу ентропії інформації

, (5.1)

де - додатна константа.

Цей функціонал вказує на міру невизначеності вибору дискретного стану з ансамблю (потрапляння в один із станів, що утворюють множину станів). Якщо для системи можливістаніві відомі ймовірності настання цих станів, то міра невизначеності має наступні властивості:

1) - неперервна функція ймовірностей станів з виконанням умови.

2) , якщодля всіх.

3) , якщота.

4) (дійсна, невід'ємна функція).

5) , якщотастатистично незалежні.

6) Ентропія характеризує середню невизначеність вибору одного стану з ансамблю.

Міру знятої (виключеної) невизначеності називають кількістю інформації та обчислюють як різницю

(5.2)

між ентропією до проведення досліду та її ж значенням після проведення досліду. Помилковим було б вважати, що кожний новий дослід лише зменшує невизначеність. Іноді значення може бути від'ємним.

Таблиця 5.2. Початкові дані

		...
		...
		...
...	...	...	...	...
		...
		...

Припустімо, початкові дані знаходяться в табл. 5.2, де - вектор вхідних факторів, а - результуюча характеристика. Точність прогнозування значення залежатиме від інформативності m навчальних образів, яка, у свою чергу, визначається існуванням залежностей між факторами та виконанням певних операцій, що становлять зміст процедури препроцесінгу вихідної інформації.