2.2.1. Загальні характеристики інформації.

В кібернетичних системах здійснюються процеси, які можна віднести до трьох категорій – матеріальні (наприклад, хімічні перетворення в технологічній послідовності операцій), енергетичні (на здійснення будь-яких процесів потрібно витрачати енергію) та інформаційні (обмін інформацією з системою управління). Таким чином, інформація є невід’ємним елементом функціонування управляємих систем, і тому потрібно розуміти її характеристики, орієнтуватись в тому, які процеси здійснюються за її участю і які вимоги до неї ставить система управління.

Інформація відображує таку властивість об’єкта , як різноманітність– чим більш різноманітний об’єкт (кількість вимірюваних параметрів, кількість станів по кожному з параметрів), тим більше слів потрібно використати для його описання і тим більше об’єм інформації.

Інформація, на відміну від матерії та енергії, не підлягає дії закону збереження – вона може утворюватись чи зростати, і може зникати.

Поняття інформації має сенс лише в сполученні з поняттям «управління». Будь-які знання запам’ятовують для того, щоб використати для якоїсь мети, а це і є елемент управління. В неорганічному світі інформація цілеспрямовано не використовується. В найпростіших біологічних організмах вже є механізми використання інформації з навколишнього середовища (наприклад, реакція рослин на зміну температури або освітленості). Найвищого рівня здатність видобувати інформацію розвинена у людини.

Інформація нематеріальна сама по собі, але проявляється завжди в матеріальній формі – на матеріальних носіях.

Носій інформації – це фізичний процес (наприклад, струм в провіднику, звукові чи світлові хвилі) або фізичний об’єкт (папір, дискета, магнітна стрічка).

Сигнал – це сукупність повідомлення та його фізичного носія . Повідомлення – сама інформація, яка міститься на носії.

Мова – система, яка пов’язує носія та повідомлення.. Мова містить чотири головних елементи:

• знаки (букви, звуки, цифри);

• слова ( сполучення знаків, які мають смислове значення);

• словник (повний комплект слів та їх значень);

• граматика, або синтаксис – правила використання букв та знаків.

Сучасна теорія інформації, основи якої були закладені американським математиком Клодом Шенноном в 1949 р, розглядає і аналізує різні питання інформатики на 3-х рівнях:

• синтаксичний рівень аналізує внутрішні властивості мови як системи букв (знаків). Параметрами цього рівня є кількість знаків, кількість слів у мові, швидкість передавання інформації через канали зв’язку. Ці проблеми важливі для техніки зв’язку , економічності передавання інформації та роботи обладнання, бо чим більший потік знаків через канал зв’язку, тим більші економічні, енергетичні та матеріальні витрати. Завдання теорій інформатики синтаксичного рівня – оптимізація і економічність передавання інформації, мовні механізми її захисту від пошкодження в каналі зв’язку .

• семантичний (змістовний) рівень. На цьому рівні розглядаються проблеми відношень між словами та змістом. Головна мета теорій цього рівня – оцінювання кількості інформації в повідомленні.

• Прагматичний (практичний) рівень - оцінювання інформації з точки зору системи управління, коли важливим є лише зміст інформації та його практичні характеристики – актуальність (важливість і своєчасність), точність, повнота, цінність з точки зору ефективності управління. Математичне моделювання – це робота з інформацією (вхідними даними) на прагматичному рівні.

Вимірювання кількості інформації. Одиниця вимірювання кількості інформації на синтаксичному рівні – біт (від binary digit – двійкова одиниця). Біт – найменша кількість інформації, яка міститься в повідомленні «так» або «ні». Використовують і інші одиниці вимірювання кількості інформації на синтаксичному рівні:

• 1 Байт = 8 біт. Це довжина кодового слова в перших поколіннях ЕОМ.

• 1 кілобайт (Кб) = 2¹⁰ = 1024 байт = 8192 кілобіт ( 1000 байт).

• 1 мегабайт (Мб)= 10⁶ байт

Частіше в техніці використовують одиницю «байт», яка дорівнює 8 біт.

Розглянемо штучну (машинну) «мову», створену для дискретного періодичного передавання показань термометра з температурним інтервалом 0-128 ^оС від вимірювального приладу до управляючої системи. Мову оберемо двійкову, тобто вона має лише два знаки (букви)– «0» та «1», які є синонімами виразів звичайної мови «ні» і «так». Кількість слів мови (словник) – 128, якщо сусідні значення температури відрізняються на 1 ^оС. Потрібно визначити довжину одного слова мови, тобто кількість знаків-букв в слові – порції інформації, яка відображує значення температури в переданому сигналі-слові. Вимога до мови – слова повинні відрізнятись між собою щонайменше однією буквою.

Проілюструвати механізм вирішення цієї задачі можна простим прикладом, показаним на рис.3.1. Припустимо, що потрібно передати значення температури 70 ^оС з точністю до 1^оС, перетворене в форму одного слова мови. Слово складається лише з нулів та одиниць. Завдання полягає в тому, щоб визначити, скільки там має бути знаків, і як вони повинні бути розташовані.

Щоб відповісти на це питання, досить було б задати 7 питань, на які відповідь має складатись лише з двох значень – «так» або «ні», 0 або 1 (рис. 3.1).

Рис.2.2.1. Схема двійкового кодування повідомлення

Розділимо інтервал, в якому може знаходитись відповідь, на дві частини Перше запитання записане на рисунку в нижньому рядку: чи знаходиться температура в лівій половині повного інтервалу 1-128 ^оС, тобто на ділянці 1-64 ^оС ? Негативна відповідь дає першу букву слова – «0», і інформацію про те, що вірне значення розташоване в правій половині інтервалу, 65-128 ^оС. Далі аналогічну процедуру повторюємо для інтервалу 65-128 ^оС, поділивши його надвоє точкою 96 оС і одержуємо другу букву «1» в слові. Зрозуміло, що в повному інтервалі можливих температур 1-128 ^оС потрібно задати стільки запитань, скільки разів потрібно виконати ділення надвоє, щоб досягти ширини інтервалу 1^оС. Можна бачити, що ділень потрібно 7, а це і означає довжину слова – 7 біт, саме ж слово має вигляд 0111011.

Якщо точність оцінювання температури збільшити вдвічі (відстань між сусідніми значеннями 0.5 ^оС ), зросте і кількість «слів»- сигналів вдвічі, до 256. Але довжина слова зросте лише на 1 біт і буде дорівнювати 8 біт.

Співвідношення між максимальною кількістю слів мови N, довжиною слова H і кількістю знаків-букв S дає відома формула Хартлі, яку можна записати в ступеневій або логарифмічній формі:

або (2.2.1)

В формулі Хартлі всі значення мають однакову імовірність. Якщо ж урахувати в наведеному прикладі, що окремі значення температури мають різну імовірність, можна суттєво скоротити довжину слова. Наприклад, якщо справа ідеться про температуру навколишнього середовища, то можна відкинути значення температур, які перевищують 60^оС, тоді кількість слів N буде меншою. Точно це завдання вирішується за формулою Шеннона, яка враховує імовірність р₁, р₂, …р_N кожного з n=1…N повідомлень

. (2.2.2)

Формула Хартлі є частковим випадком формули Шеннона. Дійсно, якщо всі імовірності мають однакове значення p=1/N, тоді одержуємо:

. (2.2.3)

На рис.2.2.2 наведено графік функції, яка входить в квадратні дужки в формулу Шеннона (2.2.3).

Рис.2.2.2 Залежність кількості інформації, яку несе повідомлення, від його імовірності.

З графіка можна зробити важливий висновок, який робить поняття інформації більш зрозумілим: повідомлення, яке має імовірність «0» ( стан неможливий) або «1» (стан достовірний, як 22=4) – ніякої інформації не несуть, і їх використання для цілей управління не дає ніякої користі. Отже, інформація – це виключно такі повідомлення, які знімають з об’єкта невизначеність.

В теорії інформації величину «Н», яка визначається за формулами Хартлі або Шеннона, називають «ентропія інформації». Цей термін означає повну кількість потенціального знання, яке до одержання повідомлення ще є «незнанням». Н – апріорна величина, яку можна підрахувати, взагалі не одержуючи повідомлення, вона є лише наслідком властивостей даної мови. А інформація, яка міститься в повідомленні – це та частина невизначеності («незнання»), яку повідомлення знімає з об’єкта. Вона є різницею між початковою та кінцевою ентропією, яка залишилась після одержання повідомлення:

. (2.2.4)

В частковому випадку, коли повідомлення вичерпне, кінцева ентропія дорівнює нулю, а І=Н. Але можлива ситуація, коли повідомлення неповне або неточне, тоді в загальному випадку І Н₀ . Наприклад, якщо датчик температури дає підвищену помилку, не 1 ^оС, як передбачено, а 4^оС, Н_К=2 біт, і кількість одержаної інформації буде І=7-2=5 біт.

Таким чином з наведених прикладів зрозуміло, що кількість циркулюючої в системах управління інформації – це величина, яка залежить від структури самої системи управління. Чим вона складніша (містить більшу кількість параметрів, більшу кількість вимірюваних станів) – тим більший об’єм інформації, але тим точнішими і кращими будуть результати управління.