Лабораторная работа №1

Тема: «Понятие информации, информационные процессы»

Понятие информации

В простейшем бытовом понимании с термином «информация» обычно ассоциируются некоторые сведения, данные, знания и т. п. Информация передается в виде сообщений, определяющих форму и представление передаваемой информации. Примерами сообщений являются музыкальное произведение; телепередача; команды регулировщика на перекрестке; текст, распечатанный на принтере; данные, полученные в результате работы составленной вами программы, и т. д. При этом предполагается, что имеются «источник информации» и «получатель информации».

Сообщение от источника к получателю передается посредством какой-нибудь среды, являющейся в таком случае «каналом связи». Так, при передаче речевого сообщения в качестве канала связи можно рассматривать воздух, в котором распространяются звуковые волны, а в случае передачи письменного сообщения (например, текста, распечатанного на принтере) каналом сообщения можно считать лист бумаги, на котором напечатан текст.

Человеку свойственно субъективное восприятие информации через некоторый набор ее свойств:

1. понятность (на понятном языке, понятными терминами)

2. полезность (информация должна иметь практическую ценность)

3. достоверность (информация должна быть правдивой)

4. актуальность (своевременность)

5. полнота (информация полна, если ее достаточно для принятия решений)

6. точность (определяется степенью близости к реальному состоянию объекта, процесса, явления)

Использование терминов «больше информации» или «меньше информации» подразумевает некую возможность ее измерения (или хотя бы количественного соотнесения). При субъективном восприятии измерение информации возможно лишь в виде установления некоторой субъективной порядковой шкалы для оценки «больше-меньше». При объективном измерении количества информации следует заведомо отрешиться от восприятия ее с точки зрения субъективных свойств, примеры которых перечислены выше. Более того, не исключено, что не всякая информация будет иметь объективно измеряемое количество.

При определении понятия «количества информации» существуют различные подходы: вероятностный, объемный, содержательный, алфавитный.

Вероятностный подход

Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К. Шеннон в 1948 году. Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log₂(1/p). Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом – чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Рассмотрим некоторую ситуацию. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании "не глядя" попадется белый шар больше, чем вероятность попадания черного. Можно сделать заключение о вероятности события, которые интуитивно понятны. Проведем количественную оценку вероятности для каждой ситуации. Обозначим p_ч – вероятность попадания при вытаскивании черного шара, р_б – вероятность попадания белого шара. Тогда: р_ч=10/50=0,2; р_б40/50=0,8. Заметим, что вероятность попадания белого шара в 4 раза больше, чем черного. Делаем вывод: если N – это общее число возможных исходов какого-то процесса (вытаскивание шара), и из них интересующее нас событие (вытаскивание белого шара) может произойти K раз, то вероятность этого события равна K/N. Вероятность выражается в долях единицы. Вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар). Вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар). Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log₂(1/p). В задаче о шарах количество информации в сообщении о попадании белого шара и черного шара получится: x_б=log₂(1/0,8)=log₂(1,25)=0,321928; x_ч=log₂(1/0,2)=log₂(5)=2,321928.

Рассмотрим некоторый алфавит из m символов: p_i(i=1,2,K,m) и вероятность выбора из этого алфавита какой-то i-й буквы для описания (кодирования) некоторого состояния объекта. Каждый такой выбор уменьшит степень неопределенности в сведениях об объекте и, следовательно, увеличит количество информации о нем. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула . В случае равновероятных выборов p=1/m и формула Шеннона переходит в формулу Хартли.

В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем cчитать, что русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле Хартли Н=log₂34=5,09 бит.

Рассмотрим алфавит, состоящий из двух знаков 0 и 1. Если считать, что со знаками 0 и 1 в двоичном алфавите связаны одинаковые вероятности их появления (Р(0)=Р(1)=0,5), то количество информации на один знак при двоичном кодировании будет равно Н=log₂2=1 бит.

Таким образом, количество информации (в битах), заключенное в двоичном слове, равно числу двоичных знаков в нем.

Объемный подход

В двоичной системе счисления знаки 0 и 1 называют битами (bit – от английского выражения Binary digiTs — двоичные цифры). В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по числу требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в вероятностном (кибернетическом) смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то это количество не обязательно совпадает, при этом кибернетическое количество информации не может быть больше объемного.

Алфавитный подход

Алфавитный подход к измерению информации не связывает количество информации с содержательным сообщением. Рассмотрим этот подход на примере текста, написанного на каком-нибудь языке, например, на русском. Все множество используемых в языке символов будем называть алфавитом. Полное количество символов алфавита будем называть мощность алфавита.

Например, в алфавит мощностью N=256 символов можно поместить все необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, знаки препинания и т.д. Представим себе, что текст, состоящий из 256 символов, поступает последовательно, и в каждый момент времени может появиться любой из них. Тогда по формуле:

2ⁱ = 256, → i=8 (бит)

Таким образом, один символ алфавита мощностью 256 символов, “весит” 8 бит. Поскольку 8 бит – часто встречающаяся величина, ей присвоили свое название 1 байт:

Чтобы подсчитать количество информации на одной странице текста, необходимо: количество символов в строке умножить на количество строк на листе. Так, например, если взять страницу текста, содержащую 40 строк по 60 символов в каждой строке, то одна страница такого текста будет содержать

60*40=2400 (байт информации)

Для измерения больших объемов информации используются следующие производные от байта единицы:

1 Килобайт (Кбайт) = 2¹⁰ байт = 1024 байт,

1 Мегабайт (Мбайт) = 2¹⁰ Кбайт = 1024 Кбайт,

1 Гигабайт (Гбайт) = 2¹⁰ Мбайт = 1024 Мбайт,

1 Терабайт (Тбайт) = 2¹⁰ Гбайт = 1024 Гбайт,

1 Петабайт (Пбайт) = 2¹⁰ Тбайт = 1024 Тбайт,

1 Экзабайт (Эбайт) = 2¹⁰ Пбайт = 1024 Пбайт

Кодирование информации

Кодирование информации – это операция преобразования информации из одной знаковой системы в другую.

Средством кодирования служит таблица соответствия знаковых систем, которая устанавливает взаимно однозначное соответствие между знаками или группами знаков двух различных знаковых систем.

В процессе обмена информацией часто приходится производить операции кодирования и декодирования информации. Например, при вводе знака алфавита в компьютер путем нажатия соответствующей клавиши на компьютере, происходит кодирование знака, т.е. преобразование его в компьютерный код. При выводе знака на экран монитора или принтер происходит обратный процесс – декодирование, когда из компьютерного кода знак преобразуется в его графическое изображение.

Для представления информации в компьютере используется двоичное кодирование, т.к. технические устройства компьютера могут сохранять и распознавать не более двух различных состояний (цифр): намагничен/размагничен (участок поверхности магнитного носителя информации), отражает/не отражает (участок поверхности лазерного диска); и т.д.

Информация на компьютере представлена в машинном коде, алфавит которого состоит из цифр (0 и 1). Каждая цифра машинного кода несет информацию в 1 бит.

Задания.