Методические указания Общие понятия и определения

Информатика - это наука, занимающаяся изучением законов, методов и способов накапливания, обработки и передачи информации с помощью ЭВМ и других технических средств.

Термин "информация" происходит от латинского слова informatio, что означает разъяснение, осведомленность. Данные могут рассматриваться как признаки или записанные наблюдения, которые по каким-то причинам не используются, а только хранятся. При использовании этих данных для уменьшения неопределенности о чем-либо, данные превращаются в информацию. Поэтому можно утверждать, что информацией являются ис­пользуемые данные

С понятием информации тесно связаны следующие понятия:

Сигнал – это любой процесс, несущий информацию.

Сообщение – это информация, представленная в определенной форме и предназначенная для передачи.

Данные – это информация, представленная в формализованном виде и предназначенная для обработки техническими средствами, например ЭВМ.

К числу основных качественных признаков информации относятся следующие:

Адекватность – достижение нужного уровня соответствия модели (образа) реальному объекту, процессу или явлению.

Актуальность – важность, существенность для настоящего момента.

Достоверность – отражение истинного положения дел.

Объективность – независимость от чьего-либо мнения.

Полнота – достаточность для понимания и принятия решения.

Широкая эксплуатация телекоммуникационных устройств в ХХ веке выдвинула ряд проблем:

• обеспечение надежности связи при наличии помех;

• разработка способов кодирования, обеспечивающих передачу смысла закодированного сообщения при минимальной его длине.

Эти проблемы требовали разработки научных методов обеспечения процесса передачи сообщений – теории информации. Одной из основных проблем этой новой теории был вопрос о возможности измерения количества информации.

Количество информации

Существует несколько подходов к измерению информации.

Комбинаторная мера

Для лучшего понимания рассмотрим несколько простейших примеров.

Пример 1. Проведем опыт. Возьмем игральный кубик. Он имеет шесть сторон, на каждой из которых изображены числа от одного до шести.

Подбросим его. При бросании кубика выпадает одно из имеющихся на сторонах кубика число. Получившееся таким образом число - есть исход нашего опыта.

Подбрасывая игральный кубик сколь угодно раз, мы можем получить только шесть возможных чисел. Обозначим это как N = 6.

Этот пример позволяет перейти к понятию комбинаторной меры информации и дать следующее определение:

Комбинаторная мера информации N - это способ измерения количества информации путем оценки количества возможных комбинаций информационных элементов.

Поскольку в примере с игральным кубиком возможно только шесть вариантов исхода опыта, иными словами, шесть комбинаций, то и количество информации в соответствии с комбинаторной мерой составляет N = 6 комбинаций.

Рассмотрим следующий пример.

Пример 2. Пусть задана одна из десятичных цифр, например, цифра 8 и одна из шестнадцатеричных – к примеру, цифра 6 (можно было взять любую другую шестнадцатеричную - 8, В, F и т. д.). Теперь, в соответствии с определением комбинаторной меры, определим количество информации, заключенное в каждой из этих цифр. Поскольку цифра 8 является десятичной, а значит, представляет один символ из десяти, то N⁸= 10 комбинаций. Аналогично, цифра 6 представляет один из шестнадцати символов, а поэтому N⁶ = 16 комбинаций. Следовательно, что шестнадцатеричная цифра содержит больше информации, чем десятичная.

Из рассмотренного примера можно сделать вывод, что чем меньше цифр находится в основании системы счисления, тем меньше информации несет в себе один ее элемент.

Двоичная логарифмическая мера

Английский инженер Р. Хартли предложил измерять количество информации двоичной логарифмической мерой:

I = log₂N,

где N - количество различных комбинаций информационных элементов. Единицей измерения информации при таком измерении является бит.

Поскольку выведенная Р.Хартли формула учитывает количество возможных комбинаций N, то интересно узнать, какую оценку количества информации дает двоичная логарифмическая мера для рассмотренных выше примеров.

Подсчет дает следующие результаты:

в примере с кубиком I = log₂6 = 2,585 бит;

в примере с десятичной системой счисления I = log₂10 = 3,322 бит;

в примере с шестнадцатеричной системой счисления I = log₂16 = 4 бит;

в примере с двоичной системой счисления I = log₂2 = 1 бит.

Последняя цифра говорит о том, что в каждой цифре двоичной системы счисления содержится один бит информации. Вообще, в технических системах двоичная система счисления применяется для кодировки двух возможных состояний, например 1 обозначает наличие электрического тока в сети, 0 - его отсутствие.

Во всех рассмотренных выше примерах исходы опытов были равновероятными и взаимно независимыми. Это означает, что при подбрасывании кубика каждая из шести граней имеет одинаковую вероятность результативного исхода. А также, что результат следующего подбрасывания никак не зависит от результата предшествующего.

Равновероятные и взаимно независимые события в реальной жизни встречаются довольно редко. Если обратить внимание на разговорные языки, например русский, то можно сделать интересные выводы. Для упрощения теоретических исследований в информатике принято считать, что русский алфавит состоит из 32 символов (е и ё, а также ь и ъ между собой не различаются, но добавляется знак пробела между словами). Если считать, что каждая буква русского языка в сообщении появляется одинаково часто и после каждой буквы может стоять любой другой символ, то можно определить количество информации в каждом символе русского языка как:

I = log₂32 = 5.

Однако, фактически все бывает не так. Во всех разговорных языках одни буквы встречаются чаще, другие - гораздо реже. Исследования говорят, что на 1000 букв приходится следующее число повторений:

В русском языке:	В английском языке:
О 110, Е 87, А 75 , И 75, Т 65 , Н 65...	Е 131, Т 105, А 86 , О 80, N 71 , R 68...

Кроме того, вероятность появления отдельных букв зависит от того, какие буквы им предшествуют. Так, в русском языке после гласной не может следовать мягкий знак, не могут стоять четыре гласные подряд и так далее. Любой разговорный язык имеет свои особенности и закономерности. Поэтому количество информации в сообщениях, построенных из символов любого разговорного языка, нельзя оценивать ни комбинаторной, ни двоичной логарифмической мерами.

Вероятностная мера

Общая оценка количества информации, названная вероятностной мерой, была разработана американским инженером-связистом и ученым Клодом Шенноном в 1948 г в известных работах по теории информации. С этого времени началось интенсивное развитие теории информации вообще и углубленное исследование вопроса об измерении ее количества в системах телекоммуникации в частности.

Формула Шеннона .

Здесь: I – количество информации, получаемое в результате проведения опыта; N – общее количество исходов в опыте; p_i – вероятность i-го исхода.

Если вероятности всех исходов в опыте равны p₁ = p₂ = . . . = p_n = 1/N (бросание монеты, игрального кубика, вытаскивание карты из колоды и т.п.), то формула Шеннона превращается в формулу Хартли (1928 г.): I = log₂N.

Как видно, в результате произведенных выкладок получилась уже известная нам логарифмическая мера.

Таким образом, по формуле Шеннона под количеством информации понимается уменьшение неопределенности о состоянии какой-либо системы.

Понятия бита, байта

Известны различные формы представления информации. Однако, элек­тронно-вычислительная машина – это техническое устройство, основанное на работе электронных компонентов, а значит, обладающее определенными фи­зическими характеристиками. Поэтому, информация, предназначенная для ЭВМ, должна иметь физическое представление, причем это представление должно быть наиболее простым.

Этим требованиям отвечает, так называемое, битовое представление информации, основанное на двоичной системе счисления, при котором каждая запоминаемая частица может принимать только два значения - либо 0, либо 1. В технических устройствах двоичная система счисления используется для обозначения систем с двумя возможными состояниями. Например:

1 - есть отверстие, 0 - нет отверстия;

1 - включено, 0 - выключено;

1 - есть напряжение, 0 - нет напряжения.

Причем каждая двоичная цифра содержит один бит информации.

За единицу информации 1 бит (binary digit – двоичная единица) принимается количество информации, получаемое в результате проведения опыта, состоящего в выборе одного из двух равновероятных исходов.

Бит действительно является очень маленьким объемом хранения информации, содержащим всего два состояния: 0, 1. Если объединить два бита в одно целое, то в таком объеме можно хранить уже 4 состояния: 00, 01, 10, 11. Если объединить три, то появляется возможность для хранения еще большей информации: 000, 001, 010, 011, 100, 101, 110, 111. И так далее. Чтобы было нагляднее, изобразим это в таблице:

Количество битов	Возможные комбинации	Количество комбинаций
1	0, 1	2
2	00, 01, 10, 11	22
3	000, 001, 010, 011, 100, 101, 110, 111	23
...
n	........	2n

На практике чаще применяется более крупная единица измерения – байт (1 байт = 8 бит), а также производные от него единицы измерения информации:

1 Кбайт	= 1024 байт	= 210 байт	= 1 024 байт
1 Мбайт	= 1024 Кбайт	= 220 байт	= 1 048 576 байт
1 Гбайт	= 1024 Мбайт	= 230 байт	= 1 073 741 824 байт
1 Тбайт	= 1024 Гбайт	= 240 байт	= 1 099 511 627 776 байт
1 Пбайт	= 1024 Тбайт	= 250 байт	= 1 125 899 906 842 620 байт

Гб (гигабайт) ; Тб (терабайт) ; Пб (петабайт); 1024 Пб = 1Эб (экзабайт)

Информация может существовать и участвовать в информационных процессах в самых разнообразных формах, например в виде:

• текстов, чисел;

• рисунков, чертежей, фотографий;

• световых и звуковых сигналов или радиоволн;

• электрических и нервных импульсов;

• магнитных и оптических записей;

• жестов, мимики;

• запахов и вкусовых ощущений;

• химических соединений.

В информационных процессах для каждого вида информации обязательно используются соответствующий носитель и подходящая система кодирования информации. Так, например, текстовая информация кодируется с помощью букв национальных алфавитов, числовая информация – с помощью арабских или римских цифр, голосовая информация – с помощью фонетических звуков, музыкальная информация – с помощью нотной записи и т.д. Любая система кодирования преследует своей целью не скрытие информации (в отличие от систем шифрования информации), а наоборот – предоставление ее потребителю в наиболее удобном для потребления виде.