Как измерить информацию Вещество, энергия и их измерение.

В окружающем нас мире существует такое понятие как вещество. Количество вещества, за­ключенного в том или ином объекте, определяется его массой. Так же, как есть понятие количества вещества, выра­жаемое через единицы массы, существует понятие количества энергии.

Количество информации – мера знаний

Еще одной реальностью окружающей действительности является информация. Определить, что такое информация, гораздо труднее, чем определить вещество или энергию. Новые сведения – информация есть; старые сведения – информации нет. Мало сообщению быть новым, чтобы нести человеку инфор­мацию. Оно должно быть еще и понятным для этого человека. Сообщение несет информацию для чело­века, если содержащиеся в нем сведения являются для него новыми и понят­ными.

Неопределенность знаний и единица информации

Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации. Неоп­ределен­ность знаний – это количество возможных результатов события. Сообщение о том, что произошло одно из равновероятных событий несет 2 бита информации. Метод поиска, на каждом шаге которого отбра­сывается половина вариантов, называется метод половинного деления. Для определения количества ин­формации, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение: 2^į =N. Для определения количе­ства информации, содержа­щейся в сообщении о том, что произошло одно из N равновероятных со­бытий, используется формула: į=log2N. Количество информации в сообщении о некотором собы­тии зависит от вероятности этого собы­тия. Чем меньше вероятность, тем больше информации.

Алфавитный подход к измерению информации

Все множество используемых символов называется алфавитом. Полное количество символов алфавита или его размер принято называть мощностью алфавита(N). При алфавитном подходе к измерению ин­формации количество информации от содержания не зависит. Количество информа­ции зависит от раз­мера текста и от мощности алфавита. Отсюда следует, что нельзя сравнивать информационное содержа­ние текстов, написанных на разных языках, только по размеру тек­ста. У них разный информационный вес одного символа. Правило измерения информации при использо­вании алфавитного подхода. Количе­ство информации, содержащиеся в символьном сообщении, равно Кį , где К – количество сим­волов в тексте сообщения, а į – информационный вес символа, который находится из уравнения 2^į =N , где N – мощность используемого алфавита.

1 байт = 8 бит

1 килобайт = 1 Кб = 2¹⁰ байт = 1024 байта

1 мегабайт = 1 Мб = 2¹⁰ Кб = 1024 Кб

1 гигабайт = 1 Гб = 2¹⁰ Мб 1024 Мб

Количество информации, передаваемое за единицу времени, есть скорость передачи инфор­мации или скорость информационного потока. Скорость передачи информации выражается в таких единицах как бит в секунду (бит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д. Максимальная ско­рость передачи информации по каналу связи называется пропускной способно­стью канала.

1) Что такое «неопределенность знаний»? Приведите примеры, когда эту неопределенность можно вы­разить количественно.

2) В каких случаях, и по какой формуле можно вычислить количество информации, содержа­щейся в со­общении?

3) Сколько бит информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?

4) Проводится две лотереи: «2 из 32» и «5 из 64». Сообщение о результатах, какой из лотерей несет больше информации?

5) Известно, что в ящике лежат 20 шаров. Их них 10-черных, 4-белых, 5-желтых и 1-красный. Какое ко­личество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар.