5. Понятие информации в кибернетике. Информативность сообщения.

Данные - факты или идеи, представленные в виде, пригодном для обработки автоматическими устройствами (или человеком). Информация - смысловое содержание сообщения. Можно сказать, что отличие информации от данных заключается в том, что информация – это полезная часть данных, которая несет смысловую нагрузку.

Максимальное количество информации в сообщении при наличии n возможных сообщений определяется по следующей формуле: Imax=log2(n). Однако количество передаваемой информации зависит как от источника, так и от свойств приемника.

Информация, представленная в какой-либо форме, называется сообщением. Сообщения представляются в виде сигналов и данных. Сигналы используются для передачи информации в пространстве между источником и получателем, а данные — для хранения (то есть для передачи во времени). Передачу инф. можно представить в виде такой схемы:

Источник посылает сигнал Х — случайную величину, принимающую значения х1,..., хn с вероятностями p1,..., pn. Приемник получает сигнал Y — случайную величину, принимающую значения y1,..., yn с вероятностями q1,..., qn и (возможно) отличающийся от X на величину помехи (шума ξ).

6. Измерение информации. Свойства информации. Информационная энтропия.

Данные - факты или идеи, представленные в виде, пригодном для обработки автоматическими устройствами (или человеком). Информация - смысловое содержание сообщения. Можно сказать, что отличие информации от данных заключается в том, что информация – это полезная часть данных, которая несет смысловую нагрузку.

Максимальное количество информации в сообщении при наличии n возможных сообщений определяется по следующей формуле: Imax=log2(n). Однако количество передаваемой информации зависит как от источника, так и от свойств приемника.

Свойства информации (Х – это источник, Y – приемник): 1. I(X, Y)>=0 (позитивность) 2. I(X1, Y)+ I(X2, Y) <= I(X1+X2, Y) (неаддитивность) 3. I(X, Y) <= I(Y, Y) (возможность потери при передаче) 4. I(X, Y)= I(Y, X) (симметрия канала передачи данных)

Единица информации – 1 бит.

Энтропия случайной величины X есть математическое ожидание логарифма обратной вероятности.

Величина энтропии указывает среднее число битов, необходимое для различения (или записи) возможных значений случайной величины.

Свойства: 1. Энтропия – это мера неопределенности значений случайной величины. 2. Если вероятности всех значений случайной величины, кроме одного, равны нулю, энтропия равна нулю. 3. Если все значения случайной величины х1,..., хn равновероятны, энтропия максимальна.

Поступление новой информации всегда приводит к уменьшению энтропии.

7. Кодирование данных. Цель и эффективность кодирования. Метод Шеннона — Фэно.

Кодирование – это операция отождествления символов или групп символов одного кода с символами или группами символов другого кода. Кодирование в теории информации преследует цели уменьшение избыточности сообщений и уменьшение влияния помех, искажающих сообщения при их передаче по каналам.

При любом способе кодирования средняя длина сообщения должна быть больше либо равна энтропии. Однако при любых вероятностях pi существуют методы кодирования (например метод Шеннона — Фэно) для которых L ≤ H+1. Эта формула определяет качество кодирования.

Метод кодирования Шеннона–Фено: 1. Сообщения располагаются в порядке убывания вероятностей 2. Полученный ряд делится на две части с вероятностями, по возможности близкими друг к другу. 3. первой части присваивается 0, второй – 1. Подобным же образом делят пополам каждую из частей, пока не придут к частям, содержащим только по одному сообщению.