12. Информационные свойства сигналов: понятие информации.

Информация — сведения, являющиеся объектом генерирования, хранения, передачи, преобразования изображения и восприятия.

На этапах генерирования, хранения, передачи, преобразования и отображения информация проявляет себя в виде сигнала, причем этап отображения обычно предусматривает использование оптической формы сигнала. На этапе хранения определяется состоянием некоторого объекта — хранителя информации. В зависимости от объекта, по которым собирается информация, она может делиться на несколько видов:

1. Технологическая — совокупность цифровых показателей, определяющих производительность, эффективность и трудозатраты.

2. Техническая —совокупность сведений о параметрах объекта, принципах их действия и конструкции. В виде технических описаний объектов, чертежей и инструкций.

3. Научная — называет результат деятельности научных коллективов и отдельных ученых. В виде книг, журналов, статей, отчетов.

4. Экономическая.

5. Социальная.

6. Медицинская.

7. Культурная.

Основания теории информации обычно связаны с именем американского математика Шеннона. В наст. время к теории информации отн вопросы:

1. анализ сигналов как средства передачи сообщения

2. Анализ информационных характеристик источников сообщений и каналов передачи информации

3. Принципы кодирования и декодирования сообщений.

13. Энтропия, свойства энтропии, количество информации в сигналах

Энтропия — мера вероятности состояния системы или мера неопределенности результатов наблюдения какого-либо события. Результатом наблюдения случайных событий нельзя определить заблаговременно, т. к. им присуща некоторая неопределенность. Эта неопределенность зависит от первоначальной информации о событии. Единица измерения энтропии — один двоичный знак (бит). Формула для определения количества энтропии:

, P — вероятность, I — целые числа, m — конечное число.  — формула Шеннона (первый закон) для количественного определения энтропии в общем виде. Вероятности событий могут быть различными в данном случае. Она является общей мерой неопределенности, наблюдений или опытов в случае если исходы наблюдений или опытов не равновероятны.

Свойства энтропии:

1. Энтропия является вещественной и неотрицательной величиной, т. к. Pi изменяется от 0 до 1.Логарифм отрицателен.

2. Энтропия — величина ограниченная.

3. Энтропия обращается в ноль в том случае, когда вероятность одного из состояний равна 1.

4. Энтропия максимальна, когда все события равновероятны.

5. Энтропия двух независимых испытаний равна суммы энтропии каждого из испытаний.

Количественная мера информации

Вводимая мера информации должна быть удобной для анализа, синтеза, для передачи и хранения, и не чувствительной к смыслу, ценности и степени правдивости информации. То есть информация должна определяться через нечто общее. Этим общим, характеризующим факт получения произвольной информации является:

1) наличие опыта. Опытом может быть и чтение книг, и смотрение телевизора, и визуальные наблюдения, и измерения параметра с помощью прибора;

2) до опыта должна существовать некоторая определенность в том или ином исходе опыта.

Таким образом, до опыта всегда имеется большая или меньшая неопределенность интересующей нас ситуации. Разность между этими количествами неопределенности до и после опыта можно отождествлять с количеством полученной информации в результате опыта.

Исходя из вышеизложенного, к количеству информации можно предъявить три априорных условия:

1. Количество получаемой информации больше в том опыте, у которого большее число возможных исходов.

2. Опыт с единственным исходом несет количество информации равное нулю.

3. Количество информации от двух независимых опытов должно равняться сумме количества информации от каждого из них.

Если исходы опытов не равновероятны, то усредненное количество информации будет иметь вид:

 -- энтропия, H.

Энтропия – это величина случайная и априорная до проведения опыта. После проведения опыта она будет равняться нулю.