3 Ключевые вопросы

3.1 Дать определение понятия информация.

3.2 Как рассчитать количество информации в сообщении?

3.3 Дать определения информационных характеристик источников сообщений: энтропии, дифференциальной энтропии, эпсилон-энтропии, производительности источника, избыточности источника.

3.4 Какие параметры источника дискретных сообщений необходимо знать, чтобы вычислить его энтропию, избыточность, производительность?

3.5 Какие параметры источника непрерывных сообщений необходимо знать, чтобы вычислить его дифференциальную энтропию, эпсилон-энтропию, производительность, избыточность?

4 Домашнее задание

4.1 Повторить основные положения раздела "Информационные характеристики источников сообщений" по конспекту лекций и учебникам [1, лекции 1, 4; 2, разд. 8.1, 8.2, 8.7; 3, разд. 18.1].

4.2 Вычислить количество информации I, содержащейся в Ваших инициалах (три конкретные буквы) и сравнить его со значением 15 бит (количество информации в трех знаках источника независимых равновероятных знаков с объемом алфавита М_А = 32). Вероятности букв приведены в приложении А. Если I отличается от 15 бит, то пояснить причину отличия.

4.3 Подготовиться к обсуждению по ключевым вопросам.

5 Порядок проведения занятия

Это расчетная лабораторная работа и проводится в таком порядке.

1 Обсуждение ключевых положений и методики расчетов информационных характеристик источников сообщений. Решение типовых примеров, рекомендованных к занятию (пункт 6) или подобранных преподавателем (примерно 50 мин.).

2 Самостоятельная работа студентов (СРС) по индивидуальным билетам (примерно 30 мин.).

Указания. 1. Для вычисления двоичных логарифмов используют соотношения перехода от натуральных и десятичных логарифмов:

log₂ z = ln z/ln 2 1,443 ln z; log₂ z = lg z/lg 2  3,32 lg z.

2. Сообщение непрерывного источника a(t) преобразуется в аналоговый сигнал b(t) без потери информации, поэтому расчеты информационных характеристик источника проводят для сигнала b(t).

6 Типовые примеры

Пример 1. Найти количество информации в слове украинского текста из N = 8 букв. Для расчетов принять, что буквы равновероятные и независимые, объем алфавита М_А = 32.

Ответ: І(слово) = 40 дв. ед.

Пример 2. Вычислить коэффициент избыточности источника двоичных сообщений, если вероятность одного из знаков P(а₁) = 0,1.

Ответ: К_изб  = 0,53.

Пример 3. Вычислить производительность источника сообщений, который использует три независимых знака с вероятностями: Р(а₁) = 0,10; Р(а₂) = 0,25; Р(а₃) = ? Длительность первого знака 0,5 мс, второго и третьего по 1 мс.

Ответ: Н(А) = 1300 дв. ед./с.

Пример 4. Рассчитать информационные характеристики источника непрерывных сообщений: эпсилон-энтропию Н_(В), коэффициент избыточности К_изб, эпсилон-производительность R_и .

Исходные данные: аналоговый сигнал b(t) характеризуется гауссовской плотностью вероятности мгновенных значений р(b) и максимальной частотой спектра F_max = 500 Гц; отношение средней мощности сигнала к средней мощности погрешности представления  = 40 дБ.

Ответ: эпсилон-энтропия Н_(В) = 6,64 дв.ед./отсчет, коэффициент избыточности К_изб = 0, эпсилон-производительность R_и  = 6640 дв.ед./с.

Литература

1. Дирда В.Ю., Іващенко П.В. Теорія електричного зв’язку. Модуль 2. Передавання інформації в телекомунікаційних системах / Навчальний посібник – Одеса: ОНАЗ ім. О.С. Попова, 2010.

2. Стеклов В.К., Беркман Л.Н. Теорія електричного зв’язку: Підручник для студентів ВУЗів. За ред. В.К. Стеклова – К.: Техніка, 2006.

3. Панфілов І. П., Дирда В. Ю., Капацін А. В. Теорія електричного зв'язку: Підручник для студентів вузів 1-го й 2-го рівнів акредитації. - К.: Техніка, 1998.