3. Порядок оформления и содержание отчета

При оформлении отчета и подготовке к зачету необходимо пользо- ваться методической разработкой "Эффективные коды", а также лите- ратурой [1–5].

1. Поместить в отчете рис. 2.1.

2. Привести в отчете заполненные в ходе выполнения работы табл. 2.2–2.6.

3. Под табл. 2.2–2.4 привести деревья кода Хафмена и процедуры их построения.

4. Для двоичного источника с алфавитом М = х₁, х₂ и соответ- ствующих значений p (х₁) и p (х₂) определить значение энтропии источ- ника. Построить график зависимости энтропии двоичного источника от вероятности p (x) во всем диапазоне 0  p (x)  1.

5. Определить максимальное значение энтропии источников X, Y, Z и Q и максимальное значение удельной энтропии (на символ). Постро- ить на одном графике зависимости H_max(S) = f (l) и H_1max (S) = f (l), где

^{l – количество объединяемых в блок исходных символов х}₁ ^{и х}₂^,

^{(l = 1, 2, 3, 4).}

6. На основании данных табл. 2.6 построить следующие зависи-

^{мости: n  f} ^l  ^и

ⁿ_c ^{ f} ^l  ^{на одном графике; }_и ^{ f l  и}

^_k ^{ f l }

на одном графике; R / C = f (l). Сделать оценку качества согласования

источника с каналом по отношению скорости передачи R к пропускной способности канала C.

7. Исследовать влияние помех на правильность декодирования кодов Хафмена путем определения трека ошибки в последователь- ности кодовых комбинаций Z₁–Z₈. С этой целью записать последова-

^{тельно, друг за другом, без пропусков между кодовыми комбинация-}

ми все 8 кодов Хафмена для алфавита источника Z (от Z₁ до Z₈), взятых из табл. 2.4. Наметить пунктиром границы кодовых комбина- ций и над каждым кодовым словом разместить соответствующее

^{значение Z}_i^.

^{В полученной непрерывной последовательности набора "1" и "0", ими-}

тируя одиночную ошибку, изменить на противоположный символ с но- мером, равным номеру бригады по списку в лабораторном журнале.

Произвести декодирование искаженной последовательности, зафик- сированной в черновике, пользуясь табл. 2.4, столбцом "Код Хафмена". Под каждой вновь полученной комбинацией записать декодированное значение Z_i. Отметить полученный трек ошибки. Эти же действия про-

^{делать для последовательности кодовых комбинаций Z}₈^–Z₁^.

^{8. По всем пунктам в отчете привести расчетные формулы с поясне-}

нием входящих в них обозначений, дать объяснения полученных ре- зультатов и сделать выводы по каждому пункту отчета.

4. Контрольные вопросы и задачи

1. Дайте определения понятий "информация", "сигнал", модуляция", "кодирование", "объем алфавита".

2. Сравните три вида определения меры количества информации. Достоинства определения меры по Шеннону.

3. Поясните определение "энтропия". Перечислите свойства энтропии.

4. Дайте определение избыточности источника сообщений, коэффи- циента сжатия и коэффициента избыточности.

5. Поясните различие понятий производительности и скорости фор- мирования символов источника сообщений.

6. Объясните, зачем нужно производить эффективное (статистичес- кое) кодирование и в чем его суть.

7. Поясните связь между скоростью передачи информации и пропус- кной способностью дискретного канала.

8. Дайте определение теоремы кодирования для канала без помех. Ка- кие свойства оптимальных кодов являются следствием этой теоремы?

9. Почему оптимальные коды называются "префиксными"? Какой факт подчеркивается этим названием?

10. Поясните преимущества блочного кодирования и его особенности.

11. Поясните процедуру кодирования по методу Хафмена. Назовите достоинства процедуры Хафмена.

12. Перечислите достоинства эффективных кодов и возможности их применения.

13. Что такое "неприводимость" кода?

14. Что понимается под термином "упругая задержка"?

15. Как влияют помехи на декодирование сообщений при зффектив- ном кодировании?

16. Что такое "трек ошибок"?

17. Перечислите операции, которые необходимо выполнить при мак- симально эффективной и помехоустойчивой передаче бинарных после- довательностей.

18. Определите избыточность алфавита двоичного источника, выда- ющего независимые сообщения "0" и "1", на выходе которого вероят- ность появления символа "0" равна p (0) = 0,2.

19. Сравните пропускные способности двух дискретных каналов без помех, если в первом канале используются сигналы с основанием кода m_s = 2 при технической скорости передачи В = 100 бод, а во втором

^{канале основание кода m}_s ^{= 8 и В = 40 бод.}

^{20. Оцените производительность источника сообщений в виде теле-}

графного аппарата, если он работает со скоростью передачи 300 знаков в минуту, передавая: последовательность произвольного набора независи-

мых и равновероятных букв; осмысленный русский текст; только поздра- вительные телеграммы; цифры в случайной последовательности.

21. При переводе русского текста на английский число букв в сред- нем уменьшается в 1,3 раза. При переводе того же текста на финский язык число букв возрастает примерно в 1,4 раза. Найдите соотношение энтропий данных иностранных языков к русскому, и английского к фин- скому.

22. Определите относительную энтропию двух сообщений: аббревиа- туры – ЛИАП; полного развернутого наименования института без со- кращений. Оцените избыточность второго сообщения.

23. Фокусник в присутствии зрителей распечатывает новую ко- лоду игральных карт, содержащую 32 листа. Перемешав карты, он вынимает из колоды одну карту. Какое количество информации (по пп. 1–7) получает зритель, если: 1) вынутая карта предъявляется зрителям и оказывает ся "пиковой дамой"; 2) вынутая карта не предъявляется зрителям, но по достоверному утверждению фокус- ника является "дамой"; 3) вслед за этим (п. 2) карта показывается зрителям и оказывается "дамой пик"; 4) после предъявления зрите- лям (п. 3) карта возвращается в колоду, которая перемешивается, после чего из нее вновь извлекается "дама пик"; 5) предъявленная "дама пик" не возвращается в колоду, а откладывается, и из колоды снова достается "пиковая дама"; 6) отложенная ранее карта (п. 5) показывается зрителям и действительно оказывается "пиковой да- мой"; 7) отложенная карта (п. 5) оказывается "тройкой". Поясните с позиции зрителя, знакомого с о сновами теории информации, в чем суть фокусов.

24. Закодировать двоичным кодом Шеннона – Фано множество из пяти сообщений с вероятностями p₁ = 0,4; p₂ = p₃ = p₄ = p₅ = 0,15. Оценить ^{среднюю длину кодовых слов} n ^{. Закодировать сообщения этого же}

источника кодом Хафмена, определить среднюю длину кодовых слов

n ^{. Сравнить результаты кодирования по этим двум методам и сделать} выводы.

Рекомендуемая литература

1. Журавлев А. К., Никитин Г. И. Радиотехнические системы переда- чи информации: Учеб. пособие / ЛИАП. Л., 1984. 86 с.

2. Дмитриев В. И. Прикладная теория информации. М.: Высш. шк.,

1989. 328 с.

3. Шеннон К. Связь при наличии шума. Теория информации и ее приложения: Сб. переводов / Под ред. А. А. Харкевича. М.: Физматгиз,

1969. 328 с. С. 82–112.

4. Новик Д. А. Эффективное кодирование. М.: Энергия, 1965. 236 с. С. 33–63.

5. Теория передачи сигналов: Учебник для вузов / А. Г. Зюко, Д. Д. Кловский, М. В. Назаров, Л. М. Финк. М.: Радио и связь, 1986.

304 с.

ПРИЛОЖЕНИЕ 1

Таблица двоичных логарифмов. Энтропия двоичного ансамбля

p	–log p	–p log p	H (p)	–(1 – p) log (1 – p)	–log (1 – p)	1 – p
0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 0,10 0,11 0,12 0,13 0,14 0,15 0,16 0,17 0,18 0,19 0,20 0,21 0,22 0,23 0,24 0,25 0,25 0,27 0,28 0,29 0,30 0,31 0,32	6,643 5,644 5,059 4,644 4,322 4,059 3,936 3,644 3,474 3,322 3,184 3,059 2,943 2,836 2,737 2,644 2,556 2,474 2,396 2,322 2,252 2,184 2,120 2,059 2,000 1,943 1,889 1,836 1,786 1,737 1,690 1,644	0,066 0,113 0,152 0,186 0,216 0,243 0,268 0,291 0,313 0,332 0,350 0,367 0,383 0,397 0,411 0,423 0,434 0,445 0,455 0,464 0,473 0,481 0,488 0,494 0,500 0,505 0,510 0,514 0,518 0,521 0,524 0,526	0,081 0,141 0,194 0,242 0,286 0,327 0,366 0,402 0,436 0,469 0,499 0,529 0,557 0,584 0,610 0,634 0,658 0,680 0,701 0,722 0,741 0,760 0,778 0,795 0,811 0,827 0,841 0,855 0,869 0,881 0,893 0,904	0,014 0,028 0,042 0,056 0,070 0,084 0,097 0,111 0,124 0,137 0,150 0,162 0,175 0,187 0,199 0,211 0,223 0,235 0,246 0,257 0,269 0,279 0,290 0,301 0,311 0,321 0,331 0,341 0,351 0,360 0,369 0,378	0,014 0,029 0,044 0,059 0,074 0,089 0,105 0,120 0,136 0,152 0,168 0,184 0,201 0,217 0,234 0,252 0,269 0,286 0,304 0,322 0,340 0,358 0,377 0,396 0,415 0,434 0,454 0,474 0,494 0,514 0,535 0,556	0,99 0,98 0,97 0,96 0,95 0,94 0,93 0,92 0,91 0,90 0,89 0,88 0,87 0,86 0,85 0,84 0,83 0,82 0,81 0,80 0,79 0,78 0,77 0,76 0,75 0,74 0,73 0,72 0,71 0,70 0,69 0,68

ОКОНЧАНИЕ ПРИЛ. 1

p	–log p	–p log p	H (p)	–(1 – p) log (1 – p)	–log (1 – p)	1 – p
0,33 0,34 0,35 0,36 0,37 0,38 0,39 0,40 0,41 0,42 0,43 0,44 0,45 0,46 0,47 0,48 0,49 0,50	1,599 1,556 1,514 1,474 1,434 1,396 1,358 1,322 1,286 1,252 1,217 1,184 1,152 1,120 1,089 1,059 1,029 1,000	0,528 0,529 0,530 0,531 0,531 0,530 0,529 0,529 0,527 0,526 0,523 0,521 0,518 0,515 0,512 0,508 0,504 0,500	0,915 0,925 0,934 0,943 0,951 0,958 0,965 0,971 0,976 0,981 0,986 0,989 0,993 0,995 0,997 0,999 0,999 1,000	0,387 0,396 0,404 0,412 0,420 0,428 0,435 0,442 0,449 0,455 0,462 0,468 0,474 0,480 0,485 0,491 0,495 0,500	0,578 0,599 0,621 0,644 0,667 0,690 0,713 0,737 0,761 0,786 0,811 0,836 0,852 0,889 0,916 0,943 0,971 1,000	0,67 0,66 0,65 0,64 0,63 0,62 0,61 0,60 0,59 0,58 0,57 0,56 0,55 0,54 0,53 0,52 0,51 0,50

ПРИЛОЖЕНИЕ 2

Инструкция по использованию встроенной программы вычисления двоичных логарифмов

Для вызова программы вычисления двоичных логарифмов необхо- димо на клавиатуре одновременно нажать следующую комбинацию клавиш:

< ALT > < Shift Left > < L >.

В левом верхнем углу экрана терминала будет предъявлено окно:

Введите X или –1

_{X =}

Необходимо ввести число, двоичный логарифм которого необходи- мо определить, или –1. В первом случае в окне появится искомое значе- ние двоичного логарифма и указание о нажатии любой клавиши для продолжения работы. После выполнения указания окно вернется в ис- ходное состояние. Во втором случае сеанс работы с программой завер- шится и окно исчезнет с экрана.

ПРИЛОЖЕНИЕ 3

Инструкция по использованию встроенного калькулятора

Для вызова калькулятора необходимо нажать одновременно следую- щую комбинацию клавиш: < CTRL > < Shift Right > < C >.

В правом верхнем углу терминала будет предъявлено окно калькуля- тора следующего вида.

PCALC Programm ers

Calculator 5,0

Cls ................. Save ..............

Верхняя часть окна используется для ввода чисел и вывода результа- тов. В нижней части представлены список команд и режимы работы.

Вычисления производятся в следующей последовательности:

1. На цифровой клавиатуре набирается первое число, которое запи- сывается в верхнем углу окна калькулятора.

2. Нажатием клавиш +, –, *, / выбирается нужное действие сложе- ние, вычитание, умножение или деление.

3. Набирается второе число, следующее за знаком операции (высве- чивается в окне).

4. Для получения результата необходимо нажать клавишу = или

< ENTER >. В окне высветится результат.

Команды калькулятора:

< C > (очистка) – стереть содержимое окна калькулятора

< E > (сбросить ввод) – стереть текущий ввод.

< I > (вставить запомненное значение) – число из памяти использу- ется в качестве операнда.

< S > (сохранить) – записать результат в память.

Пример

Необходимо вычислить выражение:

0,15 + 0,23 – 0,32

Алгоритм решения

Действие

Комментарий

1. Очистить калькулятор, нажав клавишу < C > 2. Ввести первое число, 0,1 3. Нажать клавишу < * > 4. Ввести второе число, 5 5. Нажать клавишу < = > 6. Нажать клавишу < S > 7. Нажать клавишу < C > 8. Ввести третье число, 0,2 9. Нажать клавишу < * > 10. Ввести четвертое число, 3 11. Нажать клавишу < + > 12. Нажать клавишу < I > 13. Нажать клавишу < = > 14. Нажать клавишу < S > 15. Нажать клавишу < C > 16. Ввести пятое число, –0,3 17. Нажать клавишу < * > 18. Ввести шестое число, 2 19. Нажать клавишу < + > 20. Нажать клавишу < I > 21. Нажать клавишу < = > 22. Нажать клавишу < C >

Очистка окна и памяти калькулятора, если там не 0 Ввод на цифровой клавиатуре Действие умножения Ввод на цифровой клавиатуре Результат первого умножения Запоминание в памяти Очистка окна калькулятора Ввод на цифровой клавиатуре Очередное действие умножения См. п. 2 Результат * п. 9 становится значением 1 Запомненный итог п. 5 становится значением 2 Результат сложения п. 5 и 11 См. п. 6 См. п. 7 Со знаком!! (см. п. 2) См. п. 3 См. п. 2 Cм. п. 11 См. п. 12 В третьей строке окна калькулятора будет результат, число 0,5 См. п. 1

Для завершения сеанса работы с калькулятором нажать клавишу

< ESC >.

Замечание. Калькулятор сохранит состояние предыдущего сеанса, если не произве- сти его очистку.

Лабораторная работа № 3

КОРРЕКТИРУЮЩИЕ КОДЫ ХЕММИНГА

Цель работы: изучение принципов помехоустойчивого кодирова- ния, ознакомление с классификацией корректирующих кодов и основ- ными их характеристиками, с методами кодирования и декодирования на примере кода Хемминга и циклического кода (9, 5).