- •Д.Е. Турчин
- •Лабораторный практикум
- •Кемерово 2013
- •Описание лабораторного практикума
- •1.2.2. Понятие кода и кодирования. Моделирование дискретных источников сообщений без памяти
- •1.3. Порядок выполнения работы
- •1.4. Контрольные вопросы
- •Марковские источники сообщений.
- •Эффективность, избыточность и производительность источника сообщений.
- •Кодовые деревья и префиксные коды.
- •2.3. Порядок выполнения работы
- •2.4. Контрольные вопросы
- •3.2.2. Пропускная способность дискретного канала связи. Кодеры и декодеры канала связи. Код с битом четности Пропускная способность дискретного канала связи.
- •Кодер и декодер канала связи. Код с битом четности.
- •3.3. Порядок выполнения работы
- •3.4. Контрольные вопросы
- •Метод Шеннона-Фано.
- •4.2.2. Методы кодирования источников сообщений по Хаффману Кодирование дискретного источника сообщений без памяти по Хаффману.
- •4.3. Порядок выполнения работы
- •4.4. Контрольные вопросы
- •Декодирование арифметического кода.
- •5.2.2. Метод адаптивного арифметического кодирования и его программная реализация
- •5.3. Порядок выполнения работы
- •5.4. Контрольные вопросы
- •6. Сжатие информации методами Лемпела-Зива
- •6.1. Цель работы
- •6.2. Основные теоретические сведения
- •Код Хэмминга.
- •7.2.2. Расширенный код Хэмминга. Программная реализация кода Хэмминга Расширенный код Хэмминга.
- •7.3. Порядок выполнения работы
- •7.5. Контрольные вопросы
- •8. Построение и декодирование линейных блоковых кодов
- •8.1. Цель работы
- •8.2. Основные теоретические сведения
- •8.3. Порядок выполнения работы
- •8.4. Контрольные вопросы
- •Приложение п.1. Понятие события и его вероятности. Теоремы сложения и умножения вероятностей Понятие события и вероятности события. Непосредственный подсчет вероятностей.
- •Теорема сложения вероятностей.
- •Теорема умножения вероятностей.
- •П.2. Данные для расчета энтропии и количества информации
- •П.3. Матрицы и операции над ними п.4. Многочлены и операции над ними
- •П.5. Вопросы к экзамену
П.2. Данные для расчета энтропии и количества информации
Таблица П.1
Значения −plog2p
p |
−plog2p |
p |
−plog2p |
p |
−plog2p |
p |
−plog2p |
p |
−plog2p |
0 |
─ |
0,20 |
0,4644 |
0,40 |
0,5288 |
0,60 |
0,4422 |
0,80 |
0,2575 |
0,01 |
0,0664 |
0,21 |
0,4728 |
0,41 |
0,5274 |
0,61 |
0,4350 |
0,81 |
0,2462 |
0,02 |
0,1129 |
0,22 |
0,4806 |
0,42 |
0,5256 |
0,62 |
0,4276 |
0,82 |
0,2348 |
0,03 |
0,1518 |
0,23 |
0,4877 |
0,43 |
0,5236 |
0,63 |
0,4199 |
0,83 |
0,2231 |
0,04 |
0,1858 |
0,24 |
0,4941 |
0,44 |
0,5211 |
0,64 |
0,4121 |
0,84 |
0,2113 |
0,05 |
0,2161 |
0,25 |
0,5000 |
0,45 |
0,5184 |
0,65 |
0,4040 |
0,85 |
0,1993 |
0,06 |
0,2435 |
0,26 |
0,5053 |
0,46 |
0,5153 |
0,66 |
0,3956 |
0,86 |
0,1871 |
0,07 |
0,2686 |
0,27 |
0,5100 |
0,47 |
0,512 |
0,67 |
0,3871 |
0,87 |
0,1748 |
0,08 |
0,2915 |
0,28 |
0,5142 |
0,48 |
0,5083 |
0,68 |
0,3783 |
0,88 |
0,1623 |
0,09 |
0,3127 |
0,29 |
0,5179 |
0,49 |
0,5043 |
0,69 |
0,3694 |
0,89 |
0,1496 |
0,10 |
0,3322 |
0,30 |
0,5211 |
0,50 |
0,5000 |
0,70 |
0,3602 |
0,90 |
0,1368 |
0,11 |
0,3503 |
0,31 |
0,5238 |
0,51 |
0,4954 |
0,71 |
0,3508 |
0,91 |
0,1238 |
0,12 |
0,3671 |
0,32 |
0,5260 |
0,52 |
0,4906 |
0,72 |
0,3412 |
0,92 |
0,1107 |
0,13 |
0,3826 |
0,33 |
0,5278 |
0,53 |
0,4854 |
0,73 |
0,3314 |
0,93 |
0,0974 |
0,14 |
0,3971 |
0,34 |
0,5292 |
0,54 |
0,4800 |
0,74 |
0,3215 |
0,94 |
0,0839 |
0,15 |
0,4105 |
0,35 |
0,5301 |
0,55 |
0,4744 |
0,75 |
0,3113 |
0,95 |
0,0703 |
0,16 |
0,4230 |
0,36 |
0,5306 |
0,56 |
0,4684 |
0,76 |
0,3009 |
0,96 |
0,0565 |
0,17 |
0,4346 |
0,37 |
0,5307 |
0,57 |
0,4623 |
0,77 |
0,2903 |
0,97 |
0,0426 |
0,18 |
0,4453 |
0,38 |
0,5305 |
0,58 |
0,4558 |
0,78 |
0,2796 |
0,98 |
0,0286 |
0,19 |
0,4552 |
0,39 |
0,5298 |
0,59 |
0,4491 |
0,79 |
0,2687 |
0,99 |
0,0144 |
Таблица П.2
Распределение вероятностей букв русского алфавита в текстах
Буква |
проб. |
о |
е |
а |
и |
т |
н |
с |
Вероятность |
0,175 |
0,090 |
0,072 |
0,062 |
0,062 |
0,053 |
0,045 |
0,045 |
Буква |
р |
в |
л |
к |
м |
д |
п |
у |
Вероятность |
0,040 |
0,038 |
0,035 |
0,028 |
0,026 |
0,025 |
0,023 |
0,021 |
Буква |
я |
ы |
з |
ь, ъ |
б |
г |
ч |
й |
Вероятность |
0,018 |
0,016 |
0,016 |
0,014 |
0,014 |
0,013 |
0,012 |
0,010 |
Буква |
х |
ж |
ю |
ш |
ц |
щ |
э |
ф |
Вероятность |
0,009 |
0,007 |
0,006 |
0,006 |
0,004 |
0,003 |
0,003 |
0,002 |
Примечание.
Для русского алфавита, с учетом пробела, а также с учетом отсутствия связи между буквами Н1 = 4,31 бит/символ; с учетом двухбуквенных сочетаний Н2 = 3,5 бит/символ; с учетом трехбуквенных сочетаний Н3 = 2,98 бит/символ; для последовательностей букв неограниченной длины Н∞ = 1,40 бит/символ.