10. Вопросы для самопроверки.

Ниже предлагается название минимального количества тем (вопросов), которые студент должен осветить в рамках данного курса.

1. Предмет курса. Соотношение «Информатики», «Кибернетики» и «Теории информации». Подходы к определению «количества информации».

2. Понятие кода, исправляющего ошибки. Кодовое расстояние. Кодовое расстояние линейного кода.

3. Понятие информационного канала. Виды каналов. Примеры.

4. Принцип наибольшего правдоподобия. Пример схемы декодирования. Матрица декодирования.

5. Префиксные коды и бинарные деревья.

6. Код Элайеса. Пример.

7. Теорема (Граница) Хэмминга.

8. Код Левенштейна. Пример.

9. Теорема Шеннона. Смысл теоремы.

10. Признаковое кодирование и тесты. Пример теста.

11. Определение кода Хэмминга. Примеры порождающей и проверочной матрицы кода.

12. Смысл энтропии Шеннона.

13. Понятие линейного кода. Порождающая и проверочная матрицы.

14. Алфавитное кодирование. Неравенство Крафта.

15. Блочный код Хаффмена.

16. Теорема Шеннона для блочных кодов.

17. Понятие избыточности. Граница Хэмминга. Совершенные коды.

18. Префиксные коды. Теорема о дешифруемости префиксного кода.

19. Кодовое расстояние. Связь между кодовым расстоянием и возможностью кода исправлять и обнаруживать ошибки.

20. Теорема о максимальном значении энтропии случайного источника.

21. Теорема о необходимом и достаточном условии существования префиксного кода.

22. Энтропия по Хартли. Пример. Энтропия по Шеннону. Пример.

23. Кодирование чисел, векторов, матриц, графов, булевых функций. Примеры.

24. Пример алгоритма арифметического кодирования.

25. Побуквенное кодирование случайного источника. Необходимое условие дешифруемости.

26. Энтропия случайного источника. Свойства энтропии.

27. Стоимость побуквенного кодирования. Теорема Шеннона.

28. Проблема «различимости». Понятие теста. Пример.

29. Теорема Плоткина.

30. Код Фано. Пример.

31. Код Хаффмена. Пример.

32. Теорема Джоши.

33. Теорема Варшамова-Гильберта.

34. Сериальное кодирование. Оценки длины кода.

35. Теорема Шеннона 2.

36. Теорема Шеннона 3.

37. Спектр кода.

38. Теорема Маквильямс.

39. Код Хэмминга.

40. Код Макдональда.

41. Эквидистантные коды и их мощность.

42. БЧХ коды.

43. Проблема синхронизации.

11. Примеры билетов для контрольных работ.

    1. КР №1

Билет 1.

1. Проверить неравенство Крафта и построить префиксный код при q=3 с длинами слов: 1,1,3,4,4,4.

2. Найти El(167).

3. Найти Lev(224).

Билет 2.

1. Проверить неравенство Крафта и построить префиксный код при q=4 с длинами слов: 1,1,1,3,4,4,4.

2. Найти El(155).

3. Найти Lev(1224).

Билет 3.

1. Проверить неравенство Крафта и построить префиксный код при q=4 с длинами слов: 1,1,3,3,3,3,4,4,4.

2. Найти El(190).

3. Найти Lev(274).

Билет 4.

1. Проверить неравенство Крафта и построить префиксный код при q=3 с длинами слов: 1,1,3,4,4,4.

2. Найти El(167).

3. Найти Lev(224).

Билет 5.

1. Проверить неравенство Крафта и построить префиксный код при q=3 с длинами слов: 1,1,3,2,4,4.

2. Найти El(1607).

3. Найти Lev(78).

Билет 6.

1. Проверить неравенство Крафта и построить префиксный код при q=3 с длинами слов: 1,1,3,3,3, 4,4,4.

2. Найти El(197).

3. Найти Lev(29).

2. КР №2

Билет 1

1. Построить три кода: Шеннона, Хаффмена и арифметический. Вероятности букв: 0.2, 0.15, 0.15, 0.1, 0.1, 0.1, 0.06, 0.05, 0.05, 0.04.

2. Вероятность 0 – 1/5, вероятность 1 - 4/5. Построить блочный код Хаффмена (до длины блока – 3) и арифметический код.

Билет 2

1. Построить три кода: Шеннона, Хаффмена и арифметический. Вероятности букв: 0.2, 0.18, 0.12, 0.1, 0.1, 0.1, 0.07, 0.05, 0.05, 0.03.

2. Вероятность 0 – 1/4, вероятность 1 - 3/4. Построить блочный код Хаффмена (до длины блока – 3) и арифметический код.

Билет 3

1. Построить три кода: Шеннона, Хаффмена и арифметический. Вероятности букв: 0.2, 0.16, 0.14, 0.1, 0.1, 0.1, 0.08, 0.05, 0.05, 0.02.

2. Вероятность 0 – 3/5, вероятность 1 - 2/5. Построить блочный код Хаффмена (до длины блока – 3) и арифметический код.

Билет 4

1. Построить три кода: Шеннона, Хаффмена и арифметический. Вероятности букв: 0.17, 0.15, 0.15, 0.8, 0.1, 0.1, 0.06, 0.05, 0.05, 0.04.

2. Вероятность 0 – 1/6, вероятность 1 -5/6. Построить блочный код Хаффмена (до длины блока – 3) и арифметический код.

Билет 5

1. Построить три кода: Шеннона, Хаффмена и арифметический. Вероятности букв: 0.2, 0.15, 0.15, 0.1, 0.1, 0.1, 0.09, 0.05, 0.05, 0.01.

2. Вероятность 0 – 1/6, вероятность 1 - 5/6. Построить блочный код Хаффмена (до длины блока – 3) и арифметический код.

Билет 6.

1. Построить три кода: Шеннона, Хаффмена и арифметический. Вероятности букв: 0.3, 0.15, 0.05, 0.1, 0.1, 0.1, 0.06, 0.05, 0.05, 0.04.

2. Вероятность 0 – 3/5, вероятность 1 -2/5. Построить блочный код Хаффмена (до длины блока – 3) и арифметический код.

3. КР №3

Билет 1.

1. Проверить существование (8,12,3)-кода.

2. Восстановить выпавший символ 10100101.

3. Доказать границу Джоши. При каких параметрах она лучше границы Хэмминга?

4. Доказать неравенство Крафта.

Билет 2.

1. Проверить существование (12,200,3)-кода.

2. Восстановить выпавший символ 00001110.

3. Доказать границу Варшамова-Гильберта.

4. Доказать 1-ю теорему Шеннона.

Билет 3.

1. Проверить существование (16,200,5)-кода.

2. Восстановить выпавший символ 00110011.

3. Схема доказательства 2-й теоремы Шеннона.

4. Для линейного (n,k)-кода дать определения порождающей и проверочной матриц. Связь между ними в случае систематического кода.

Билет 4.

1. Проверить существование (12,6,7)-кода.

2. Восстановить выпавший символ 10010011.

3. Доказать границу Плоткина.

4. Доказать свойство возрастания энтропии при «сглаживании».

Билет 5.

1. Проверить существование (12,20,7)-кода.

2. Восстановить выпавший символ 00001101.

3. Код Левенштейна. Кодирование и декодирование.

4. Доказать неравенство Хэмминга.

Билет 6.

1. Проверить существование (12,300,5)-кода.

2. Восстановить выпавший символ 10011001.

3. Соотношение энтропии по Хартли и энтропии по Шеннону. Доказать.

4. Доказать теорему Плоткина.

Билет 7.

1. Проверить существование (7,12,3)-кода.

2. Восстановить выпавший символ 10110101.

3. Доказать границу Джоши. При каких параметрах она хуже границы Хэмминга?

4. Доказать неравенство Варшамова-Гильберта.

Билет 8.

1. Проверить существование (10,100,3)-кода.

2. Восстановить выпавший символ 10001110.

3. Доказать границу Джоши.

4. Доказать неравенство Крафта.

Билет 9.

1. Проверить существование (15,200,5)-кода.

2. Восстановить выпавший символ 00110011.

3. Схема доказательства 2-й теоремы Шеннона.

4. Доказать теорему Хэмминга.

Билет 10.

1. Проверить существование (11,6,7)-кода.

2. Восстановить выпавший символ 10010011.

3. Код Элайеса. Кодирование и декодирование.

4. Доказать свойство возрастания энтропии при «сглаживании».