Вопросы по Основам Теории Информации

ВОПРОСЫ К ЗАЧЕТУ ПО ТЕОРИИ ИНФОРМАЦИИ

1.Неравенство Йенсена.

2.Энтропия дискретной случайной величины и ее свойства.

3.Условная энтропия и ее свойства.

4.Кодировка текста.

5.Необходимые и достаточные условия на длины кодов символов алфавита.

6.Кодирование символов конечного алфавита. Код Шеннона.

7.Оценка снизу средней длины кода.

8.Построение кода со средней длиной сколь угодно близкой к энтропии.

9.Информация.

10.Пропускная способность канала с шумом. Простейшие примеры каналов и нахождение их пропускной способности.

1