Тема: Элементы теории информации.

Вопросы из теории.

1. Что называется информационной энтропией?

2. Чему равна энтропия системы, которая может находиться в n равновероятных состояниях?

3. По какой формуле рассчитывается энтропия системы, которая может находиться в n неравновероятных состояниях?

4. Дайте наиболее полное определение информации.

5. Дайте определение единицы информации - 1 бит.

6. Что называется пропускной способностью канала связи?

7. В каком случае информационная энтропия системы принимает минимальное значение

8. В каком случае информационная энтропия системы принимает максимальное значение?

Тема: Элементы теории информации.

Задачи.

1. Грани правильного тетраэдра пронумерованы. Определите количество информации, заключенное в сообщении о том, что тетраэдр выпал гранью 4? (Ответ: 2 бита.)

2. Определите количество информации, заключенное в сообщении о том, что из колоды карт выпала карта валет пиковый? Вся колода состоит из 32 карт. (Ответ: 5 бит.)

3. Определите количество информации, заключенное в сообщении состоящем из 4 символов, если весь алфавит сообщений содержит 8 символов. (Ответ: 12 бит.)

4. Какое количество информации содержится в сообщении о том, что данный нуклеотид в молекуле ДНК содержит цитозин, если известно, что в ДНК встречаются азотистые основания четырех типов. (Ответ: 2 бита.)

5. Определите энтропию системы, которая может находиться в трех состояниях с вероятностями 0,25, 0,25, 0,5 соответственно. (Ответ: 1,5 бита.)

6. Определите энтропию двумерной характеристики данного вида растения, которое может иметь один из 8 видов цветов и одну из 4 форм листа. (Ответ: 5 бит.)

7. Определите количество информации, которое получит экспериментатор при однократном изъятии шарика из урны, если в урне находится 15 черных, 15 красных, 15 зеленых и 15 белых шаров. (Ответ: 2 бита.)

8. Определите количество информации, которое получит экспериментатор-дальтоник, воспринимающий красный и зеленый цвет как один при однократном изъятии шарика из урны. В урне находится 25 черных, 25 красных, 25 зеленых и 25 белых шаров. (Ответ: 1,5 бита.)

9. Определите пропускную способность канала связи, если при передаче информации в течение 24 секунд было передано 2640 бит информации. (Ответ: 110 бит/с.)

10. Определите количество информации, заключенное в сообщении о событии, вероятность наступления которого равна 0,5 .(1 бит.)

11. Определите энтропию системы, которая может находиться в 8 равновероятных состояниях. (Ответ: 3 бита.)

12. Определите энтропию системы: колода карт (32 карты) и тетраэдр. (Ответ: 7 бит.)

13. Определите пропускную способность канала связи, если при передаче информации в течение 16 секунд было передано 192 бита информации. (Ответ: 12 бит/с)

14. Какое количество информации было передано по каналу связи в течение 15 секунд, если пропускная способность его 20 бит/с? (Ответ: 300 бит.)

15. Как долго осуществлялась передача информации, если при пропускной способности канала связи 25 бит/с было передано 600 бит информации? (Ответ: 24 с.)