ИТ (AC-310) / ИТ_ЛР / Семестр 1 / Лабораторная 1 / лр1 Вопросы к защите в01

Сравните энтропию исхода броска двух монет: идеальной (с двумя равновероятными исходами) и монеты, которая выпадает «орлом» и «решкой» равновероятно, но кроме этого может встать на ребро с вероятностью 2%.

Брошена идеальная игральная кость. Какое из следующих сообщений наиболее информативно?

а) На верхней грани выпала единица.

б) На верхней грани выпало чётное число.

в) Число, выпавшее на верхней грани, не является простым.

Почему энтропия нестационарного источника, передающего ФИО, в среднем уменьшаясь при принятии каждого сообщения, в некоторых редких случаях чуть увеличивается?

В каких двух случаях значение энтропии нестационарного источника может увеличиться?

Для некоторого реального источника в определённый момент времени было вычислено значение энтропии. От чего зависит точность полученной оценки неопределённости?

Как изменится гистограмма энтропии источника, передающего ФИО, если моделирование будет произведено с учётом прописных букв?

Как изменится гистограмма энтропии источника, передающего ФИО, если буквы ФИО будут переданы в другом порядке?

Как изменится гистограмма энтропии источника, передающего ФИО, если при моделировании будет учтена возможность возникновения непредвиденной буквы – сообщение x_N+1 , ожидаемая частота которого f_N+1 всегда принимается за единицу?

Дан источник, способный передать любое ФИО, состоящее из букв известного алфавита мощности M. Возможно ли оценить значение энтропии более точно, чем H_max = log M ?

На шахматной доске в одну из клеток поставлена фигура. Вычислите количество собственной информации, полученной от сообщения, в какой именно клетке она находится.

Какое достаточное количество вопросов на «да»/«нет» нужно задать, чтобы определить положение фигуры на шахматной доске?

Задумано натуральное число в интервале [1; 100]. Вычислите неопределённость попытки угадать это число сходу.

Какое достаточное количество вопросов на «да»/«нет» нужно задать, чтобы угадать это число?

На шахматной доске в одну из клеток поставлена фигура. Вычислите количество собственной информации, полученной от сообщения, что фигура находится в одной из угловых клеток.

Какое достаточное количество вопросов на «да»/«нет» ещё потребуется задать, чтобы определить, в каком именно углу она находится?

Когда-то в известный день один человек сказал: «Сегодня мой День рождения!». Насколько это сообщение информативно?

Оцените неопределённость ответа на вопрос: «Является ли сегодняшний день Днём рождения лица X ?». Проинтерпретируйте полученное значение.

Оцените неопределённость вашей итоговой оценки по дисциплине «Теория информации».

Компьютерная программа моделирует бросок идеальной монеты с двумя равновероятными исходами, а студенты пробуют предугадать результат каждого броска. Один ленивый студент запустил на другом компьютере такую же программу и вместо того, чтобы предугадывать сам, просто называет тот исход, который выдал второй компьютер. Кто будет угадывать лучше: студенты или второй компьютер? (Предположим, что программы идеально моделируют идеальную монету, совершенно независимо друг от друга и от времени)

Два друга трясли монеты и, в конце концов, один остался совсем без денег. Проигравший предложил играть дальше следующим образом: он загадывает в уме «орла» или «решку», а второй пытается угадать. Если второй не угадывает, то возвращает одну монету. Если угадывает, то раскошеливается первый, если у него есть чем, либо занимает в долг. Игра продолжается до тех пор, пока первый не вернёт себе все 10 монет, которые у него были, либо пока его долг не превысит 10 монет. Какой из исходов наиболее вероятен?

Найдите общую неопределённость исхода броска вашей фальшивой монеты и фальшивой игральной кости. На какой исход вы бы поставили?

Оператор регистрирует сообщения стационарного источника, характеризуемого энтропией H = 2,59 бит. Какое среднее количество вопросов на «да»/«нет» потребуется задать оператору, чтобы однозначно выяснить, какое сообщение было получено?

Стационарный источник с известным числом состояний