Теория информации v1

Задание 1. Ответить на следующие вопросы:

Что такое информация? Что такое данные?

Назовите элементы системы передачи информации, дайте определение кодирования в широком смысле слова

Что такое верность передачи?

В каком случае энтропия дискретного ансамбля равна нулю?

Как определить энтропию нескольких статистически независимых источников инфор-­ мации?

Что такое частное количество информации?

Задание 2. Написать формулы для расчета следующих величин:

Меры неопределенности выбора состояния источника информации по а) Р.Хартли б) К.Шеннону.

количества информации при неполной достоверности передачи а) от дискретного источника б) от непрерывного источника.

Задание 3. Решить задачу:

Имеются 2 урны, содержащие по 10 шаров:

урна - 5 белых, 3 черных, 2 красных.

урна - 3 белых, 3 черных, 4 красных.

Из каждой урны вытаскивают по одному шару.

Результат какого из этих двух событий следует считать более определенным?

Задание.1

1.1 Что такое информация ? Что такое данные?

С начала 1950-х годов предпринимаются попытки использовать понятие информации (не имеющее до настоящего времени единого определения) для объяснения и описания самых разнообразных явлений и процессов.

В некоторых учебниках дается следующее определение информации:

Информация - это совокупность сведений, подлежащих хранению, передаче, обработке и использованию в человеческой деятельности.

Такое определение не является полностью бесполезным, т.к. оно помогает хотя бы смутно представить, о чем идет речь. Но с точки зрения логики оно бессмысленно. Определяемое понятие (информация) здесь подменяется другим понятием (совокупность сведений), которое само нуждается в определении.

При всех различиях в трактовке понятия информации, бесспорно, то, что проявляется информация всегда в материально-энергетической форме в виде сигналов.

Информацию, представленную в формализованном виде, позволяющем осуществлять ее обработку с помощью технических средств, называют данными.

С точки зрения программиста данные — это часть программы, совокупность значений определённых ячеек памяти, преобразование которых осуществляет код. С точки зрения компилятора, процессора, операционной системы, это совокупность ячеек памяти, обладающих определёнными свойствами (возможность чтения и записи (необяз.), невозможность исполнения).

Контроль за доступом к данным в современных компьютерах осуществляется аппаратно.

В соответствии с принципом фон Неймана, одна и та же область памяти может выступать как в качестве данных, так и в качестве исполнимого кода.

Типы данных

Традиционно выделяют два типа данных — двоичные (бинарные) и текстовые.

Двоичные данные обрабатываются только специализированным программным обеспечением, знающим их структуру, все остальные программы передают данные без изменений.

Текстовые данные воспринимаются передающими системами как текст, записанный на каком-либо языке. Для них может осуществляться перекодировка (из кодировки отправляющей системы в кодировку принимающей), заменяться символы переноса строки, изменяться максимальная длина строки, изменяться количество пробелов в тексте.

Передача текстовых данных как бинарных приводит к необходимости изменять кодировку в прикладном программном обеспечении (это умеет большинство прикладного ПО, отображающего текст, получаемый из разных источников), передача бинарных данных как текстовых может привести к их необратимому повреждению.

1.2 Назовите элементы системы передачи информации, дайте определение кодирования в широком смысле слова

1.2 Система передачи информации.

Для систем передачи информации важна физическая природа ее восприятия. По этому признаку информация может быть разделена на слуховую, зрительную и “машинную”. Первые два вида соответствуют наиболее емким каналам восприятия информации человеком. Пропускная способность слухового канала составляет тысячи десятичных единиц информации, а зрительного - миллионы. “Машинная” информация предназначена для обработки ЭВМ. Здесь пропускная способность каналов должна согласовываться со скоростью обработки ее машиной – до нескольких десятков миллионов двоичных единиц информации в секунду. С помощью ЭВМ в настоящее время стала возможна обработка слуховой и зрительной информации.