Информация как снятая неопределенность.
Задача:
Сколько следует задать вопросов и как их следует сформулировать чтобы оценить сообщение о том что вагон стоит на одном из 16 путей.
1) Порядковый номер меньше 9 ?
2) .......
Задача:
Ведется наблюдение за влажностью воздуха. Результатом одного измерения является целое число от 0 до 100 которое записывается минимально возможным количеством бит. Станция сделала 80 измерений. Определить информационный объем результата наблюдений. 70
Задача:
В коробке лежат 64 цветных карандаша. Сообщение о том что достали белый карандаш несет 4 бита информации. Сколько белых карандашей в коробке?
Решение:
1) Нам надо определить количество карандашей по известному количеству информации, который несет 1 карандаш. По формуле Шеннона определим количество возможных событий. log2N=4 ; N = 16.
2) Количество возможных событий получения белого карандаша равно 16, значит количество белых карандашей составляет 1/16 всех карандашей.
3) Ответ 64/16=4 (белых карандашей).
31.10.13.
Задача:
В корзине лежат 8 черных и 24 белых шара. Сколько бит информации несет сообщение о том что достали черный шар?
Решение:
1) Черные шары составляют 1/4 всех шаров. Следовательно информация о том что достали черный шар соответствует 1 из 4 вариантов.
2) 1 из 4 вариантов несет в себе количество информации равное 2 ( 4=22)
ИЛИ ПО ФОРМУЛЕ ШЕННОНА:
1) Так как количество вариантов получения черного шара равно 4, то I - количество информации = log24
Ответ: 2бита.
Энтропия.
В 1865 году немецкий физик Рудольф Клаузиус ввел в статическую физику понятие энтропии или меры уравновешенности системы.
В 1921 году основатель большей части математической статистики англичанин Роналд Фишер впервые ввел термин информация в математику.
В 1948 году исследуя проблему рациональной передачи информации через зашумленный информационный канал Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую истинно математическую теорию энтропии. Шеннону удалось создать удивительно простую и глубокую модель передачи информации без которой теперь не обходится сейчас не один учебник.
Он ввел понятие: "Источник сообщения, передатчик, канал связи, приемник, получатель сообщения и источник шума способный исказить сигнал."
Любой даже очень сложный обмен сообщениями можно успешно описать в этих терминах.
Сенсационной идеей Шеннона послужили основой разработки двух направлений:
1) Теории информации которая использует понятие вероятности для изучения статистических характеристик данных и коммуникационных систем.
2) Теории кодирования в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных шифров.
Понятие Энтропии как меры случайности введено Шенноном в 1948 году. Шеннон использовал бит как единицу измерения информации а мерой количества информации Шеннон предложил считать функцию названную им Энтропией.
Термен Энтропия используется Шенноном по предложению Фон Неймана отметившего что полученные Шенноном для теории связи формулы для её расчета совпали с соответствующими формулами статистической физики.
Энтропия - мера неопределенности.
Энтропия в теории информации - это мера хаотичности информации неопределенности появления какого либо символа первичного алфавита.
При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Каждый символ в русском языке появляется с разной частотой, следовательно неопределенность появления для некоторых символов больше чем для других. Если же учесть что некоторое сочетание символов встречаются очень редко то неопределенность еще более уменьшается. (в этом случае говорят об энтропии n-го порядка или условной Энтропии).
Пусть сообщение это осмысленное предложение на русском языке. Шеннон заметил что при передачи различных букв мы передаем разное количество информации. Если мы передаем часто встречающиеся буквы то информации меньше, при передачи редких букв - больше. Это видно при кодировании алфавита азбукой Морзе. Наиболее частые буквы передаются коротко, а для редких используются более длинные цепочки.
Е - кодируется одной точкой
Ш - 4-ре тире (----)
Количество информации на букву связано с частотой употребления этой буквы во всех сообщениях формируемых на языке.
Энтропия - мера непредсказуемости. Это понятие Шеннон взял из статистической термодинамики и применил к теории информации.
Пусть вероятность I-того символа алфавита мощностью N равна Pi. Тогда информация одного символа будет определяться по формуле:
N
H
I=1
Шеннон пишет - величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности.
Количество информации передаваемое в сообщении тесно связана с мерой неопределенности или непредсказуемости передаваемых символов.
1.11.13.
Основной задачей систем связи является передача информации от источника к получателю. Решение этой задачи сопряжено с определенными трудностями, связанными не только с представлением информации в виде сообщения пригодного для восприятия и обработки но и с преобразованием данного сообщения в сигнал пригодной для передачи по линии связи.
Избыточность
Если источник передает сообщение реального языка оказывается что каждый следующий символ не полностью случаен и вероятность его появления не полностью предопределена средней частотой символа во всех сообщениях языка. То какой символ последует дальше зависит от символов уже переданных.
Пример:
1) В русском языке после символа Ъ не моет идти символ согласного звука.
2) После двух подряд гласных букв Е третьей гласной Е следует крайне редкой.
Таким образом каждый следующий символ в некоторой степени предопределен поэтому можно говорить об условной энтропии символа.
Источник может порождать сообщения строго определенного типа например формальную деловую переписку. В таком случае предопределенность следующего символа может быть намного выше чем в среднем в языке тогда энтропия этого источника будет отличаться от максимальной - она будет меньше. Если мы сравним энтропию конкретного источника и максимальную энтропию то определим избыточность сообщения.
Избыточность обычного английского текста составляет примерно 50% это значит что когда мы пишем по английски то половина знаков предопределяется структурой языка и лишь половина выбирается свободно то есть избыточность это мера предсказуемости сообщения.
Понятие энтропии (непредсказуемости сообщения) и избыточности (предсказуемости) естественно соответствуют интуитивным представлениям о мере информации.
Чем более непредсказуемо сообщение ( и чем больше его энтропия, потому что меньше вероятность) - тем больше информации оно несет.
Сенсация - это редкое событие предсказуемость которого очень мала, поэтому велика его информационная стоймость.
Часто информацией называют новости - сообщение о только что произошедших событиях о которых мы еще не знали, но если о случившемся нам расскажут несколько раз избыточность сообщения станет очень велика его непредсказуемость упадет до нуля и оно потеряет для нас всякий интерес.
Вот это соответствие интуитивному чувству навезны которая рождается неожиданным известием и сыграло главную роль в том что статья Шеннона не рассчитанная на массового читателя стала сенсацией которую подхватила пресса и которую приняли как универсальный ключ к познанию природы ученые самых разных специальностей от лингвистов и литературоведов до биологов.
Но понятие информации по Шеннону - это строго математическая теория и её применение за пределами теории связи очень рискованна. Зато в самой теории связи она играет центральную роль.
Концепции информации и энтропии имеют глубокие связи друг с другом но несмотря на это разработка теории в статистической механики и теории информации заняла много лет чтобы сделать их соответствующими друг другу.
07.11.13.
