54. Вероятность и информация. Информационное содержание сигнала.

Понятия «информация» (от лат. informatio — разъ­яснение, изложение) и «сообщение» в настоящее время неразрывно связаны между собой. Эти понятия сложны, близки по смыслу, и дать их точные оп­ределения через более простые достаточно трудно.

Под информацией подразумевается совокупность сведений о каких-либо событиях, явлениях или предметах, предназначенных для передачи, приема, обработки, преобразования, хранения или непосредственного ис­пользования. Особенность информации состоит в том, что обычно возникает она в одном месте, а используется в другом. Передача информации — это процесс переноса сведений из одной точки пространства в другую. Отметим, что информацию, представленную в алфавитно-цифровой форме, в теории электросвязи принято называть данными.

При вероятностном подходе информации рассматривается как сообщение о исходе случайных событий реализует случайную величину и функцию, а количество информации ставиться в зависимость от априорных вероятностей этих событий, величин, функций, если получаемое сообщение часто встреча(ное) событиях, Вероятность появления которых стремиться к 1, т.е. к достоверным сообщениям, то такое сообщение мало информативно. Большинство видов информации можно свести к двоичным явлениям (да, нет). Это пара явлений будет простейшим элементам информации.

События – это элементарное явление, которое может быть с вероятностью от 0 до 1, т.е. вероятность = 0 до – вероятность = 1, или не быть вероятностью стремящейся к Q=1-P (P-вероятность) Когда P = 0.5 будет наибольшая неопределённость в ситуации

События – это наибольше возможные некоторого опыта, где все исходы составляют «ансамбль» событий. (т.е. полная группа событий).

Для ансамбля сумма вероятности событий равна.

В общем случае вероятности не остаются существующими, они могут изменяться во времени.

Это характерно для астацинарного процесса, при стационарном процессе остальные характеристики не изменяются.

Информационное содержание сигнала.

Информация, подлежащая передаче и выраженная в определенной форме, называется сообщением. Сообщение может быть представлено в форме текста телеграммы, некоторых сведений, передаваемых по теле­фону, радио или телеграфу, телевизионного изображения, данных на вы­ходе компьютера и т.д.

Ценность любых сведений, содержащихся в переданном получателю сообщении, характеризует количество заключенной в нем информации. Данная величина может определяться степенью изменения поведения полу­чателя под воздействием принятого сообщения. В теории связи количественная оценка информации основывается на концепции выбора наиболее важного сообщения из всей совокупности возможных сообщений. При этом чем менее вероятен выбор данного сообщения, т.е., чем более оно неожи­данно для получателя, тем большее количество информации в нем содер­жится. Совершенно очевидно обратное: достоверное (заранее известное) сообщение нет смысла передавать, поскольку оно не является неожиданным и, следовательно, не содержит никакой информации. Поэтому любые реаль­ные сообщения следует рассматривать как случайные события (случайные процессы).

В общем случае передаваемое по каналам связи сообщение можно представить в виде набора некоторых смысловых элементов или символов (например, букв какого-либо алфавита). Если общее количество (объем) смысловых символов равно т, а одно сообщение составлено из п элементов, то число возможных сообщений N = . Однако использование числа N в качестве меры информации неудобно, так как в данном случае не выполняется условие пропорциональности между длиной слова (длительностью сигнала) и количеством содержащейся в нем информации. Между тем удвоение времени передачи сообщений должно приводить к удвоению количества передаваемой информации.

Сигнал (от лат. signum — знак) — физический процесс (или явление), несущий информацию о состоянии какого-либо объекта на­блюдения. По своей физической природе сигналы могут быть электрически­ми, световыми, звуковыми и др. В радиотехнике в основном используются электрические сигналы.