
книги из ГПНТБ / Ливенцев В.В. Кибернетика горных предприятий (основные положения) учеб. пособие
.pdfДифференциальная энтропия в соответствии с выраже нием (11.48) принимает вид
-foo
h (ex) = |
— |
I ptl |
(x) log |
dx. |
|
|
|
|
J |
|
b — a |
|
|
Вынося постоянный множитель за знак интеграла, полу |
||||||
чаем |
|
|
|
|
|
|
|
|
|
+ 00 |
|
|
|
А(е,) = |
— |
Г p„(x)dx. |
|
(11.49) |
||
|
|
b — a J |
|
|
|
|
|
|
|
—оо |
|
|
|
Как было отмечено выше (равенство |
(11.43)), имеем |
|||||
|
j |
/>6,(л:) cfo = 1. |
|
|
||
В связи с этим |
—оо |
|
|
|
|
|
|
|
|
log (fr — aj. |
|
||
A(et) = |
— log — |
= |
(11.50) |
|||
|
|
b —a |
|
|
|
|
2. Случайная величина |
с |
нормальным |
распределе |
|||
нием — 82- |
|
|
|
|
|
|
Плотность вероятности такой величины определяется вы ражением
2о*
ptl(x)= |
6 |
, |
(11.51) |
|
а у |
2я |
|
где а — математическое ожидание; а2 — дисперсия.
Дифференциальная энтропия в соответствии с выраже нием (11.48) принимает вид:
h(e2) = - Г рч(х) log |
= |
ах. |
(11.52) |
J |
о ] / " |
2тс |
|
— оо
Произведем преобразования ç частью подынтегрального выражения;
5Q
|
2а2 |
|
|
{x-aY |
, |
|
|
|
|
|
|
|
2'2 |
- l o g о / |
2 ^ |
|
|||
log |
о / 2 л |
= log |
е |
|
|||||
|
|
|
|
|
|
|
|
||
|
— _ |
v |
log e — log a y |
2к. |
|
|
|
||
|
|
|
2a2 |
|
|
|
|
|
|
Теперь выражение (11.52) принимает вид |
|
|
|
||||||
-f-OO |
|
|
|
|
|
|
rfjc. |
(11.53) |
|
Л(г2) = — |
#,(•*) |
|
— — — |
loge — log oY |
2тс |
||||
|
|
|
2a2 |
|
|
|
|
|
|
Произведем упрощение данного выражения; |
|
|
|
||||||
|
|
|
+00 |
|
|
|
|
|
|
|
a w = |
j* ( - : ^ ^ - 2 loge-P :;(x)dx |
+ |
|
|
||||
+ j* log a |/ |
2-K-P4.X) dx |
= |
j* (x-ayp.,(x)dx |
+ |
|||||
- c o |
|
|
|
|
- ° ° |
|
|
|
|
|
|
|
|
4-00 |
|
|
|
|
|
|
|
+ |
log a ] / 2 ^ |
j |
Ph{x)dx. |
|
|
|
|
Замечая, что |
|
|
|
|
|
|
|
|
|
+O0 |
|
|
|
|
-f-oo |
|
|
|
|
\ (X - a)2 |
dx = |
a2; |
J /7„(*) Л* = |
1, |
|
||||
получаем |
|
|
|
|
|
|
|
|
|
A(e2) = |
l£|5- |
+ l o g a / 2 « = |
l o g / e + l o g e 1^2* |
= |
|||||
|
|
= logo ]/2л:е = |
log4,14 |
o. |
|
|
(11.54) |
§ 3. Сигнал и канал связи
Любая информация передается при помощи сигналов. Сигнал является отображением сообщения, материальным
носителем информации.
Сигналы окружают нас со всех сторон: это — телефонный звонок, сигнал светофора, изображение на экране телевизора, человеческая речь и т. д.
4* 51
Один и тот же объект может нести разные сигналы. Следовательно, в качестве сигналов используются не сами по себе объекты, а их состояния. Изменение состояния объекта образует сигнал. Соответствие между состоянием объекта и сигналом обычно задается на основе некоторого комплекса правил или алгоритма.
Сигнал обладает следующими свойствами:
1)интенсивностью, т. е. пределами изменения его силы (уровня);
2)шириной спектра частот (разность между максималь ной и минимальной частотами, находящимися на спектре сиг нала) ;
3)длительностью (равной разности между временем пре кращения сигнала и временем его начала).
Для сравнения различных сигналов между собой, а также для определения требований к устройствам для передачи сиг налов вводят условное обозначение объема сигнала, который вычисляется по следующей формуле:
V—HFT, |
(11.55) |
где V — объем сигнала; |
|
Я — интенсивность сигнала; |
|
F — ширина спектра частот, вложенных |
в сигнал; |
Т — длительность сигнала. |
|
Геометрически упомянутый объем образуется путем откла дывания отрезков, равных значениям H, F, Т, по трем взаим
но перпендикулярным |
осям |
координат. Тогда сигнал будет |
||||
иметь условный |
объем |
параллелепипеда: |
V=HFT |
(рис. 14). |
||
Общую |
схему |
системы |
связи для передачи |
информации |
||
можно представить в следующем виде (рис. |
15). |
|
||||
Так, например, при чтении книги источником |
информации |
|||||
является |
книга, |
передатчиком •— глаза, |
каналом связи — |
нервные волокна, приемником — кора головного мозга.
Устройство, преобразующее информацию в сигнал, назы вается передатчиком, а устройство, производящее обратное преобразование сигнала в информацию,— приемником.
Каналом связи называется совокупность устройств, пере дающих сигналы.
Если каждый отправленный сигнал дает на выходе канала связи точно такой же сигнал, то данный канал является ка налом без помех. Помехами называются всевозможные при чины искажений, приводящие к несовпадению сигнала на вы ходе с поданным сигналом на входе.
В горной промышленности каналами связи являются теле фонный кабель, электровозная троллея (при высокочастотной связи диспетчера ç машинистами электровозов), атмосфера
52
(при связи по раДйо), |
непосредственно горные |
породы (при* |
подземной интроскопии) |
и т. д. |
|
Всякий канал связи |
характеризуется своей |
пропускной |
способностью. |
|
|
Рис. 14. Объем сигнала
Пропускной способностью канала связи называется отно шение наибольшего возможного количества информации, ко торое может быть передано по каналу связи без искажений при наличии помех, к времени передачи, когда это время не ограниченно возрастает. Математически это можно записать следующим образом:
Ссобсцемис |
|
на ûtixoâd |
АО ftecoâe |
|
|
|
|
|
|
По/*ехи |
|
|
|
ß1 |
Коаиробание |
Напал |
мил |
сввіи |
||
Рис. 15. Схема |
передачи |
информации |
53
С 0 |
= Игл — è 2 |
t |
бит/сек, |
(ІІ.56) |
|
|
Г-»оо |
T |
|
|
|
где Со — пропускная способность канала связи; |
|
||||
M — общее |
количество |
всех |
возможных сообщений за |
||
время Т. |
|
|
|
|
|
Однако практически |
при |
вычислении пропускной |
способ |
ности каналов связи формулой (11.56) не пользуются. Прак тическое использование находит методика С. Голдмана, опу бликованная в работе [6].
В простейшем случае, когда последовательность переда ваемых сигналов не зависит друг от друга, т. е. сигналы мо гут передаваться по каналу связи в любом чередовании, ме тодика расчета пропускной способности имеет следующее со держание.
лов |
Если обозначить |
через |
bu Ь2, |
Ь„—длительности сигна |
|||
( / = 1 , 2, |
п), |
то составляется |
уравнение |
вида |
|||
|
W-bt |
+ w |
- b t + |
_ + |
w~bn— 1 = 0 , |
(11.57) |
|
где |
W — константа, |
зависящая |
от количества |
и длительности |
|||
|
сигналов. |
|
|
|
|
|
При решении уравнения (11.57) отыскивается наименоший
вещественный корень |
W. Пропускная |
способность канала свя |
|
зи определяется по выражению |
|
|
|
Co = |
log2 №, бит/ед. |
времени. |
(11.58) |
Пример 8. Требуется определить пропускную способность канала свя зи, по которому информация передается с помощью телеграфного кода, т. е. путем чередования точек и тире.
Таким образом, весь процесс передачи информации может быть сведен к передаче четырех сигналов различной длительности (табл. 6).
Длительность сигналов |
Т а б л и ц а 6 |
|
|
||
Вид сигнала |
Обозначе |
Длительность |
ние |
сигнала, ед . |
|
|
времени |
|
Точка |
Ьг |
2 |
Тире |
Ь, |
4 |
Промежуток м е ж д у буквами |
Ьз |
3 |
Промежуток между словами |
ь, |
6 |
В соответствии с выражением (11.57) имеем |
|
|
W~* + W-* + W-' |
+ W~e — 1 = 0. |
|
54
Из этого уравнения находим W =1,51. Пропускная способность канала
C 0 = l o g , |
1,51 = 0,6 бит/ед. |
времени |
|
|
|||
Пропускная способность канала связи при наличии флук- |
|||||||
туационных помех определяется по формуле |
|
|
|||||
|
|
|
|
|
|
|
(11.59) |
где С0' — пропускная |
способность |
канала |
связи, |
бит/сек; |
|||
Af.— полоса частот канала связи, гц; |
|
|
|
||||
Hс» Нв—соответственно |
средние |
интенсивности |
сигнала и |
||||
помех |
(шумов). |
|
|
|
|
|
|
Если полоса |
частот А^=3000 |
гц и |
интенсивность |
шумов |
|||
в 10 раз больше мощности сигнала, т. е. |
Нс/Нп = 0,1, |
то про |
|||||
пускная способность канала связи равна: |
|
|
|
||||
С0 ' = |
3000 log 2 (l +0,1) |
=411 |
битісек. |
|
|
||
Если при той же полосе частот мощность шумов в 100 раз |
|||||||
превышает мощность сигнала, т. е. Нс/Ип |
= 0,0\, |
пропускная |
|||||
способность канала равна: |
|
|
|
|
|
||
С о ' = 3000 log 2 (l+0,01)=4 2 |
бит/сек. |
|
|
||||
§ |
4. Кодирование |
информации |
|
|
|||
Кодированием |
называется операция |
перевода |
сообщения |
||||
в последовательно различимые сигналы. |
|
|
|
|
|||
Примером кодирования является телеграфный код Морзе, |
|||||||
служащий для перевода букв в сигналы |
(точки и тире). |
Если кодирование — это превращение сообщения в сигнал, то декодирование — это извлечение сообщения из сигнала. В общем случае можно сказать, что код — это алгоритм об разования сигнала.
Метод получения наиболее экономичного кода был пред ложен Р. М. Фено в 1949 г. Этот метод заключается в сле дующем.
Каждая буква кодируемого алфавита имеет определенную вероятность появления в тексте. Пусть все буквы расположе ны в порядке убывания этих вероятностей. Делим эти буквы на две группы так, чтобы суммарные вероятности каждой группы поменьше различались между собой. Обозначаем по лученные группы символами 0 и 1. Далее каждую подгруппу снова делим на две части с близкими суммарными вероятно стями и обозначаем нулем и единицей во втором разряде и т. д. Операция продолжается до тех пор, пока в каждой
55
группе не останется по одной букве. Рассмотрим простой при мер кодирования по методу Фено.
Пусть в тексте используются четыре греческие буквы а, ß, у, Ô. Вероятности появления каждой из этих букв соответст
венно |
равны |
0,5; |
0,3; 0,1; 0,1. |
|||
На |
рис. 16 дана |
графическая |
||||
иллюстрация построения |
кода |
|||||
Фено для указанных |
букв. По |
|||||
лученный код имеет вид |
|
|||||
|
|
а - * 0 |
|
|
|
|
|
|
ß-* 10 |
|
|
|
|
|
|
Y-> 110 |
|
|
||
|
|
8 ^ 1 1 1 |
|
|
||
|
Рассмотрим |
пример |
двоич |
|||
ной |
кодировки |
русского |
алфа |
|||
вита. |
Вероятности |
появления |
бѵкв характеризуются табл. 7 [11].
Код Фено для русского ал фавита имеет следующий вид Фено является однозначность (табл. 8).
Важнейшим свойством кода прочтения текстов, передавае мых по данному коду.
Например, если передана последовательность сигналов, выраженных двоичными знаками в следующем виде: 1011101101110100100101001000010001110110101110101, то, об ращаясь к табл. 8, мы совершенно однозначно, не получая никаких разночтений, установим, что здесь закодировано сло во «кибернетика». Результат декодирования выглядит сле дующим образом:
101110110 1110100100 101001000 0100 0111 0110 10111 0101
Следует отметить, что при кодировании по методу Фено декодирование всегда является однозначным (при отсутствии помех).
Подсчитаем, какое количество информации в среднем несет в себе одна (любая) буква русского алфавита. По формуле Шеннона и в соответствии с данными табл. 7 получаем:
56
|
|
|
|
Т а б л и ц а 7 |
|
|
Вероятности появления букв в русском тексте |
||||
Буква |
Вероятность |
Буква |
Вероятность |
||
появления |
появления |
||||
|
|
|
|||
Промежуток |
|
|
|
||
между |
словами |
0,145 |
я |
0,019 |
|
о |
|
0,095 |
ы |
0,016 |
|
е, |
ё |
0,074 |
3 |
0,015 |
|
а |
|
0,064 |
ь, ъ |
0,015 |
|
и |
|
0,064 |
6 |
0,015 |
|
т |
|
0,056 |
г |
0,014 |
|
H |
|
0,056 |
ч |
0,013 |
|
с |
|
0,047 |
й |
0.010 |
|
р |
|
0,041 |
X |
0,009 |
|
в |
|
0,039 |
ж |
0.007 |
|
л |
|
0,036 |
ю |
0,006 |
|
к |
|
0.029 |
ш |
0,006 |
|
M |
|
0,026 |
Ц |
0.0С4 |
|
д |
|
0,026 |
Щ |
0,003 |
|
п |
|
0,024 |
э |
0,003 |
|
У |
|
0,021 |
•ф |
0,002 |
|
П р и м е ч а н и е . |
Промежуток |
между словами |
условно считается |
буквой.
Т а б л и ц а 8
|
Код Фено для букв русского алфавита |
|
|||
Буква |
Код |
Буква |
Код |
|
|
(двоичные знаки) |
(двоичные |
знаки) |
|||
|
|
||||
Промежуток |
0 0 0 |
|
1 1 0 |
1 1 0 |
|
между словами |
я |
||||
о |
0 0 1 |
ы |
1 1 0 1 1 1 |
||
е, ё |
0 1 0 0 |
s |
1 1 1 0 0 0 |
||
а |
0 1 0 1 |
ь, ъ |
1 1 1 0 0 1 |
||
и |
0 1 1 0 |
б |
1 1 1 0 1 0 |
||
т |
0 1 1 1 |
г |
1 1 1 0 11 |
||
н |
1 0 0 0 |
ч |
1 1 1 1 0 0 |
||
с |
1 0 0 1 |
й |
1 1 1 1 О 1 0 |
||
р |
1 0 1 0 0 |
X |
1 1 1 1 0 11 |
||
в |
1 0 1 0 1 |
ж |
1 1 1 1 1 0 0 |
||
л |
1 0 1 1 0 |
ю |
1 1 1 1 1 0 1 |
||
к |
1 0 1 1 1 |
ш |
1 1 1 1 1 1 0 0 |
||
w |
1 1 0 0 0 |
Ц |
1 1 1 1 1 1 0 1 |
||
д |
1 1 0 0 1 0 |
Щ |
1 1 1 1 1 1 1 0 |
||
п |
1 1 0 0 11 |
э |
1 1 1 1 1 1 1 1 0 |
||
У |
1 1 0 1 0 0 |
ф |
1 1 1 1 1 1 1 1 1 |
57
|
32 |
/ = - |
2 A log, Л = — (0,145 log, 0,145 + |
- f 0,095 |
log2 0,0095 + 0,074log,0,074 + ... + |
+ |
0,002 log2 0,002)= 4,35 бита. |
Если бы все буквы алфавита имели равные вероятности появления в тексте, то каждая буква несла следующее коли
чество информации: |
^ |
max — |
|
І = 1 |
|
На самом же деле последовательные |
буквы конкретного |
алфавита не независимы. Сочетание букв «киберне...» вряд ли вызовет сомнение в следующей букве. Наличие в языках опре деленных закономерностей позволяет значительно уменьшить число двоичных единиц (битов) для передачи одной буквы.
В самом деле, приняв по телеграфу начало нового слова, например ст..., нельзя сказать, какие буквы последуют даль ше: может быть, передаваемое слово окажется «стойкой» или «стволом», может быть, «стоимостью», «степенью» или «строи тельством». Однако, если подсчитать на материале большого количества самых разнообразных текстов, сколько раз встре чается каждая буква алфавита после букв с и т, мы узнаем вероятность появления различных букв. И тогда окажется, что появление некоторых букв вслед за буквами с и г имеет боль шую вероятность (например, буквы е, о, а, р), других букв — меньшую (например, ы, в), а для многих букв вероятность будет вовсе равна нулю: ведь нельзя вспомнить ни одного слова, в котором за буквами ст следовали бы буквы б, г или щ. Значит, в передаваемом тексте появление тех или иных
букв |
не является |
«чисто случайным»; |
между последующими |
|
и предыдущими |
значениями передаваемых букв |
существует |
||
определенная взаимосвязь. |
|
|
||
Возможно подсчитать условную информацию 1Аі (Л2 ) по |
||||
явления следующей буквы (А2), если |
известна |
предыдущая |
||
(Ai). |
Далее необходимо вычислить информацию |
появления |
третьей |
буквы, зная все предыдущие ІАіА, |
(Л3 ) и т. д. |
||||
Тогда |
для п |
букв |
потребуется I(Alt |
А2, |
Ап) — I (А{) + |
|
+ ^At(Aï) |
+ ••• + |
іа>Аі ••• л л - і И п ) двоичных символов. Следова- |
||||
тельно, |
на одну |
букву в среднем придется при достаточно |
||||
больших п следующее число бит: |
|
|
||||
/(A1) |
+ |
IAL(A3) |
+ . . . + |
I A T M . . .An-V{An) |
I AtAf- |
An-l |
|
|
|
П |
|
|
|
58
Это следует |
из того, что все |
IА,А,---АІ-ІІАІ) |
|
положитель |
|||||
ны и не возрастают с ростом і. |
Тогда |
для |
достаточно |
боль |
|||||
ших і значение |
/дм.---лг-і(Л-) |
можно считать |
постоянным. |
||||||
Обозначим |
через |
/ m i l l предельное |
значение |
величины |
|||||
Л. А,— Ап-іі^п) |
|
(предел |
П-УОО), |
т. е. текст |
можно |
закодиро |
|||
вать так, чтобы среднее число двоичных символов |
на |
букву |
|||||||
было как угодно близко к / т і П . |
|
|
|
|
|
|
|||
Отношение |
/ш ,-„ к максимально возможной |
информации |
|||||||
одной буквы |
/„ах называется коэффициентом сжатия |
языка, |
|||||||
т. е. |
|
|
|
|
|
|
|
|
|
|
|
|
£ = - ^ - , |
|
|
|
(11.60) |
||
|
|
|
Лпах |
|
|
|
|
|
|
где k — коэффициент сжатия; |
|
|
|
|
|
|
|||
Лпах— информация, |
которую |
несет |
одна |
буква |
алфавита |
||||
при |
равной вероятности их появления |
в |
тексте. |
Таким образом, коэффициент сжатия отражает имеющую ся закономерность в построении слов данного языка. Если бы такой закономерности не было, то буквы в словах следовали бы друг за другом в хаотическом порядке и /тіп=ЛпахКоэф фициент сжатия в этом случае был бы равным 1.
В теории кодирования вводится еще одно понятие — избы точность языка. Численное значение избыточности языка определяется формулой
|
R=l—k, |
|
(11.61) |
|
|
где R — избыточность языка; |
|
|
|
|
|
k — коэффициент сжатия. |
|
|
|
|
|
Избыточность языка |
отражает существующий |
порядок |
в |
||
языке. Чем выше показатель R, тем выше этот |
порядок. |
|
|||
Подсчитаем величины |
k я R для русского |
языка. |
|
||
В нормальном тексте средняя длина слова |
составляет |
||||
обычно не более 7 букв. Проведя соответствующие |
подсчеты, |
||||
можно получить |
д7 (Л8 ) = 1,85 бита и принять / т і п |
= |
|||
= 1,85 бита. Тогда коэффициент |
сжатия |
|
|
|
|
log2 |
32 |
5 |
|
|
|
Избыточность равна |
|
|
|
|
|
# = 1 —0,37 = 0,63.
Отметим, что избыточность в значительной степени опре деляется тем, на основе какой литературы исследуются зави симости букв алфавита. Например, в специальной литературе много терминов, специфических выражений и т. д. Коэффи-
59