Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Ливенцев В.В. Кибернетика горных предприятий (основные положения) учеб. пособие

.pdf
Скачиваний:
9
Добавлен:
23.10.2023
Размер:
4.25 Mб
Скачать

Дифференциальная энтропия в соответствии с выраже­ нием (11.48) принимает вид

-foo

h (ex) =

I ptl

(x) log

dx.

 

 

 

J

 

b — a

 

Вынося постоянный множитель за знак интеграла, полу­

чаем

 

 

 

 

 

 

 

 

 

+ 00

 

 

 

А(е,) =

Г p„(x)dx.

 

(11.49)

 

 

b a J

 

 

 

 

 

 

—оо

 

 

 

Как было отмечено выше (равенство

(11.43)), имеем

 

j

/>6,(л:) cfo = 1.

 

 

В связи с этим

—оо

 

 

 

 

 

 

 

log (fr aj.

 

A(et) =

— log —

=

(11.50)

 

 

b —a

 

 

 

2. Случайная величина

с

нормальным

распределе­

нием — 82-

 

 

 

 

 

 

Плотность вероятности такой величины определяется вы­ ражением

2о*

ptl(x)=

6

,

(11.51)

 

а у

 

где а — математическое ожидание; а2 — дисперсия.

Дифференциальная энтропия в соответствии с выраже­ нием (11.48) принимает вид:

h(e2) = - Г рч(х) log

=

ах.

(11.52)

J

о ] / "

2тс

 

— оо

Произведем преобразования ç частью подынтегрального выражения;

5Q

 

2

 

 

{x-aY

,

 

 

 

 

 

 

2'2

- l o g о /

2 ^

 

log

о / 2 л

= log

е

 

 

 

 

 

 

 

 

 

 

— _

v

log e log a y

2к.

 

 

 

 

 

 

2a2

 

 

 

 

 

 

Теперь выражение (11.52) принимает вид

 

 

 

-f-OO

 

 

 

 

 

 

rfjc.

(11.53)

Л(г2) = —

#,(•*)

 

— — —

loge — log oY

2тс

 

 

 

2a2

 

 

 

 

 

 

Произведем упрощение данного выражения;

 

 

 

 

 

 

+00

 

 

 

 

 

 

 

a w =

j* ( - : ^ ^ - 2 loge-P :;(x)dx

+

 

 

+ j* log a |/

2-K-P4.X) dx

=

j* (x-ayp.,(x)dx

+

- c o

 

 

 

 

- ° °

 

 

 

 

 

 

 

 

4-00

 

 

 

 

 

 

 

+

log a ] / 2 ^

j

Ph{x)dx.

 

 

 

Замечая, что

 

 

 

 

 

 

 

 

+O0

 

 

 

 

-f-oo

 

 

 

 

\ (X - a)2

dx =

a2;

J /7„(*) Л* =

1,

 

получаем

 

 

 

 

 

 

 

 

 

A(e2) =

l£|5-

+ l o g a / 2 « =

l o g / e + l o g e 1^2*

=

 

 

= logo ]/2л:е =

log4,14

o.

 

 

(11.54)

§ 3. Сигнал и канал связи

Любая информация передается при помощи сигналов. Сигнал является отображением сообщения, материальным

носителем информации.

Сигналы окружают нас со всех сторон: это — телефонный звонок, сигнал светофора, изображение на экране телевизора, человеческая речь и т. д.

4* 51

Один и тот же объект может нести разные сигналы. Следовательно, в качестве сигналов используются не сами по себе объекты, а их состояния. Изменение состояния объекта образует сигнал. Соответствие между состоянием объекта и сигналом обычно задается на основе некоторого комплекса правил или алгоритма.

Сигнал обладает следующими свойствами:

1)интенсивностью, т. е. пределами изменения его силы (уровня);

2)шириной спектра частот (разность между максималь­ ной и минимальной частотами, находящимися на спектре сиг­ нала) ;

3)длительностью (равной разности между временем пре­ кращения сигнала и временем его начала).

Для сравнения различных сигналов между собой, а также для определения требований к устройствам для передачи сиг­ налов вводят условное обозначение объема сигнала, который вычисляется по следующей формуле:

V—HFT,

(11.55)

где V — объем сигнала;

 

Я — интенсивность сигнала;

 

F — ширина спектра частот, вложенных

в сигнал;

Т — длительность сигнала.

 

Геометрически упомянутый объем образуется путем откла­ дывания отрезков, равных значениям H, F, Т, по трем взаим­

но перпендикулярным

осям

координат. Тогда сигнал будет

иметь условный

объем

параллелепипеда:

V=HFT

(рис. 14).

Общую

схему

системы

связи для передачи

информации

можно представить в следующем виде (рис.

15).

 

Так, например, при чтении книги источником

информации

является

книга,

передатчиком •— глаза,

каналом связи —

нервные волокна, приемником — кора головного мозга.

Устройство, преобразующее информацию в сигнал, назы­ вается передатчиком, а устройство, производящее обратное преобразование сигнала в информацию,— приемником.

Каналом связи называется совокупность устройств, пере­ дающих сигналы.

Если каждый отправленный сигнал дает на выходе канала связи точно такой же сигнал, то данный канал является ка­ налом без помех. Помехами называются всевозможные при­ чины искажений, приводящие к несовпадению сигнала на вы­ ходе с поданным сигналом на входе.

В горной промышленности каналами связи являются теле­ фонный кабель, электровозная троллея (при высокочастотной связи диспетчера ç машинистами электровозов), атмосфера

52

(при связи по раДйо),

непосредственно горные

породы (при*

подземной интроскопии)

и т. д.

 

Всякий канал связи

характеризуется своей

пропускной

способностью.

 

 

Рис. 14. Объем сигнала

Пропускной способностью канала связи называется отно­ шение наибольшего возможного количества информации, ко­ торое может быть передано по каналу связи без искажений при наличии помех, к времени передачи, когда это время не­ ограниченно возрастает. Математически это можно записать следующим образом:

Ссобсцемис

 

на ûtixoâd

АО ftecoâe

 

 

 

 

По/*ехи

 

 

 

ß1

Коаиробание

Напал

мил

сввіи

Рис. 15. Схема

передачи

информации

53

С 0

= Игл — è 2

t

бит/сек,

(ІІ.56)

 

Г-»оо

T

 

 

 

где Со — пропускная способность канала связи;

 

M — общее

количество

всех

возможных сообщений за

время Т.

 

 

 

 

Однако практически

при

вычислении пропускной

способ­

ности каналов связи формулой (11.56) не пользуются. Прак­ тическое использование находит методика С. Голдмана, опу­ бликованная в работе [6].

В простейшем случае, когда последовательность переда­ ваемых сигналов не зависит друг от друга, т. е. сигналы мо­ гут передаваться по каналу связи в любом чередовании, ме­ тодика расчета пропускной способности имеет следующее со­ держание.

лов

Если обозначить

через

bu Ь2,

Ь„—длительности сигна­

( / = 1 , 2,

п),

то составляется

уравнение

вида

 

W-bt

+ w

- b t +

_ +

w~bn— 1 = 0 ,

(11.57)

где

W — константа,

зависящая

от количества

и длительности

 

сигналов.

 

 

 

 

 

При решении уравнения (11.57) отыскивается наименоший

вещественный корень

W. Пропускная

способность канала свя­

зи определяется по выражению

 

 

Co =

log2 №, бит/ед.

времени.

(11.58)

Пример 8. Требуется определить пропускную способность канала свя­ зи, по которому информация передается с помощью телеграфного кода, т. е. путем чередования точек и тире.

Таким образом, весь процесс передачи информации может быть сведен к передаче четырех сигналов различной длительности (табл. 6).

Длительность сигналов

Т а б л и ц а 6

 

Вид сигнала

Обозначе ­

Длительность

ние

сигнала, ед .

 

времени

Точка

Ьг

2

Тире

Ь,

4

Промежуток м е ж д у буквами

Ьз

3

Промежуток между словами

ь,

6

В соответствии с выражением (11.57) имеем

 

W~* + W-* + W-'

+ W~e 1 = 0.

 

54

Из этого уравнения находим W =1,51. Пропускная способность канала

C 0 = l o g ,

1,51 = 0,6 бит/ед.

времени

 

 

Пропускная способность канала связи при наличии флук-

туационных помех определяется по формуле

 

 

 

 

 

 

 

 

 

(11.59)

где С0' — пропускная

способность

канала

связи,

бит/сек;

Af.— полоса частот канала связи, гц;

 

 

 

Hс» Нв—соответственно

средние

интенсивности

сигнала и

помех

(шумов).

 

 

 

 

 

Если полоса

частот А^=3000

гц и

интенсивность

шумов

в 10 раз больше мощности сигнала, т. е.

Нсп = 0,1,

то про­

пускная способность канала связи равна:

 

 

 

С0 ' =

3000 log 2 (l +0,1)

=411

битісек.

 

 

Если при той же полосе частот мощность шумов в 100 раз

превышает мощность сигнала, т. е. Нсп

= 0,0\,

пропускная

способность канала равна:

 

 

 

 

 

С о ' = 3000 log 2 (l+0,01)=4 2

бит/сек.

 

 

§

4. Кодирование

информации

 

 

Кодированием

называется операция

перевода

сообщения

в последовательно различимые сигналы.

 

 

 

 

Примером кодирования является телеграфный код Морзе,

служащий для перевода букв в сигналы

(точки и тире).

Если кодирование — это превращение сообщения в сигнал, то декодирование — это извлечение сообщения из сигнала. В общем случае можно сказать, что код — это алгоритм об­ разования сигнала.

Метод получения наиболее экономичного кода был пред­ ложен Р. М. Фено в 1949 г. Этот метод заключается в сле­ дующем.

Каждая буква кодируемого алфавита имеет определенную вероятность появления в тексте. Пусть все буквы расположе­ ны в порядке убывания этих вероятностей. Делим эти буквы на две группы так, чтобы суммарные вероятности каждой группы поменьше различались между собой. Обозначаем по­ лученные группы символами 0 и 1. Далее каждую подгруппу снова делим на две части с близкими суммарными вероятно­ стями и обозначаем нулем и единицей во втором разряде и т. д. Операция продолжается до тех пор, пока в каждой

55

Рис. 66. П р и м е р построения ко- д« по методу Фено

группе не останется по одной букве. Рассмотрим простой при­ мер кодирования по методу Фено.

Пусть в тексте используются четыре греческие буквы а, ß, у, Ô. Вероятности появления каждой из этих букв соответст­

венно

равны

0,5;

0,3; 0,1; 0,1.

На

рис. 16 дана

графическая

иллюстрация построения

кода

Фено для указанных

букв. По­

лученный код имеет вид

 

 

 

а - * 0

 

 

 

 

 

ß-* 10

 

 

 

 

 

Y-> 110

 

 

 

 

8 ^ 1 1 1

 

 

 

Рассмотрим

пример

двоич­

ной

кодировки

русского

алфа­

вита.

Вероятности

появления

бѵкв характеризуются табл. 7 [11].

Код Фено для русского ал­ фавита имеет следующий вид Фено является однозначность (табл. 8).

Важнейшим свойством кода прочтения текстов, передавае­ мых по данному коду.

Например, если передана последовательность сигналов, выраженных двоичными знаками в следующем виде: 1011101101110100100101001000010001110110101110101, то, об­ ращаясь к табл. 8, мы совершенно однозначно, не получая никаких разночтений, установим, что здесь закодировано сло­ во «кибернетика». Результат декодирования выглядит сле­ дующим образом:

101110110 1110100100 101001000 0100 0111 0110 10111 0101

Следует отметить, что при кодировании по методу Фено декодирование всегда является однозначным (при отсутствии помех).

Подсчитаем, какое количество информации в среднем несет в себе одна (любая) буква русского алфавита. По формуле Шеннона и в соответствии с данными табл. 7 получаем:

56

 

 

 

 

Т а б л и ц а 7

 

Вероятности появления букв в русском тексте

Буква

Вероятность

Буква

Вероятность

появления

появления

 

 

 

Промежуток

 

 

 

между

словами

0,145

я

0,019

о

 

0,095

ы

0,016

е,

ё

0,074

3

0,015

а

 

0,064

ь, ъ

0,015

и

 

0,064

6

0,015

т

 

0,056

г

0,014

H

 

0,056

ч

0,013

с

 

0,047

й

0.010

р

 

0,041

X

0,009

в

 

0,039

ж

0.007

л

 

0,036

ю

0,006

к

 

0.029

ш

0,006

M

 

0,026

Ц

0.0С4

д

 

0,026

Щ

0,003

п

 

0,024

э

0,003

У

 

0,021

•ф

0,002

П р и м е ч а н и е .

Промежуток

между словами

условно считается

буквой.

Т а б л и ц а 8

 

Код Фено для букв русского алфавита

 

Буква

Код

Буква

Код

 

(двоичные знаки)

(двоичные

знаки)

 

 

Промежуток

0 0 0

 

1 1 0

1 1 0

между словами

я

о

0 0 1

ы

1 1 0 1 1 1

е, ё

0 1 0 0

s

1 1 1 0 0 0

а

0 1 0 1

ь, ъ

1 1 1 0 0 1

и

0 1 1 0

б

1 1 1 0 1 0

т

0 1 1 1

г

1 1 1 0 11

н

1 0 0 0

ч

1 1 1 1 0 0

с

1 0 0 1

й

1 1 1 1 О 1 0

р

1 0 1 0 0

X

1 1 1 1 0 11

в

1 0 1 0 1

ж

1 1 1 1 1 0 0

л

1 0 1 1 0

ю

1 1 1 1 1 0 1

к

1 0 1 1 1

ш

1 1 1 1 1 1 0 0

w

1 1 0 0 0

Ц

1 1 1 1 1 1 0 1

д

1 1 0 0 1 0

Щ

1 1 1 1 1 1 1 0

п

1 1 0 0 11

э

1 1 1 1 1 1 1 1 0

У

1 1 0 1 0 0

ф

1 1 1 1 1 1 1 1 1

57

 

32

/ = -

2 A log, Л = — (0,145 log, 0,145 +

- f 0,095

log2 0,0095 + 0,074log,0,074 + ... +

+

0,002 log2 0,002)= 4,35 бита.

Если бы все буквы алфавита имели равные вероятности появления в тексте, то каждая буква несла следующее коли­

чество информации:

^

max —

 

І = 1

 

На самом же деле последовательные

буквы конкретного

алфавита не независимы. Сочетание букв «киберне...» вряд ли вызовет сомнение в следующей букве. Наличие в языках опре­ деленных закономерностей позволяет значительно уменьшить число двоичных единиц (битов) для передачи одной буквы.

В самом деле, приняв по телеграфу начало нового слова, например ст..., нельзя сказать, какие буквы последуют даль­ ше: может быть, передаваемое слово окажется «стойкой» или «стволом», может быть, «стоимостью», «степенью» или «строи­ тельством». Однако, если подсчитать на материале большого количества самых разнообразных текстов, сколько раз встре­ чается каждая буква алфавита после букв с и т, мы узнаем вероятность появления различных букв. И тогда окажется, что появление некоторых букв вслед за буквами с и г имеет боль­ шую вероятность (например, буквы е, о, а, р), других букв — меньшую (например, ы, в), а для многих букв вероятность будет вовсе равна нулю: ведь нельзя вспомнить ни одного слова, в котором за буквами ст следовали бы буквы б, г или щ. Значит, в передаваемом тексте появление тех или иных

букв

не является

«чисто случайным»;

между последующими

и предыдущими

значениями передаваемых букв

существует

определенная взаимосвязь.

 

 

Возможно подсчитать условную информацию 1Аі 2 ) по­

явления следующей буквы 2), если

известна

предыдущая

(Ai).

Далее необходимо вычислить информацию

появления

третьей

буквы, зная все предыдущие ІАіА,

3 ) и т. д.

Тогда

для п

букв

потребуется I(Alt

А2,

Ап) — I (А{) +

+ ^At(Aï)

+ ••• +

іа>Аі ••• л л - і И п ) двоичных символов. Следова-

тельно,

на одну

букву в среднем придется при достаточно

больших п следующее число бит:

 

 

/(A1)

+

IAL(A3)

+ . . . +

I A T M . . .An-V{An)

I AtAf-

An-l

 

 

 

П

 

 

 

58

Это следует

из того, что все

IА,А,---АІ-ІІАІ)

 

положитель­

ны и не возрастают с ростом і.

Тогда

для

достаточно

боль­

ших і значение

/дм.---лг-і(Л-)

можно считать

постоянным.

Обозначим

через

/ m i l l предельное

значение

величины

Л. А,— Ап-іі^п)

 

(предел

П-УОО),

т. е. текст

можно

закодиро­

вать так, чтобы среднее число двоичных символов

на

букву

было как угодно близко к / т і П .

 

 

 

 

 

 

Отношение

/ш ,-„ к максимально возможной

информации

одной буквы

/„ах называется коэффициентом сжатия

языка,

т. е.

 

 

 

 

 

 

 

 

 

 

 

 

£ = - ^ - ,

 

 

 

(11.60)

 

 

 

Лпах

 

 

 

 

 

где k — коэффициент сжатия;

 

 

 

 

 

 

Лпахинформация,

которую

несет

одна

буква

алфавита

при

равной вероятности их появления

в

тексте.

Таким образом, коэффициент сжатия отражает имеющую­ ся закономерность в построении слов данного языка. Если бы такой закономерности не было, то буквы в словах следовали бы друг за другом в хаотическом порядке и /тіп=ЛпахКоэф­ фициент сжатия в этом случае был бы равным 1.

В теории кодирования вводится еще одно понятие — избы­ точность языка. Численное значение избыточности языка определяется формулой

 

R=l—k,

 

(11.61)

 

где R — избыточность языка;

 

 

 

 

k — коэффициент сжатия.

 

 

 

 

Избыточность языка

отражает существующий

порядок

в

языке. Чем выше показатель R, тем выше этот

порядок.

 

Подсчитаем величины

k я R для русского

языка.

 

В нормальном тексте средняя длина слова

составляет

обычно не более 7 букв. Проведя соответствующие

подсчеты,

можно получить

д7 8 ) = 1,85 бита и принять / т і п

=

= 1,85 бита. Тогда коэффициент

сжатия

 

 

 

log2

32

5

 

 

 

Избыточность равна

 

 

 

 

 

# = 1 —0,37 = 0,63.

Отметим, что избыточность в значительной степени опре­ деляется тем, на основе какой литературы исследуются зави­ симости букв алфавита. Например, в специальной литературе много терминов, специфических выражений и т. д. Коэффи-

59

Соседние файлы в папке книги из ГПНТБ