mishev / Копия В.В. Лидовский - Теория Информации

I uPRAVNENIE 14

d.S.W. X RAWNA KOLI^ESTWU \GERBOW", WYPAW[IH NA DWUH IDEALXNYH MONETKAH. nAJTI \NTROPI@ X. pRIDUMATX MINIMALXNYJ KOD DLQ X, WY- ^ISLITX EGO SREDN@@ DLINU I OBOSNOWATX EGO MINIMALXNOSTX.

I uPRAVNENIE 15

d.S.W. X ZADANA RASPREDELENIEM P (X = 2n) = 1=2n, n = 1; 2; : : : nAJTI \NTROPI@ \TOJ D.S.W. pRIDUMATX MINIMALXNYJ KOD DLQ X, WY^ISLITX EGO SREDN@@ DLINU I OBOSNOWATX EGO MINIMALXNOSTX.

I uPRAVNENIE 16

pRO D.S.W. X IZWESTNO, ^TO EE ZNA^ENIQMI QWLQ@TSQ BUKWY KIRILLICY. pROIZWEDEN RQD POSLEDOWATELXNYH IZMERENIJ X, REZULXTAT KOTORYH | \teoriqinformacii". sOSTAWITX NA OSNOWANII \TOGO REZULXTATA PRIBLIZITELXNYJ ZAKON RASPREDELENIQ WEROQTNOSTEJ \TOJ D. S. W. I OCENITX MINIMALXNU@ SREDN@@ DLINU KODOW DLQ X.

9. sEMANTI^ESKAQ INFORMACIQ

w 50-H GODAH XX WEKA POQWILISX PERWYE POPYTKI OPREDELENIQ ABSOL@TNOGO INFORMACIONNOGO SODERVANIQ PREDLOVENIJ ESTESTWENNOGO QZYKA. sTOIT OTMETITX, ^TO SAM {ENNON ODNAVDY ZAMETIL, ^TO SMYSL SOOB]ENIJ NE IMEET NIKAKOGO OTNO[ENIQ K EGO TEORII INFORMACII, CELIKOM POSTROENNOJ NA POLOVENIQH TEORII WEROQTNOSTEJ. nO EGO SPOSOB TO^NOGO IZMERENIQ INFORMACII NAWODIL NA MYSLX O WOZMOVNOSTI SU]E- STWOWANIQ SPOSOBOW TO^NOGO IZMERENIQ INFORMACII BOLEE OB]EGO WIDA, NAPRIMER, INFORMACII IZ PREDLOVENIJ ESTESTWENNOGO QZYKA. pRIMEROM ODNOJ IZ TAKIH MER QWLQETSQ FUNKCIQ inf(s) = log2 p(s), GDE s | \TO PREDLOVENIE, SMYSLOWOE SODERVANIE KOTOROGO IZMERQETSQ, p(s) | WEROQTNOSTX ISTINNOSTI s. wOT NEKOTORYE SWOJSTWA \TOJ FUNKCIIMERY:

1)ESLI s1 ) s2 (IZ s1 SLEDUET s2) | ISTINNO, TO inf(s1) > inf(s2);

2)inf(s) > 0;

3)ESLI s | ISTINNO, TO inf(s) = 0;

4) inf(s1s2) = inf(s1) + inf(s2) , p(s1 s2) = p(s1)p(s2), T. E.

NEZAWISIMOSTI s1 I s2.

zNA^ENIE \TOJ FUNKCIQ-MERY BOLX[E DLQ PREDLOVENIJ, ISKL@^A- @]IH BOLX[EE KOLI^ESTWO WOZMOVNOSTEJ. pRIMER: IZ s1 | \a > 3" I s2 | \a = 7" SLEDUET, ^TO s2 ) s1 ILI inf(s2) > inf(s1); QSNO, ^TO s2 ISKL@^AET BOLX[E WOZMOVNOSTEJ, ^EM s1.

dLQ IZMERENIQ SEMANTI^ESKOJ INFORMACII TAKVE ISPOLXZUETSQ FUNKCIQ-MERA cont(s) = 1 p(s). qSNO, ^TO cont(s) = 1 2 inf(s) ILI inf(s) = log2(1 cont(s)).

20

I uPRAVNENIE 17

wY^ISLITX inf(s) I cont(s) PREDLOVENIQ s1, PRO KOTOROE IZWESTNO, ^TO ONO DOSTOWERNO NA 50%, I PREDLOVENIQ s2, DOSTOWERNOSTX KOTOROGO 25%.

10. sVATIE INFORMACII

cELX SVATIQ | UMENX[ENIE KOLI^ESTWA BIT, NEOBHODIMYH DLQ HRANENIQ ILI PEREDA^I ZADANNOJ INFORMACII, ^TO DAET WOZMOVNOSTX PEREDAWATX SOOB]ENIQ BOLEE BYSTRO I HRANITX BOLEE \KONOMNO I OPERATIWNO (POSLEDNEE OZNA^AET, ^TO OPERACIQ IZWLE^ENIQ DANNOJ INFORMACII S USTROJSTWA EE HRANENIQ BUDET PROHODITX BYSTREE, ^TO WOZMOVNO, ESLI SKOROSTX RASPAKOWKI DANNYH WY[E SKOROSTI S^ITYWANIQ DANNYH S NOSITELQ INFORMACII). sVATIE POZWOLQET, NAPRIMER, ZAPISATX BOLX[E INFORMACII NA DISKETU, \UWELI^ITX" RAZMER VESTKOGO DISKA, USKORITX RABOTU S MODEMOM I T.D. pRI RABOTE S KOMPX@TERAMI [IROKO ISPOLXZU- @TSQ PROGRAMMY-ARHIWATORY DANNYH FORMATA ZIP, GZ, ARJ I DRUGIH. mETODY SVATIQ INFORMACII BYLI RAZRABOTANY KAK MATEMATI^ESKAQ TEORIQ, KOTORAQ DOLGOE WREMQ (DO PERWOJ POLOWINY 80-H GODOW), MALO ISPOLXZOWALASX W KOMPX@TERAH NA PRAKTIKE.

sVATIE DANNYH NE MOVET BYTX BOLX[IM NEKOTOROGO TEORETI^ESKIE PREDELA. dLQ FORMALXNOGO OPREDELENIQ \TOGO PREDELA RASSMATRIWAEM L@BOE INFORMACIONNOE SOOB]ENIE DLINY n KAK POSLEDOWATELXNOSTX NEZAWISIMYH, ODINAKOWO RASPREDELENNYH D.S.W. Xi ILI KAK WYBORKI DLINY n ZNA^ENIJ ODNOJ D.S.W. X.

dOKAZANO [20], ^TO SREDNEE KOLI^ESTWO BIT, PRIHODQ]IHSQ NA ODNO KODIRUEMOE ZNA^ENIE D. S. W., NE MOVET BYTX MENX[IM, ^EM \NTROPIQ \TOJ D.S.W., T.E. ML(X) > HX DLQ L@BOJ D.S.W. X I L@BOGO EE KODA.

kROME TOGO, DOKAZANO [20] UTWERVDENIE O TOM, ^TO SU]ESTWUET TAKOE KODIROWANIE ({ENNONA-f\NO, Fano), ^TO HX > ML(X) 1.

rASSMOTRIM D.S.W. X1 I X2, NEZAWISIMYE I ODINAKOWO RASPREDELENNYE. HX1 = HX2 I I(X1; X2) = 0, SLEDOWATELXNO,

H(X1; X2) = HX1 + HX2 I(X1; X2) = 2HX1:

DLQ \TOGO VE KODA.

21

tAKIM OBRAZOM, DOKAZANA OSNOWNAQ TEOREMA O KODIROWANII PRI OT-

SUTSTWII POMEH, A IMENNO TO, ^TO S ROSTOM DLINY n SOOB]ENIQ, PRI KODIROWANII METODOM {ENNONA-f\NO WSEGO SOOB]ENIQ CELIKOM SREDNEE KOLI^ESTWO BIT NA EDINICU SOOB]ENIQ BUDET SKOLX UGODNO MALO OTLI- ^ATXSQ OT \NTROPII EDINICY SOOB]ENIQ. pODOBNOE KODIROWANIE PRAKTI- ^ESKI NE REALIZUEMO IZ-ZA TOGO, ^TO S ROSTOM DLINY SOOB]ENIQ TRUDOEMKOSTX POSTROENIQ \TOGO KODA STANOWITSQ NEDOPUSTIMO BOLX[OJ. kROME TOGO, TAKOE KODIROWANIE DELAET NEWOZMOVNYM OTPRAWKU SOOB]ENIQ PO ^ASTQM, ^TO NEOBHODIMO DLQ NEPRERYWNYH PROCESSOW PEREDA^I DANNYH. dOPOLNITELXNYM NEDOSTATKOM \TOGO SPOSOBA KODIROWANIQ QWLQETSQ NEOBHODIMOSTX OTPRAWKI ILI HRANENIQ SOBSTWENNO POLU^ENNOGO KODA WMESTE S EGO ISHODNOJ DLINOJ, ^TO SNIVAET \FFEKT OT SVATIQ. nA PRAKTIKE DLQ POWY[ENIQ STEPENI SVATIQ ISPOLXZU@T METOD BLOKIROWANIQ.

pO WYBRANNOMU ZNA^ENI@ " > 0 MOVNO WYBRATX TAKOE s, ^TO ESLI RAZBITX WSE SOOB]ENIE NA BLOKI DLINOJ s (WSEGO BUDET n=s BLOKOW), TO KODIROWANIEM {ENNONA-f\NO TAKIH BLOKOW, RASSMATRIWAEMYH KAK EDINICY SOOB]ENIQ, MOVNO SDELATX SREDNEE KOLI^ESTWO BIT NA EDINICU SOOB]ENIQ BOLX[IM \NTROPII MENEE, ^EM NA ". dEJSTWITELXNO, PUSTX

~

ML1(Y1) 6 HX1 + 1=s;

T.E. DOSTATO^NO BRATX s = 1=". mINIMUM s PO ZADANNOMU " MOVET BYTX GORAZDO MENX[IM 1=".

pRIMER. pUSTX D. S. W. X1; X2; : : : Xn NEZAWISIMY I ODINAKOWO RASPREDELENY I MOGUT PRINIMATX TOLXKO DWA ZNA^ENIQ P (Xi = 0) = p = 3=4 I P (Xi = 1) = q = 1=4 PRI i OT 1 DO n. tOGDA

mINIMALXNOE KODIROWANIE ZDESX | \TO KODY 0 I 1 S DLINOJ 1 BIT KAVDYJ. pRI TAKOM KODIROWANII KOLI^ESTWO BIT W SREDNEM NA EDINICU SOOB]ENIQ RAWNO 1. rAZOBXEM SOOB]ENIE NA BLOKI DLINY 2. zAKON RASPRE-

DELENIQ WEROQTNOSTEJ I KODIROWANIE DLQ MERNOJ D S W ~ 1 2

2- . . . X = (X ; X )

|

22

tOGDA PRI TAKOM MINIMALXNOM KODIROWANII KOLI^ESTWO BIT W SREDNEM NA EDINICU SOOB]ENIQ BUDET UVE

T.E. MENX[E, ^EM DLQ NEBLO^NOGO KODIROWANIQ. dLQ BLOKOW DLINY 3 KOLI^ESTWO BIT W SREDNEM NA EDINICU SOOB]ENIQ MOVNO SDELATX 0:823, DLQ BLOKOW DLINY 4 | 0:818 I T.D.

wSE IZLOVENNOE RANEE PODRAZUMEWALO, ^TO RASSMATRIWAEMYE D.S.W. KODIRU@TSQ TOLXKO DWUMQ ZNA^ENIQMI (OBY^NO 0 I 1). pUSTX D.S.W. KO-

fORMULY TEORETI^ESKIH PRIDELOW UROWNQ SVATIQ, RASSMOTRENNYE RANEE, ZADA@T PREDEL DLQ SREDNEJ DLINY KODA NA EDINICU SOOB]ENIJ, PEREDAWAEMYH MNOGO RAZ, T.E. ONI NI^EGO NE GOWORQT O NIVNEJ GRANICE UROWNQ SVATIQ, KOTORAQ MOVET DOSTIGATXSQ NA NEKOTORYH SOOB]ENIQH I BYTX MENX[EJ \NTROPII D.S.W., REALIZU@]EJ SOOB]ENIE.

11. pROSTEJ[IE ALGORITMY SVATIQ INFORMACII

mETOD {ENNONA-f\NO SOSTOIT W SLEDU@]EM, ZNA^ENIQ D.S.W. RASPOLAGA@T W PORQDKE UBYWANIQ IH WEROQTNOSTEJ, A ZATEM POSLEDOWATELXNO DELQT NA DWE ^ASTI S PRIBLIZITELXNO RAWNYMI WEROQTNOSTQMI, K KODU PERWOJ ^ASTI DOBAWLQ@T 0, A K KODU WTOROJ | 1.

dLQ PRED[ESTWU@]EGO PRIMERA POLU^IM

e]E ODIN PRIMER. kOD SOSTAWLQETSQ POSLE SORTIROWKI, T. E. POSLE PERESTANOWKI ZNA^ENIJ B I C.

mETOD hAFFMENA (Hu man) RAZRABOTAN W 1952 G. oN BOLEE PRAKTI- ^EN I NIKOGDA PO STEPENI SVATIQ NE USTUPAET METODU {ENNONA-f\NO, BOLEE TOGO, ON SVIMAET MAKSIMALXNO PLOTNO. kOD STROITSQ PRI POMO]I

23

DWOI^NOGO (BINARNOGO) DEREWA. wEROQTNOSTI ZNA^ENIJ D.S.W. PRIPISYWA- @TSQ EGO LISTXQM; WSE DEREWO STROITSQ, OPIRAQSX NA LISTXQ. wELI^INA, PRIPISANNAQ K UZLU DEREWA, NAZYWAETSQ WESOM UZLA. dWA LISTA S NAIMENX[IMI WESAMI SOZDA@T RODITELXSKIJ UZEL S WESOM, RAWNYM SUMME IH WESOW; W DALXNEJ[EM \TOT UZEL U^ITYWAETSQ NARAWNE S OSTAW[IMISQ LISTXQMI, A OBRAZOWAW[IE EGO UZLY OT TAKOGO RASSMOTRENIQ USTRANQ- @TSQ. pOSLE POSTROJKI KORNQ NUVNO PRIPISATX KAVDOJ IZ WETWEJ, ISHODQ]IH IZ RODITELXSKIH UZLOW, ZNA^ENIQ 0 ILI 1. kOD KAVDOGO ZNA^ENIQ D. S. W. | \TO ^ISLO, POLU^AEMOE PRI OBHODE WETWEJ OT KORNQ K LISTU, SOOTWETSTWU@]EMU DANNOMU ZNA^ENI@.

dLQ METODOW hAFFMENA I {ENNONA-f\NO KAVDYJ RAZ WMESTE S SOBSTWENNO SOOB]ENIEM NUVNO PEREDAWATX I TABLICU KODOW. nAPRIMER, DLQ SLU^AQ IZ PRIMERA 2 NUVNO SOOB]ITX, ^TO KODU 10 SOOTWETSTWUET SIMWOL C, KODU 0 | A I T.D.

pOSTROIM KODY hAFFMENA DLQ ZNA^ENIJ D.S.W. IZ DWUH PREDYDU]IH PRIMEROW.

ML1(X) = ML(X) = 1:6 BIT/SIM.

I uPRAVNENIE 18

wY^ISLITX 1 ~ DLQ BLO^NOGO KODA hAFFMENA DLQ dLINA BLOKA

ML (X) X. | 2 BITA. d.S.W. X BERETSQ IZ POSLEDNEGO PRIMERA.

I uPRAVNENIE 19

wY^ISLITX HX I ML(X) DLQ KODOW hAFFMENA I {ENNONA-f\NO DLQ X.

24

d.S.W. X ZADAETSQ SLEDU@]IM RASPREDELENIEM WEROQTNOSTEJ:

12. aRIFMETI^ESKOE KODIROWANIE

aLGORITM KODIROWANIQ hAFFMENA, W LU^[EM SLU^AE, NE MOVET PEREDAWATX NA KAVDYJ SIMWOL SOOB]ENIQ MENEE ODNOGO BITA INFORMACII. pREDPOLOVIM, IZWESTNO, ^TO W SOOB]ENII, SOSTOQ]EM IZ NULEJ I EDINIC, EDINICY WSTRE^A@TSQ W 10 RAZ ^A]E NULEJ. pRI KODIROWANII METODOM hAFFMENA I NA 0 I NA 1 PRIDETSQ TRATITX NE MENEE ODNOGO BITA. nO \NTROPIQ D. S. W., GENERIRU@]EJ TAKIE SOOB]ENIQ 0:469 BIT/SIM. mETOD hAFFMENA DAET DLQ MINIMALXNOGO SREDNEGO KOLI^ESTWA BIT NA ODIN SIMWOL SOOB]ENIQ ZNA^ENIE 1 BIT. hOTELOSX BY IMETX TAKU@ SHEMU KODIROWANIQ, KOTORAQ POZWOLQLA BY KODIROWATX NEKOTORYE SIMWOLY MENEE ^EM ODNIM BITOM. oDNOJ IZ LU^[IH SREDI TAKIH SHEM QWLQETSQ ARIFMETI^ESKOE KODIROWANIE, RAZRABOTANNOE W 70-H GODAH XX WEKA.

pO ISHODNOMU RASPREDELENI@ WEROQTNOSTEJ DLQ WYBRANNOJ DLQ KODIROWANIQ D. S. W. STROITSQ TABLICA, SOSTOQ]AQ IZ PERESEKA@]IHSQ TOLXKO W GRANI^NYH TO^KAH OTREZKOW DLQ KAVDOGO IZ ZNA^ENIJ \TOJ D.S.W.; OB_EDINENIE \TIH OTREZKOW DOLVNO OBRAZOWYWATX OTREZOK [0,1], A IH DLINY DOLVNY BYTX PROPORCIONALXNY WEROQTNOSTQM SOOTWETSTWU- @]IH ZNA^ENIJ D. S. W. aLGORITM KODIROWANIQ ZAKL@^AETSQ W POSTROENII OTREZKA, ODNOZNA^NO OPREDELQ@]EGO DANNU@ POSLEDOWATELXNOSTX ZNA^ENIJ D.S.W. zATEM DLQ POSTROENNOGO OTREZKA NAHODITSQ ^ISLO, PRINADLEVA]EE EGO WNUTRENNEJ ^ASTI I RAWNOE CELOMU ^ISLU, DELENNOMU NA MINIMALXNO WOZMOVNU@ POLOVITELXNU@ CELU@ STEPENX DWOJKI. |TO ^ISLO I BUDET KODOM DLQ RASSMATRIWAEMOJ POSLEDOWATELXNOSTI. wSE WOZMOVNYE KONKRETNYE KODY | \TO ^ISLA STROGO BOLX[IE NULQ I STROGO MENX[IE ODNOGO, PO\TOMU MOVNO OTBRASYWATX LIDIRU@]IJ NOLX I DESQTI^NU@ TO^KU, NO NUVEN E]E ODIN SPECIALXNYJ KOD-MARKER, SIGNALIZIRU@]IJ O KONCE SOOB]ENIQ. oTREZKI STROQTSQ TAK. eSLI IMEETSQ OTREZOK DLQ SOOB]ENIQ DLINY n 1, TO DLQ POSTROENIQ OTREZKA DLQ SOOB- ]ENIQ DLINY n, RAZBIWAEM EGO NA STOLXKO VE ^ASTEJ, SKOLXKO ZNA^ENIJ IMEET RASSMATRIWAEMAQ D.S.W. |TO RAZBIENIE DELAETSQ SOWER[ENNO TAKVE KAK I SAMOE PERWOE (S SOHRANENIEM PORQDKA). zATEM WYBIRAETSQ IZ POLU^ENNYH OTREZKOW TOT, KOTORYJ SOOTWETSTWUET ZADANNOJ KONKRETNOJ POSLEDOWATELXNOSTI DLINY n.

pRINCIPIALXNOE OTLI^IE \TOGO KODIROWANIQ OT RASSMOTRENNYH RANEE METODOW W EGO NEPRERYWNOSTI, T. E. W NENUVNOSTI BLOKIROWANIQ. |FFEKTIWNOSTX ARIFMETI^ESKOGO KODIROWANIQ RASTET S ROSTOM DLINY

25

SVIMAEMOGO SOOB]ENIQ (DLQ KODIROWANIQ hAFFMENA ILI {ENNONA-f\NO \TOGO NE PROISHODIT). hOTQ ARIFMETI^ESKOE KODIROWANIE DAET OBY^NO LU^[EE SVATIE, ^EM KODIROWANIE hAFFMENA, ONO POKA ISPOLXZUETSQ NA PRAKTIKE SRAWNITELXNO REDKO, T.K. ONO POQWILOSX GORAZDO POZVE I TREBUET BOLX[IH WY^ISLITELXNYH RESURSOW.

pRI SVATII ZADANNYH DANNYH, NAPRIMER, IZ FAJLA WSE RASSMOTRENNYE METODY TREBU@T DWUH PROHODOW. pERWYJ DLQ SBORA ^ASTOT SIMWOLOW, ISPOLXZUEMYH KAK PRIBLIVENNYE ZNA^ENIQ WEROQTNOSTEJ SIMWOLOW, I WTOROJ DLQ SOBSTWENNO SVATIQ.

pRIMER ARIFMETI^ESKOGO KODIROWANIQ. pUSTX D.S.W. X MOVET PRINIMATX TOLXKO DWA ZNA^ENIQ 0 I 1 S WEROQTNOSTQMI 2/3 I 1/3 SOOTWETSTWENNO. sOPOSTAWIM ZNA^ENI@ 0 OTREZOK [0,2/3], A 1 | [2/3,1]. tOGDA

DLQ D S W ~

. . . X,

sREDNEE KOLI^ESTWO BIT NA EDINICU SOOB]ENIQ DLQ ARIFMETI^E- SKOGO KODIROWANIQ POLU^ILOSX MENX[E, ^EM \NTROPIQ. |TO SWQZANO S TEM, ^TO W RASSMOTRENNOJ PROSTEJ[EJ SHEME KODIROWANIQ, NE OPISAN KOD-MARKER KONCA SOOB]ENIQ, WWEDENIE KOTOROGO NEMINUEMO SDELAET \TO SREDNEE KOLI^ESTWO BIT BOLX[IM \NTROPII.

pOLU^ENIE ISHODNOGO SOOB]ENIQ IZ EGO ARIFMETI^ESKOGO KODA PROISHODIT PO SLEDU@]EMU ALGORITMU.

26

{AG 1. w TABLICE DLQ KODIROWANIQ ZNA^ENIJ D. S. W. OPREDELQETSQ INTERWAL, SODERVA]IJ TEKU]IJ KOD, | PO \TOMU INTERWALU ODNOZNA^NO OPREDELQETSQ ODIN SIMWOL ISHODNOGO SOOB]ENIQ. eSLI \TOT SIMWOL | \TO MARKER KONCA SOOB]ENIQ, TO KONEC.

{AG 2. iZ TEKU]EGO KODA WY^ITAETSQ NIVNQQ GRANICA SODERVA]EGO EGO INTERWALA, POLU^ENNAQ RAZNOSTX DELITSQ NA DLINU \TOGO VE INTERWALA. pOLU^ENNOE ^ISLO S^ITAETSQ NOWYM TEKU]IM ZNA^ENIEM KODA. pEREHOD K [AGU 1.

I uPRAVNENIE 20

wY^ISLITX SREDNEE KOLI^ESTWO BIT NA EDINICU SVATOGO SOOB]ENIQ O ZNA^ENII KAVDOJ IZ D. S. W., IZ ZADANNYH SLEDU@]IMI RASPREDELENIQMI WEROQTNOSTEJ, PRI SVATII METODAMI {ENNONA-f\NO, hAFFMENA I ARIFMETI^ESKIM.

I uPRAVNENIE 21

wY^ISLITX DLINY KODOW hAFFMENA I ARIFMETI^ESKOGO DLQ SOOB]ENIQ AAB, POLU^ENNOGO OT D.S.W. X SO SLEDU@]IM RASPREDELENIEM WEROQT-

NOSTEJ P (X = A) = 1=3, P (X = B) = 2=3.

I uPRAVNENIE 22

sOSTAWITX ARIFMETI^ESKIJ KOD DLQ SOOB]ENIQ BAABC, POLU^ENNOGO OT D.S.W. X SO SLEDU@]IM RASPREDELENIEM WEROQTNOSTEJ P (X = A) = 1=4, P (X = B) = 1=2, P (X = C) = 1=4. kAKOW BUDET ARIFMETI^ESKIJ KOD DLQ \TOGO VE SOOB]ENIQ, ESLI X RASPREDELENA PO ZAKONU P (X = A) = 1=3, P (X = B) = 7=15, P (X = C) = 1=5?

I uPRAVNENIE 23

d.S.W. X MOVET PRINIMATX TRI RAZLI^NYH ZNA^ENIQ. pRI POSTROENII BLO^NOGO KODA S DLINOJ BLOKA 4 DLQ X NEOBHODIMO BUDET RASSMOTRETX

D S W ~ WYBORKU ^ETYREH ZNA^ENIJ sKOLXKO RAZLI^NYH ZNA^E

. . . X | X. -

NIJ MOVET IMETX ~ eSLI S^ITATX SLOVNOSTX POSTROENIQ KODA PRO

X? -

PORCIONALXNOJ KOLI^ESTWU RAZLI^NYH ZNA^ENIJ KODIRUEMOJ D. S. W., TO WO SKOLXKO RAZ SLOVNEE STROITX BLO^NYJ KOD DLQ X PO SRAWNENI@ S NEBLO^NYM?

I uPRAVNENIE 24

sOSTAWITX KODY hAFFMENA, BLO^NYJ hAFFMENA (DLQ BLOKOW DLINY 2 I 3) I ARIFMETI^ESKIJ DLQ SOOB]ENIQ ABAAAB, WY^ISLITX IH DLINY.

27

pRIBLIZITELXNYJ ZAKON RASPREDELENIQ WEROQTNOSTEJ D.S.W., SGENERIROWAW[EJ SOOB]ENIE, OPREDELITX ANALIZOM SOOB]ENIQ.

13. aDAPTIWNYE ALGORITMY SVATIQ. kODIROWANIE hAFFMENA

qWLQETSQ PRAKTI^NYM, ODNOPROHODNYM, NE TREBU@]IM PEREDA^I TABLICY KODOW. eGO SUTX W ISPOLXZOWANII ADAPTIWNOGO ALGORITMA, T.E. ALGORITMA, KOTORYJ PRI KAVDOM SOPOSTAWLENII SIMWOLU KODA, KROME TOGO, IZMENQET WNUTRENNIJ HOD WY^ISLENIJ TAK, ^TO W SLEDU@]IJ RAZ \TOMU VE SIMWOLU MOVET BYTX SOPOSTAWLEN DRUGOJ KOD, T.E. PROISHODIT ADAPTACIQ ALGORITMA K POSTUPA@]IM DLQ KODIROWANIQ SIMWOLAM. pRI DEKODIROWANII PROISHODIT ANALOGI^NYJ PROCESS.

w NA^ALE RABOTY ALGORITMA DEREWO KODIROWANIQ SODERVIT TOLXKO ODIN SPECIALXNYJ SIMWOL, WSEGDA IME@]IJ ^ASTOTU 0. oN NEOBHODIM DLQ ZANESENIQ W DEREWO NOWYH SIMWOLOW: POSLE NEGO KOD SIMWOLA PEREDAETSQ NEPOSREDSTWENNO. oBY^NO TAKOJ SIMWOL NAZYWA@T escapeSIMWOLOM (hESCi). rAS[IRENNYJ ASCII KODIRU@T KAVDYJ SIMWOL 8- BITNYM ^ISLOM, T.E. ^ISLOM OT 0 DO 255. pRI POSTROENII DEREWA KODIROWANIQ NEOBHODIMO DLQ WOZMOVNOSTI PRAWILXNOGO DEKODIROWANIQ KAK-TO UPORQDO^IWATX STRUKTURU DEREWA. rASPOLOVIM LISTXQ DEREWA W PORQDKE WOZRASTANIQ ^ASTOT I ZATEM W PORQDKE WOZRASTANIQ STANDARTNYH KODOW SIMWOLOW. uZLY SOBIRA@TSQ SLEWA NAPRAWO BEZ PROPUSKOW. lEWYE WETWI POME^A@TSQ 0, A PRAWYE | 1.

rASSMOTRIM PROCESS POSTROENIQ KODOW PO ADAPTIWNOMU ALGORITMU hAFFMENA DLQ SOOB]ENIQ ACCBCAAABC, KOTOROE SOOTWETSTWUET WYBORKE 10-I ZNA^ENIJ D.S.W. X IZ 2-GO PRIMERA NA POSTROENIE NEADAP-

28

zDESX L1(ACCBCAAABC) = 4:1 BIT/SIM. eSLI NE ISPOLXZOWATX SVATIQ, TO L1(ACCBCAAABC) = 8 BIT/SIM. dLQ RASSMATRIWAEMOJ D.S.W. RANEE BYLI POLU^ENY ZNA^ENIQ ML1(X) = 1:6 BIT/SIM I HX 1:523 BIT/SIM. nO S ROSTOM DLINY SOOB]ENIQ SREDNEE KOLI^ESTWO BIT NA SIMWOL SOOB]ENIQ PRI ADAPTIWNOM ALGORITME KODIROWANIQ BUDET MALO OTLI^ATXSQ OT ZNA^ENIQ, POLU^ENNOGO PRI ISPOLXZOWANII NEADAPTIWNOGO METODA hAFFMENA ILI {ENNONA-f\NO, T.K. ALFAWIT SIMWOLOW OGRANI^EN I POLNYJ KOD KAVDOGO SIMWOLA NUVNO PEREDAWATX TOLXKO ODIN RAZ.

tEPERX RASSMOTRIM PROCESS DEKODIROWANIQ SOOB]ENIQ 'A'0'C'100 'B'1001010100101. zDESX I DALEE SIMWOL W APOSTOFAH OZNA^AET WOSEMX BIT, PREDSTAWLQ@]IH SOBOJ ZAPISX DWOI^NOGO ^ISLA, NOMERA SIMWOLA, W TABLICE ASCII+. w NA^ALE DEKODIROWANIQ DEREWO hAFFMENA SODERVIT TOLXKO escape-SIMWOL S ^ASTOTOJ 0. s RASKODIROWANIEM KAVDOGO NOWOGO SIMWOLA DEREWO ZANOWO PERESTRAIWAETSQ.

wYBRANNYJ SPOSOB ADAPTACII ALGORITMA O^ENX NE\FFEKTIWNYJ, T.K. POSLE OBRABOTKI KAVDOGO SIMWOLA NUVNO PERESTRAIWATX WSE DEREWO KODIROWANIQ. sU]ESTWU@T GORAZDO MENEE TRUDOEMKIE SPOSOBY, PRI

29