Современные проблемы физики / PhysicalReviewpdf / Koshkin

© äÓ¯ÍËÌ É.å., 2001

ENTROPY AND INFORMATION

G. M. KOSHKIN

The basic properties of entropy and information for discrete random objects are described. The problem of communications coding is discussed; the Shannon-Fano coding principle for a binary alphabet is explained, taking a Russian text as an example.

к‡ТТПУЪ ВМ˚ УТМУ‚М˚В Т‚УИТЪ‚‡ ˝МЪ УФЛЛ Л ЛМЩУ П‡ˆЛЛ ‰Оfl ‰ЛТН ВЪМ˚ı ТОЫ˜‡ИМ˚ı У·˙ВНЪУ‚. й·ТЫК‰ВМ‡ Б‡‰‡˜‡ НУ‰Л У‚‡МЛfl ТУУ·˘ВМЛИ Л ЛБОУКВМ Ф ЛМˆЛФ НУ‰Л У‚‡МЛfl тВММУМ‡–о‡МУ ‚ ‰‚УЛ˜МУП ‡ОЩ‡‚ЛЪВ М‡ Ф ЛПВ В ЫТТНУ„У ЪВНТЪ‡.

www.issep.rssi.ru

ЗЗЦСЦзаЦ

зУ‚˚В М‡Ф ‡‚ОВМЛfl, ‚УБМЛН¯ЛВ ‚ П‡ЪВП‡ЪЛНВ ‚ пп ‚В- НВ, У·˚˜МУ УФВ Л Ы˛Ъ ТУ ТОУКМ˚ПЛ ФУМflЪЛflПЛ Л Ф В‰ТЪ‡‚ОВМЛflПЛ, НУЪУ ˚В Т Ъ Ы‰УП ФУ‰‰‡˛ЪТfl ФУФЫОfl ЛБ‡ˆЛЛ. з‡ ˝ЪУП ЩУМВ ‚ВТ¸П‡ БМ‡˜ЛЪВО¸М‡ Б‡ТОЫ„‡ ‚˚‰‡˛˘В„УТfl ‡ПВ ЛН‡МТНУ„У П‡ЪВП‡ЪЛН‡ Л ЛМКВМВ ‡ дОУ‰‡ тВММУМ‡, НУЪУ ˚И ‚ 1947–1948 „У‰‡ı ЛТıУ‰fl ЛБ ˝ОВПВМЪ‡ М˚ı ТУУ· ‡КВМЛИ УЪН ˚О МУ‚Ы˛ У·О‡ТЪ¸ П‡- ЪВП‡ЪЛНЛ – ЪВУ Л˛ ЛМЩУ П‡ˆЛЛ [1]. нУО˜НУП Н ТУБ‰‡- МЛ˛ МУ‚УИ М‡ЫНЛ ·˚ОЛ ˜ЛТЪУ ЪВıМЛ˜ВТНЛВ Ф У·ОВП˚ ФВ В‰‡˜Л ЛМЩУ П‡ˆЛЛ ФУ ЪВОВ„ ‡ЩМ˚П Л ЪВОВЩУММ˚П Ф У‚У‰‡П, У‰М‡НУ Н М‡ТЪУfl˘ВПЫ ‚ ВПВМЛ ·О‡„У‰‡ fl У·- ˘ВПЫ ı‡ ‡НЪВ Ы ЪВУ Лfl тВММУМ‡ М‡ıУ‰ЛЪ Ф ЛПВМВМЛВ ‚ ЛТТОВ‰У‚‡МЛflı, УЪМУТfl˘ЛıТfl Н ФВ В‰‡˜В Л ТУı ‡МВМЛ˛ О˛·УИ ЛМЩУ П‡ˆЛЛ ‚ Ф Л У‰В Л ЪВıМЛНВ.

З ‰‡ММУИ ТЪ‡Ъ¸В ‡ТТПУЪ ВМ˚ ·‡БУ‚˚В ФУМflЪЛfl ˝М- Ъ УФЛЛ Л ЛМЩУ П‡ˆЛЛ ФУ тВММУМЫ, ФУН‡Б‡М‡ Лı ‚‡К- М‡fl УО¸ Ф Л В¯ВМЛЛ Б‡‰‡˜ УФЪЛП‡О¸МУ„У НУ‰Л У‚‡- МЛfl Ф Л ФВ В‰‡˜В ЛМЩУ П‡ˆЛЛ ФУ ОЛМЛflП Т‚flБЛ.

щзнкйиаь дАд еЦкА зЦйикЦСЦгЦззйлна ЗхЕйкА З дйзЦузхп лпЦеАп

иУМflЪЛВ ˝МЪ УФЛЛ Н‡Н ПВ ˚ МВУ· ‡ЪЛПУ„У ‡ТТВflМЛfl ˝МВ „ЛЛ ‚ФВ ‚˚В ·˚ОУ ‚‚В‰ВМУ ‚ ЪВ ПУ‰ЛМ‡ПЛНВ ‚ 1865 „У‰Ы МВПВˆНЛП ЩЛБЛНУП к. дО‡ЫБЛЫТУП, НУЪУ ˚И ФУН‡Б‡О, ˜ЪУ Н‡К‰УПЫ ТУТЪУflМЛ˛ ЪВ ПУ‰ЛМ‡ПЛ˜ВТНУИ ТЛТЪВП˚ ТУУЪ‚ВЪТЪ‚ЫВЪ УФ В‰ВОВММУВ БМ‡˜ВМЛВ ˝МЪ У- ФЛЛ. З ТЪ‡ЪЛТЪЛ˜ВТНУИ ЩЛБЛНВ ˝МЪ УФЛfl S, ТУ„О‡ТМУ НУМˆВФˆЛЛ г. ЕУО¸ˆП‡М‡ (1872 „У‰), Т‚flБ˚‚‡ВЪТfl Т ЪВ - ПУ‰ЛМ‡ПЛ˜ВТНУИ ‚В УflЪМУТЪ¸˛ W П‡Н УТНУФЛ˜ВТНУ„У ТУТЪУflМЛfl ТУУЪМУ¯ВМЛВП

S = klnW,

„‰Â k – ФУТЪУflММ‡fl ЕУО¸ˆП‡М‡. З Т‚У˛ У˜В В‰¸, ‚ ЪВУ-ЛЛ ЛМЩУ П‡ˆЛЛ ˝МЪ УФЛfl ФУ д. тВММУМЫ УФ В‰ВОflВЪТfl Н‡Н ПВ ‡ МВУФ В‰ВОВММУТЪЛ УФ˚Ъ‡ Т ‡БМ˚ПЛ ЛТıУ‰‡ПЛ. иУТОВ‰МЛВ ‰‚В Ъ ‡НЪУ‚НЛ ˝МЪ УФЛЛ ЛПВ˛Ъ ‚ВТ¸П‡ „ОЫ·УНЫ˛ Т‚flБ¸: М‡ ·‡БВ ЛМЩУ П‡ˆЛУММУИ ˝МЪ-УФЛЛ, М‡Ф ЛПВ , ‚˚‚У‰flЪТfl Н‡МУМЛ˜ВТНЛВ „Л··ТУ‚- ТНЛВ ‡ТФ В‰ВОВМЛfl ТЪ‡ЪЛТЪЛ˜ВТНУИ ЩЛБЛНЛ.

лП˚ТО ФУМflЪЛfl ˝МЪ УФЛЛ Н‡Н ПВ ˚ МВУФ В‰ВОВММУТЪЛ ‡ТН УВП М‡ Ф УТЪ˚ı Ф ЛПВ ‡ı ТОЫ˜‡ИМУ„У ‚˚·У ‡ ‚ НУМВ˜М˚ı ТıВП‡ı. лОЫ˜‡ИМ˚В ТУ·˚ЪЛfl, Н‡Н ЛБ‚ВТЪМУ, ı‡-‡НЪВ ЛБЫ˛ЪТfl ЪВП, ˜ЪУ Ы М‡Т МВЪ ФУОМУИ Ы‚В ВММУТЪЛ ‚ Лı М‡ТЪЫФОВМЛЛ, ЪУ ВТЪ¸ П˚ ЛПВВП МВНЫ˛ МВУФ В‰ВОВММУТЪ¸ Ф Л ЛБЫ˜ВМЛЛ УФ˚ЪУ‚, Т‚flБ‡ММ˚ı Т Ъ‡НЛПЛ ТУ·˚- ЪЛflПЛ. иУМflЪМУ, ˜ЪУ ТЪВФВМ¸ ˝ЪУИ МВУФ В‰ВОВММУТЪЛ ‚‡БОЛ˜М˚ı ТОЫ˜‡flı ПУКВЪ ·˚Ъ¸ ‡БМУИ. з‡Ф ЛПВ , ВТОЛ УФ˚Ъ ТУТЪУЛЪ ‚ ‚˚flТМВМЛЛ ЪУ„У, УН‡КВЪТfl ОЛ ФВ ‚˚И ‚ТЪ В˜ВММ˚И М‡ ЫОЛˆВ нУПТН‡ ˜ВОУ‚ВН НУТПУМ‡‚ЪУП ЛОЛ МВЪ, ЪУ ПУКМУ Т ФУОМУИ Ы‚В ВММУТЪ¸˛ Т˜ЛЪ‡Ъ¸, ˜ЪУ ˝ЪУ ·Ы‰ВЪ МВ НУТПУМ‡‚Ъ. зУ ЫКВ Ъ Ы‰МВВ Ф В‰ТН‡Б‡Ъ¸, ·Ы‰ВЪ ОЛ ФВ ‚˚И ‚ТЪ В˜ВММ˚И ˜ВОУ‚ВН ПЫК˜ЛМУИ ЛОЛ КВМ˘Л- МУИ, Л Ф ‡НЪЛ˜ВТНЛ МВ‚УБПУКМУ Ф В‰ТН‡Б‡Ъ¸ ‚˚Л„ ˚¯- МЫ˛ НУП·ЛМ‡ˆЛ˛ ˆЛЩ ‚ ТФУ ЪОУЪУ.

СОfl Ф ‡НЪЛНЛ МВУ·ıУ‰ЛПУ ЫПВЪ¸ ˜ЛТОВММУ ‚˚ ‡- К‡Ъ¸ ТЪВФВМ¸ МВУФ В‰ВОВММУТЪЛ ‡БОЛ˜М˚ı УФ˚ЪУ‚, ˜ЪУ·˚ Т ‡‚МЛ‚‡Ъ¸ Лı ФУТ В‰ТЪ‚УП Ъ‡НУИ ı‡ ‡НЪВ ЛТЪЛНЛ ПВК‰Ы ТУ·УИ. З Н‡˜ВТЪ‚В ПВ ˚ МВУФ В‰ВОВММУТЪЛ ТОЫ˜‡ИМУ„У У·˙ВНЪ‡ (ТЛТЪВП˚) Т НУМВ˜М˚П ПМУКВТЪ- ‚УП ‚УБПУКМ˚ı ТУТЪУflМЛИ A1 , A2 , …, An Т ТУУЪ‚ВЪТЪ‚Ы˛- ˘ЛПЛ ‚В УflЪМУТЪflПЛ p1 , p2 , …, pn ЛОЛ ‰ЛТН ВЪМУИ ТОЫ- ˜‡ИМУИ ‚ВОЛ˜ЛМ˚ X, Ô ËÌËχ˛˘ÂÈ Á̇˜ÂÌËfl X1 , X2 , … …, Xn Т ЪВПЛ КВ ‚В УflЪМУТЪflПЛ, дОУ‰ тВММУМ Ф В‰ОУКЛО ЛТФУО¸БУ‚‡Ъ¸ ЩЫМНˆЛУМ‡О [1]

k = 1

М‡Б‚‡ММ˚И ЛП ˝МЪ УФЛВИ. иУМflЪЛfl МВФ В ˚‚МУИ Л ‰ЛТ- Н ВЪМУИ ТОЫ˜‡ИМ˚ı ‚ВОЛ˜ЛМ, Лı ‡ТФ В‰ВОВМЛИ, П‡ЪВ- П‡ЪЛ˜ВТНЛı УКЛ‰‡МЛИ (Т В‰МЛı), НУЪУ ˚В М‡П ФУМ‡‰У- ·flЪТfl ‚ ПЛМЛП‡О¸МУИ ТЪВФВМЛ, ПУКМУ М‡ИЪЛ ‚ [2].

йЪПВЪЛП, ˜ЪУ ‚ (1) ОУ„‡ ЛЩП˚ ·В ЫЪТfl Ф Л Ф УЛБ- ‚УО¸МУП УТМУ‚‡МЛЛ, МУ УН‡Б‡ОУТ¸, ˜ЪУ ‚ ЪВıМЛНВ Ы‰У·- МВВ ‚ТВ„У ЛТФУО¸БУ‚‡Ъ¸ ОУ„‡ ЛЩП˚ Ф Л УТМУ‚‡МЛЛ 2. З ˝ЪУП ТОЫ˜‡В Б‡ В‰ЛМЛˆЫ ЛБПВ ВМЛfl ТЪВФВМЛ МВУФ В‰В- ОВММУТЪЛ ПУКМУ Ф ЛМflЪ¸ МВУФ В‰ВОВММУТЪ¸, ТУ‰В К‡- ˘Ы˛Тfl ‚ УФ˚ЪВ Т ‰‚ЫПfl ‡‚МУ‚В УflЪМ˚ПЛ ЛТıУ‰‡ПЛ (М‡Ф ЛПВ , ‚ УФ˚ЪВ Т ФУ‰· ‡Т˚‚‡МЛВП ПУМВЪ˚ Ф Л ‚˚flТМВМЛЛ ЪУ„У, ˜ЪУ ‚˚Ф‡ОУ: ˆЛЩ ‡ ЛОЛ „В ·). н‡Н‡fl В‰ЛМЛˆ‡ ЛБПВ ВМЛfl МВУФ В‰ВОВММУТЪЛ М‡Б˚‚‡ВЪТfl ‰‚У- Л˜МУИ В‰ЛМЛˆВИ, ЛОЛ ·ЛЪУП. ЦТОЛ ЛТФУО¸БУ‚‡Ъ¸ ‰В- ТflЪЛ˜М˚В ОУ„‡ ЛЩП˚, ЪУ В‰ЛМЛˆВИ ТЪВФВМЛ МВУФ В- ‰ВОВММУТЪЛ ·Ы‰ВЪ ТОЫКЛЪ¸ МВУФ В‰ВОВММУТЪ¸ УФ˚Ъ‡ Т 10 ‡‚МУ‚В УflЪМ˚ПЛ ЛТıУ‰‡ПЛ (Ъ‡НЛП fl‚ОflВЪТfl, М‡- Ф ЛПВ , УФ˚Ъ, ТУТЪУfl˘ЛИ ‚ ЛБ‚ОВ˜ВМЛЛ ¯‡ ‡ ЛБ Ы М˚ Т ‰ВТflЪ¸˛ ФВ ВМЫПВ У‚‡ММ˚ПЛ ¯‡ ‡ПЛ). н‡Н‡fl В‰ЛМЛˆ‡ ТЪВФВМЛ МВУФ В‰ВОВММУТЪЛ М‡Б˚‚‡ВЪТfl ‰ВТflЪЛ˜МУИ В‰Л- МЛˆВИ, ЛОЛ ‰ЛЪУП, Л УМ‡ Ф ЛПВ МУ ‚ 3,32 ‡Б‡ ·УО¸¯В ‰‚УЛ˜МУИ В‰ЛМЛˆ˚, Ъ‡Н Н‡Н log210 = 3,32.

н‡НЛП У· ‡БУП, ТУ„О‡ТМУ тВММУМЫ, ТУТЪУflМЛ˛ Ai Ó·˙ÂÍÚ‡ A ТОВ‰ЫВЪ Ф ЛФЛТ‡Ъ¸ МВУФ В‰ВОВММУТЪ¸, ‡‚-

ÌÛ˛ −logpi , ‡ ‚ Н‡˜ВТЪ‚В ПВ ˚ МВУФ В‰ВОВММУТЪЛ Т‡ПУ„У У·˙ВНЪ‡ Ф ЛМЛП‡ВЪТfl Т В‰МВВ БМ‡˜ВМЛВ МВУФ В‰ВОВММУТЪЛ УЪ‰ВО¸М˚ı ТУТЪУflМЛИ, ЪУ ВТЪ¸ Т В‰МВВ БМ‡˜ВМЛВ ‰ЛТН ВЪМУИ ТОЫ˜‡ИМУИ ‚ВОЛ˜ЛМ˚, Ф ЛМЛП‡˛˘ВИ БМ‡- ˜ВМЛfl, Ф Л‚В‰ВММ˚В ‚ Ъ‡·О. 1. йЪТ˛‰‡ ТОВ‰ЫВЪ, ˜ЪУ ВТОЛ М‡·У Ы Ai , i = 1, 2, …, n, ТУТЪУflМЛИ ТОЫ˜‡ИМУ„У У·˙ВНЪ‡ ФУТЪ‡‚ЛЪ¸ ‚ ТУУЪ‚ВЪТЪ‚ЛВ ‰ЛТН ВЪМЫ˛ ТОЫ˜‡ИМЫ˛ ‚ВОЛ- ˜ЛМЫ X, Б‡‰‡‚‡ВПЫ˛ Ъ‡·О. 2, ЪУ ˝МЪ УФЛfl Ъ‡НУИ ТОЫ˜‡И- МУИ ‚ВОЛ˜ЛМ˚ ТУ‚Ф‡‰ВЪ Т ˝МЪ УФЛВИ У·˙ВНЪ‡ A. иУТОВ‰МВВ У·˙flТМflВЪТfl ЪВП, ˜ЪУ ПВ ‡ тВММУМ‡ МВ ПУКВЪ Ф ВЪВМ‰У‚‡Ъ¸ М‡ ФУОМ˚И Ы˜ВЪ ‚ТВı Щ‡НЪУ У‚, ‚˚Б˚‚‡˛- ˘Лı МВУФ В‰ВОВММУТЪ¸ УФ˚Ъ‡. йМ‡, М‡Ф ЛПВ , МВ Б‡‚Л- ТЛЪ УЪ Т‡ПЛı ТУТЪУflМЛИ Ai ÒÎÛ˜‡ÈÌÓ„Ó Ó·˙ÂÍÚ‡ A ËÎË Á̇˜ÂÌËÈ Xi ‰ЛТН ВЪМУИ ТОЫ˜‡ИМУИ ‚ВОЛ˜ЛМ˚ X. нВП МВ ПВМВВ ВВ Ы‰У·МУ ЛТФУО¸БУ‚‡Ъ¸ Ф Л В¯ВМЛЛ МВНУЪУ ˚ı ‚УФ УТУ‚ ЪВУ ЛЛ ФВ В‰‡˜Л ТУУ·˘ВМЛИ ФУ ОЛМЛflП Т‚fl- БЛ. н‡Н, ‰Оfl УФ В‰ВОВМЛfl ‚ ВПВМЛ, МВУ·ıУ‰ЛПУ„У ‰Оfl ФВ В‰‡˜Л МВНУЪУ У„У ТУУ·˘ВМЛfl, НУМН ВЪМУВ ТУ‰В К‡- МЛВ ТУУ·˘ВМЛfl МВТЫ˘ВТЪ‚ВММУ; ˝ЪУ Ф Уfl‚ОflВЪТfl ‚ МВ- Б‡‚ЛТЛПУТЪЛ ˝МЪ УФЛЛ H(A) УЪ ТУТЪУflМЛИ A1 , A2 , …, An . д ЪУПЫ КВ ФУМflЪМУ, ˜ЪУ ‚В УflЪМУТЪЛ УЪ‰ВО¸М˚ı ТУУ·˘В- МЛИ, ‚УУ·˘В „У‚У fl, МВ·ВБ ‡БОЛ˜М˚ ‰Оfl ЪВУ ЛЛ Т‚flБЛ.

д‡Н ТОВ‰ЫВЪ ЛБ ‚‚У‰МУИ ˜‡ТЪЛ ‰‡ММУ„У ‡Б‰ВО‡, МЫКМУ ‡БОЛ˜‡Ъ¸ ЪВ ПУ‰ЛМ‡ПЛ˜ВТНЛИ Л ЛМЩУ П‡ˆЛУМ- М˚И ФУ‰ıУ‰˚ Н ФУМЛП‡МЛ˛ ˝МЪ УФЛЛ. З ТОВ‰Ы˛˘ВП‡Б‰ВОВ ‡ТТПУЪ ВМ˚ УТМУ‚М˚В Т‚УИТЪ‚‡ ЛМЩУ П‡ˆЛУММУИ ˝МЪ УФЛЛ.

퇷Îˈ‡ 1

лЗйвлнЗА азойкеАсайззйв щзнкйиаа

щМЪ УФЛfl У·О‡‰‡ВЪ ЛМЪВ ВТМ˚ПЛ Т‚УИТЪ‚‡ПЛ, НУЪУ ˚В ФУ‰Ъ‚В К‰‡˛Ъ, ˜ЪУ УМ‡ fl‚ОflВЪТfl ‡БЫПМУИ НУОЛ˜ВТЪ- ‚ВММУИ ПВ УИ МВУФ В‰ВОВММУТЪЛ.

1.ùÌÚ ÓÔËfl H(p1 , p2 , …, pn) = 0 ЪУ„‰‡ Л ЪУО¸НУ ЪУ„‰‡, НУ„‰‡ ‚ТВ ‚В УflЪМУТЪЛ pi , Н УПВ У‰МУИ, ‡‚М˚ МЫО˛, ‡ ˝Ъ‡ В‰ЛМТЪ‚ВММ‡fl ‚В УflЪМУТЪ¸ ‡‚М‡ В‰ЛМЛˆВ. ЗУ ‚ТВı ‰ Ы„Лı ТОЫ˜‡flı ˝МЪ УФЛfl ФУОУКЛЪВО¸М‡.

2.è Ë Á‡‰‡ÌÌÓÏ n ‚Â΢Ë̇ H χÍÒËχθ̇ Ë ‡‚-

̇ logn, ÍÓ„‰‡ ‚Ò pi ‡‚Ì˚ ÏÂÊ‰Û ÒÓ·ÓÈ, ÚÓ ÂÒÚ¸

1 p1 = p2 = … = pn = --. n

3.ÖÒÎË A Ë B – ‰‚‡ ÌÂÁ‡‚ËÒËÏ˚ı ÒÎÛ˜‡ÈÌ˚ı Ó·˙ÂÍÚ‡

Ò˜ЛТОУП ТУТЪУflМЛИ n Ë m ÒÓÓÚ‚ÂÚÒÚ‚ÂÌÌÓ, ÚÓ

ÑÓ͇Á‡ÚÂθÒÚ‚Ó. н‡Н Н‡Н ‚В УflЪМУТЪ¸ rkl ТУТЪУflМЛfl AkBl ‚ ТОЫ˜‡В МВБ‡‚ЛТЛПУТЪЛ A Ë B ‡‚̇ Ô ÓËÁ‚‰ÂÌ˲ pkql , ÚÓ

H(AB) = –∑rkl logrkl =

k, l

= –∑ pk log pk ∑ql –∑ql logql ∑ pk ,

УЪНЫ‰‡, Ы˜ЛЪ˚‚‡fl ЫТОУ‚ЛВ МУ ПЛ У‚НЛ ‰Оfl ‚В УflЪМУТЪВИ ТУТЪУflМЛИ У·˙ВНЪУ‚ ∑ql = ∑ pk = 1, ÔÓÎÛ˜‡ÂÏ (2).

èÓÌflÚÌÓ, ˜ÚÓ ‚ ÒËÎÛ Ò‚ÓÈÒÚ‚‡ 1 Á̇˜ÂÌË H ‡‚МУ МЫО˛ ЪУО¸НУ ‚ ТОЫ˜‡В ФУОМУИ УФ В‰ВОВММУТЪЛ ЛТıУ‰‡ УФ˚Ъ‡, ЪУ ВТЪ¸ НУ„‰‡ УЪТЫЪТЪ‚ЫВЪ ‚ТflН‡fl МВУФ В‰ВОВММУТЪ¸. СУН‡Б‡ЪВО¸ТЪ‚У Т‚УИТЪ‚‡ 2, ‡ Ъ‡НКВ МВНУЪУ ˚В ‰ Ы„ЛВ Т‚УИТЪ‚‡ ˝МЪ УФЛЛ ПУКМУ М‡ИЪЛ ‚ [1, 3, 4].

д‡Н ТОВ‰ЫВЪ ЛБ Т‚УИТЪ‚‡ 3, ЛМЩУ П‡ˆЛУММ‡fl ˝МЪ У- ФЛfl, Н‡Н Л ЪВ ПУ‰ЛМ‡ПЛ˜ВТН‡fl, У·О‡‰‡ВЪ Т‚УИТЪ‚УП ‡‰- ‰ЛЪЛ‚МУТЪЛ. и ЛМˆЛФ ‡‰‰ЛЪЛ‚МУТЪЛ ‚ Ф ЛПВМВМЛЛ Н Л„ ‡О¸МУИ НУТЪЛ „О‡ТЛЪ, ˜ЪУ ˝МЪ УФЛfl n · УТ‡МЛИ НУТЪЛ ‚ n ‡Б ·УО¸¯В, ˜ВП ˝МЪ УФЛfl У‰МУ„У · УТ‡МЛfl. С Ы„ЛП ‚‡КМ˚П Ф ЛПВМВМЛВП ˝ЪУ„У Ф ЛМˆЛФ‡ ПУКВЪ ТОЫКЛЪ¸ ТОВ‰Ы˛˘ЛИ Ф ЛПВ : ˝МЪ УФЛfl МВТНУО¸НЛı ТУУ·˘ВМЛИ‡‚М‡ ТЫППВ ˝МЪ УФЛИ УЪ‰ВО¸М˚ı ТУУ·˘ВМЛИ.

б‡ПВЪЛП, ˜ЪУ ЫКВ ˝ЪЛı Ъ Вı Ф УТЪ˚ı Т‚УИТЪ‚ ˝МЪ У- ФЛЛ ‰УТЪ‡ЪУ˜МУ ‰Оfl ЛБОУКВМЛfl ‰‡О¸МВИ¯В„У П‡ЪВ Л‡О‡.

азойкеАсаь

йФ В‰ВОЛ‚ ˝МЪ УФЛ˛ Н‡Н ПВ Ы МВУФ В‰ВОВММУТЪЛ ТУТЪУflМЛfl ТОЫ˜‡ИМУ„У У·˙ВНЪ‡, П˚ ‚Л‰ЛП, ˜ЪУ ‚ ВБЫО¸Ъ‡ЪВ ФУОЫ˜ВМЛfl Т‚В‰ВМЛИ МВУФ В‰ВОВММУТЪ¸ Ъ‡НУ„У У·˙ВНЪ‡ ПУКВЪ ·˚Ъ¸ ‡Б‚В ˜ЪУ ЫПВМ¸¯ВМ‡. иУ˝ЪУПЫ ВТЪВТЪ‚ВММУ НУОЛ˜ВТЪ‚У ЛМЩУ П‡ˆЛЛ ЛБПВ flЪ¸ ЫПВМ¸¯ВМЛВП ˝МЪ-УФЛЛ ЪУ„У У·˙ВНЪ‡ ЛОЛ ТЛТЪВП˚, ‰Оfl ЫЪУ˜МВМЛfl ТУТЪУflМЛfl НУЪУ У„У Ф В‰М‡БМ‡˜ВМ˚ Т‚В‰ВМЛfl.

к‡ТТПУЪ ЛП МВНУЪУ ˚И ТОЫ˜‡ИМ˚И У·˙ВНЪ A Л УˆВМЛП ЛМЩУ П‡ˆЛ˛, ФУОЫ˜‡ВПЫ˛ ‚ ВБЫО¸Ъ‡ЪВ ЪУ„У, ˜ЪУ ТУТЪУflМЛВ ТЛТЪВП˚ A ТЪ‡МУ‚ЛЪТfl ФУОМУТЪ¸˛ ЛБ‚ВТЪМ˚П. СУ ФУОЫ˜ВМЛfl Т‚В‰ВМЛИ, ЪУ ВТЪ¸ ‡Ф ЛУ Л, ˝МЪ УФЛfl ТЛТЪВП˚ ‡‚МflО‡Т¸ H(A), ‡ ФУТОВ ФУОЫ˜ВМЛfl Т‚В‰ВМЛИ, ЪУ ВТЪ¸ ‡ФУТЪВ ЛУ Л, ТУТЪУflМЛВ У·˙ВНЪ‡ УФ В‰ВОЛОУТ¸ ФУОМУТЪ¸˛, Л ˝МЪ УФЛfl ТЪ‡О‡ ‡‚МУИ МЫО˛. й·УБМ‡˜ЛП ˜В ВБ IA ЛМЩУ П‡ˆЛ˛, ФУОЫ˜‡ВПЫ˛ ‚ ВБЫО¸Ъ‡ЪВ ‚˚flТМВМЛfl ТУТЪУflМЛfl У·˙ВНЪ‡ A. üÒÌÓ, ˜ÚÓ Ó̇ ‡‚̇ ÛÏÂ̸- ¯ÂÌ˲ ˝ÌÚ ÓÔËË:

IA = H(A) − 0

ËÎË

ЪУ ВТЪ¸ НУОЛ˜ВТЪ‚У ЛМЩУ П‡ˆЛЛ, Ф ЛУ· ВЪ‡ВПУИ Ф Л ФУОМУП ‚˚flТМВМЛЛ ТУТЪУflМЛfl МВНУЪУ У„У У·˙ВНЪ‡, ‡‚- МУ ˝МЪ УФЛЛ ˝ЪУ„У У·˙ВНЪ‡.

è ‰ÒÚ‡‚ËÏ ÙÓ ÏÛÎÛ (3) ‚ ‚ˉÂ

i = 1

„‰Â pi = P(A = Ai). îÓ ÏÛ· (4) ÂÒÚ¸ Ò Â‰Ìflfl ËÌÙÓ Ï‡ˆËfl ˜‡ÒÚÌ˚ı ËÌÙÓ Ï‡ˆËÈ, ÔÓÎÛ˜‡ÂÏ˚ı ÓÚ ÓÚ‰ÂθÌ˚ı ÒÓÓ·- ˘ÂÌËÈ:

I Ai = –log pi , i = 1, 2, …, n,

Л ПУКВЪ ·˚Ъ¸ Б‡ФЛТ‡М‡ ‚ ‚Л‰В

n

I A = ∑ pi I Ai .

i = 1

í‡Í Í‡Í ‚Ò ˜ËÒ· pi Ì ·Óθ¯Â ‰ËÌˈ˚, ÚÓ Í‡Í ˜‡- ÒÚ̇fl ËÌÙÓ Ï‡ˆËfl I Ai , Ú‡Í Ë Ò Â‰Ìflfl ËÌÙÓ Ï‡ˆËfl IA ÌÂ

ПУ„ЫЪ ·˚Ъ¸ УЪ Лˆ‡ЪВО¸М˚ПЛ. ЦТОЛ ‚ТВ ‚УБПУКМ˚В ТУТЪУflМЛfl У·˙ВНЪ‡ ‡Ф ЛУ Л У‰ЛМ‡НУ‚У ‚В УflЪМ˚, ЪУ ВТЪ¸

1

p1 = p2 = … = pn = --, ЪУ, ВТЪВТЪ‚ВММУ, ˜‡ТЪМ‡fl ЛМЩУ - n

χˆËfl I Ai ÓÚ Í‡Ê‰Ó„Ó ÓÚ‰ÂθÌÓ„Ó ÒÓÓ·˘ÂÌËfl

‡‚̇ Ò Â‰ÌÂÈ ËÌÙÓ Ï‡ˆËË:

1 1

IA = –n = logn. (6)

ÇТОЫ˜‡В, НУ„‰‡ ТУТЪУflМЛfl У·˙ВНЪ‡ У·О‡‰‡˛Ъ ‡Б- ОЛ˜М˚ПЛ ‚В УflЪМУТЪflПЛ, ЛМЩУ П‡ˆЛЛ УЪ ‡БМ˚ı ТУУ·- ˘ВМЛИ МВУ‰ЛМ‡НУ‚˚: М‡Л·УО¸¯Ы˛ ЛМЩУ П‡ˆЛ˛ МВТЫЪ ТУУ·˘ВМЛfl У ЪВı ТУТЪУflМЛflı, НУЪУ ˚В ‡Ф ЛУ Л ·˚ОЛ М‡ЛПВМВВ ‚В УflЪМ˚. з‡Ф ЛПВ , ТУУ·˘ВМЛВ У ЪУП, ˜ЪУ ‚ нУПТНВ 1 flМ‚‡ fl ‚˚Ф‡О ТМВ„, МВТВЪ „У ‡Б‰У ПВМ¸¯В ЛМ-

ÙÓ Ï‡ˆËË, ˜ÂÏ ÒÓÓ·˘ÂÌËÂ, ˜ÚÓ ‚ ˝ÚÓÏ „Ó Ó‰Â ÒÌ„ ‚˚- ԇΠ1 ˲Îfl. --log--n n

и Л‚В‰ВП Ъ Л ЛОО˛ТЪ ‡ЪЛ‚М˚ı Ф ЛПВ ‡, Т ФУПУ- ˘¸˛ НУЪУ ˚ı У·ОВ„˜‡ВЪТfl ФУМЛП‡МЛВ Т В‰МВИ Л ˜‡ТЪМУИ ЛМЩУ П‡ˆЛИ.

è ËÏ 1. з‡ ¯‡ıП‡ЪМЫ˛ ‰УТНЫ Ф УЛБ‚УО¸М˚П У·-‡БУП ТЪ‡‚ЛЪТfl ЩВ Б¸. йФ В‰ВОЛЪ¸ ЛМЩУ П‡ˆЛ˛, ФУОЫ- ˜‡ВПЫ˛ УЪ ТУУ·˘ВМЛfl, ‚ Н‡НУИ ЛПВММУ НОВЪНВ М‡ıУ‰ЛЪТfl ЩЛ„Ы ‡.

ê¯ÂÌËÂ. н‡Н Н‡Н ‚ТВ ТУТЪУflМЛfl ‰‡ММУИ ТЛТЪВП˚‡‚МУ‚В УflЪМ˚, ЪУ ˜‡ТЪМ‡fl ЛМЩУ П‡ˆЛfl ЪЛФ‡ “ЩВ Б¸ М‡ıУ‰ЛЪТfl ‚ Н‚‡‰ ‡ЪВ e7”

л В‰Мflfl ЛМЩУ П‡ˆЛfl У ТЛТЪВПВ ‚ ТЛОЫ ЩУ ПЫО (5) Л (6) Ъ‡НКВ ‡‚М‡ 6 ·ЛЪ‡П.

è ËÏ 2. éÔ Â‰ÂÎËÚ¸ ˜‡ÒÚÌÛ˛ ËÌÙÓ Ï‡ˆË˛, ÔÓÎÛ˜ÂÌÌÛ˛ ‚ ÒÓÓ·˘ÂÌËË Ì‡Û„‡‰ ‚˚· ‡ÌÌÓ„Ó Ô ÓıÓÊ„Ó: “Ò„ӉÌfl ÏÓÈ ‰Â̸ ÓʉÂÌËfl”.

è ËÏ 3. éÔ Â‰ÂÎËÚ¸ Ò Â‰Ì˛˛ ËÌÙÓ Ï‡ˆË˛, ÔÓÎÛ˜ÂÌÌÛ˛ ‚ ÒÓÓ·˘ÂÌËË Ì‡Û„‡‰ ‚˚· ‡ÌÌÓ„Ó Ô ÓıÓÊ„Ó: “Ò„ӉÌfl ÏÓÈ ‰Â̸ ÓʉÂÌËfl ËÎË Ò„ӉÌfl Ì ÏÓÈ ‰Â̸ÓʉÂÌËfl”.

ê¯ÂÌËÂ. лЛТЪВП‡ ЛПВВЪ ‰‚‡ ‚УБПУКМ˚ı ТУТЪУflМЛfl:

1

A1 – ‰ВМ¸ УК‰ВМЛfl Т ‚В УflЪМУТЪ¸˛ p1 = -------- Ë A2 – Ì 365

364

‰ВМ¸ УК‰ВМЛfl Т ‚В УflЪМУТЪ¸˛ p2 = --------. ë ‰Ìflfl ËÌ365

ÙÓ Ï‡ˆËfl

( ) 1 1 364 364 ≈

I A = H A = –--------log-------- –--------log-------- 0,063 ·ËÚ. 365 365 365 365

ЦТОЛ ЛМЩУ П‡ˆЛfl ‚˚ ‡КВМ‡ ‚ ·ЛЪ‡ı, ЪУ ВИ ПУКМУ ‰‡Ъ¸ М‡„Оfl‰МУВ ЛТЪУОНУ‚‡МЛВ. к‡ТТПУЪ ЛП ТЛТЪВПЫ Т ‰‚ЫПfl ТУТЪУflМЛflПЛ: A1 , A2 , ‚В УflЪМУТЪЛ НУЪУ ˚ı ‡‚М˚ p1 , p2 . уЪУ·˚ ‚˚flТМЛЪ¸ ТУТЪУflМЛВ ‰‡ММУИ ТЛТЪВП˚, ‰У- ТЪ‡ЪУ˜МУ Б‡‰‡Ъ¸ У‰ЛМ ‚УФ УТ: М‡ıУ‰ЛЪТfl ОЛ ТЛТЪВП‡ ‚ ТУТЪУflМЛЛ A1 ? éÚ‚ÂÚ ‰‡ ËÎË ÌÂÚ Ì‡ ˝ÚÓÚ ‚ÓÔ ÓÒ ‰ÓÒÚ‡‚- ÎflÂÚ Ï‡ÍÒËχθÌÛ˛ ËÌÙÓ Ï‡ˆË˛ ‚ 1 ·ËÚ, ÍÓ„‰‡ Ó·‡ ÒÓ-

1 ÒÚÓflÌËfl ‡Ô ËÓ Ë ‡‚ÌÓ‚Â ÓflÚÌ˚, ÚÓ ÂÒÚ¸ p1 = p2 = --.

2

ÖÒÎË ËÌÙÓ Ï‡ˆËfl ÓÚ Í‡ÍÓ„Ó-ÚÓ ÒÓÓ·˘ÂÌËfl ‡‚̇ n ·ЛЪ‡П, ЪУ УМ‡ ‡‚МУТЛО¸М‡ ЛМЩУ П‡ˆЛЛ, ‰‡‚‡ВПУИ n ÓÚ‚ÂÚ‡ÏË ‰‡ ËÎË ÌÂÚ Ì‡ ‡‚ÌÓ‚Â ÓflÚÌ˚ ‚ÓÔ ÓÒ˚. í‡Í, ‚ Ô ËÏ  1 ÌÂÓ·ıÓ‰ËÏÓ Á‡‰‡Ú¸ ¯ÂÒÚ¸ Ú‡ÍËı ‚ÓÔ ÓÒÓ‚, ‡ ‚ Ô ËÏ  2 – ‰Â‚flÚ¸ ‚ÓÔ ÓÒÓ‚.

бАСАуа дйСакйЗАзаь лййЕфЦзав

и Л ФВ В‰‡˜В ТУУ·˘ВМЛИ ФУ ОЛМЛflП Т‚flБЛ ˜‡ТЪУ Ф Л- ıУ‰ЛЪТfl ФУО¸БУ‚‡Ъ¸Тfl МВНУЪУ ˚ПЛ НУ‰‡ПЛ, М‡Ф ЛПВ ‡Б·ЫНУИ еУ БВ. л ФУПУ˘¸˛ ‡Б·ЫНЛ еУ БВ О˛·УВ ТУУ·- ˘ВМЛВ ПУКМУ Ф В‰ТЪ‡‚ЛЪ¸ ‚ ‚Л‰В НУП·ЛМ‡ˆЛЛ ˝ОВПВМ- Ъ‡ М˚ı ТЛ„М‡ОУ‚ ЛОЛ ТЛП‚УОУ‚: ЪУ˜Н‡, ЪЛ В, Ф‡ЫБ‡ (Ф У·ВО ПВК‰Ы ·ЫН‚‡ПЛ), ‰ОЛММ‡fl Ф‡ЫБ‡ (Ф У·ВО ПВК‰Ы ТОУ‚‡ПЛ).

дУ‰Л У‚‡МЛВП ‚ У·˘ВП ТП˚ТОВ М‡БУ‚ВП УЪУ· ‡КВМЛВ ТУТЪУflМЛfl У‰МУИ ЩЛБЛ˜ВТНУИ ТЛТЪВП˚ Т ФУПУ˘¸˛ ТУТЪУflМЛИ МВНУЪУ УИ ‰ Ы„УИ ТЛТЪВП˚. з‡Ф ЛПВ , Ф Л ЪВОВЩУММУП ‡Б„У‚У В Б‚ЫНУ‚˚В ТЛ„М‡О˚ НУ‰Л Ы˛ЪТfl Т ФУПУ˘¸˛ ˝ОВНЪ УП‡„МЛЪМ˚ı НУОВ·‡МЛИ, НУЪУ ˚В Б‡- ЪВП ‰ВНУ‰Л Ы˛ЪТfl М‡ ‰ Ы„УП НУМˆВ ОЛМЛЛ ТМУ‚‡ ‚ Б‚Ы- НУ‚˚В ТЛ„М‡О˚.

е˚ У„ ‡МЛ˜ЛПТfl М‡Л·УОВВ Ф УТЪ˚П ТОЫ˜‡ВП НУ‰Л-У‚‡МЛfl, НУ„‰‡ У·В ТЛТЪВП˚ A Ë B ЛПВ˛Ъ НУМВ˜МУВ ˜ЛТОУ ‚УБПУКМ˚ı ТУТЪУflМЛИ. иЫТЪ¸ ЛПВВЪТfl МВНУЪУ ‡fl ТЛТЪВП‡ A (М‡Ф ЛПВ , ·ЫН‚‡ ЫТТНУ„У ‡ОЩ‡‚ЛЪ‡), НУЪУ ‡fl ТОЫ˜‡ИМ˚П У· ‡БУП Ф ЛМЛП‡ВЪ У‰МУ ЛБ ТУТЪУflМЛИ A1 , A2 , …, An , Л ФЫТЪ¸ П˚ ВВ ıУЪЛП Б‡НУ‰Л У‚‡Ъ¸ Т ФУПУ˘¸˛ ‰ Ы„УИ ТЛТЪВП˚ B, ‚УБПУКМ˚В ТУТЪУflМЛfl НУЪУ УИ B1 , B2, …, Bm, Ô Ë˜ÂÏ m < n. üÒÌÓ, ˜ÚÓ ‚ ÒÎÛ˜‡flı, ÍÓ„‰‡ m < n, У‰МУ ТУТЪУflМЛВ ТЛТЪВП˚ A Ф ЛıУ‰ЛЪТfl УЪУ· ‡К‡Ъ¸ Т ФУПУ˘¸˛ УФ В‰ВОВММУИ НУП·ЛМ‡ˆЛЛ ТУТЪУflМЛИ ТЛТЪВП˚ B (ÍÓ‰Ë Ó‚‡ÌË ·ÛÍ‚ ͇ÍÓ„Ó-ÚÓ ‡ÎÙ‡‚ËÚ‡ ‡Á·ÛÍÓÈ åÓ ÁÂ).

дУ‰Л У‚‡МЛВП ‚ ЫБНУП ТП˚ТОВ М‡БУ‚ВП ‚˚·У Ъ‡- НЛı НУП·ЛМ‡ˆЛИ Л ЫТЪ‡МУ‚ОВМЛВ ТУУЪ‚ВЪТЪ‚Лfl ПВК‰Ы ФВ В‰‡‚‡ВП˚П ТУУ·˘ВМЛВП Л ˝ЪЛПЛ НУП·ЛМ‡ˆЛflПЛ.

дУ‰˚ ‡БОЛ˜‡˛ЪТfl ФУ ˜ЛТОЫ ˝ОВПВМЪ‡ М˚ı ТЛП‚У- ОУ‚ ЛОЛ, ˜ЪУ ЪУ КВ Т‡ПУВ, ФУ ˜ЛТОЫ ‚УБПУКМ˚ı ТУТЪУflМЛИ ТЛТЪВП˚ B. З ‡Б·ЫНВ еУ БВ Ъ‡НЛı ˝ОВПВМЪ‡ М˚ı ТЛП‚УОУ‚, Н‡Н ·˚ОУ ЫН‡Б‡МУ ‚˚¯В, ˜ВЪ˚ В. дУ‰ Т ‰‚ЫПfl ˝ОВПВМЪ‡ М˚ПЛ ТЛП‚УО‡ПЛ М‡Б˚‚‡ВЪТfl ‰‚УЛ˜М˚П, Л У·˚˜МУ В„У ЛБУ· ‡К‡˛Ъ МЫОВП Л В‰ЛМЛˆВИ (0 Л 1).

дйС тЦззйзА–оАзй

н‡Н Н‡Н У‰МУ Л ЪУ КВ ТУУ·˘ВМЛВ ПУКМУ Б‡НУ‰Л У‚‡Ъ¸‡БОЛ˜М˚ПЛ ТФУТУ·‡ПЛ, ЪУ ВТЪВТЪ‚ВММУ ‚УБМЛН‡ВЪ ‚У- Ф УТ У· УФЪЛП‡О¸М˚ı ЛОЛ М‡Л‚˚„У‰МВИ¯Лı ‚ Н‡НУП-ЪУ ТП˚ТОВ ТФУТУ·‡ı НУ‰Л У‚‡МЛfl. ЕЫ‰ВП Т˜ЛЪ‡Ъ¸ УФЪЛ- П‡О¸М˚П Ъ‡НУИ НУ‰, Ф Л НУЪУ УП М‡ ФВ В‰‡˜Ы ТУУ·˘В- МЛИ Б‡Ъ ‡˜Л‚‡ВЪТfl ПЛМЛП‡О¸МУВ ‚ ВПfl. ЦТОЛ М‡ ФВ В‰‡- ˜Ы Н‡К‰У„У ˝ОВПВМЪ‡ МУ„У ТЛП‚УО‡ (М‡Ф ЛПВ , 0 ЛОЛ 1) Ъ ‡ЪЛЪТfl У‰МУ Л ЪУ КВ ‚ ВПfl, ЪУ УФЪЛП‡О¸М˚И НУ‰ М‡ ФВ В‰‡˜Ы ТУУ·˘ВМЛfl Б‡‰‡ММУИ ‰ОЛМ˚ ФУЪ В·ЫВЪ ПЛМЛ- П‡О¸МУ„У НУОЛ˜ВТЪ‚‡ ˝ОВПВМЪ‡ М˚ı ТЛП‚УОУ‚.

иУТЪ‡‚ЛП ТОВ‰Ы˛˘Ы˛ Б‡‰‡˜Ы: Б‡НУ‰Л У‚‡Ъ¸ ‰‚УЛ˜- М˚П НУ‰УП ·ЫН‚˚ ЫТТНУИ ‡Б·ЫНЛ Ъ‡Н, ˜ЪУ·˚ Н‡К‰УИ ·ЫН‚В ТУУЪ‚ВЪТЪ‚У‚‡О‡ УФ В‰ВОВММ‡fl НУП·ЛМ‡ˆЛfl ˝ОВПВМЪ‡ М˚ı ТЛП‚УОУ‚ 0 Л 1 Л ˜ЪУ·˚ Т В‰МВВ ˜ЛТОУ ˝ЪЛı ТЛП‚УОУ‚ М‡ ·ЫН‚Ы ЪВНТЪ‡ ·˚ОУ ПЛМЛП‡О¸М˚П.

к‡ТТПУЪ ЛП 31 ·ЫН‚Ы ЫТТНУИ ‡Б·ЫНЛ ‚ПВТЪВ Т МВ-‡БОЛ˜ЛП˚ПЛ ‚ ЪВОВ„ ‡ЩЛЛ ˙ Л ¸ ФО˛Т Ф УПВКЫЪУН ПВК‰Ы ТОУ‚‡ПЛ, У·УБМ‡˜‡ВП˚И БМ‡НУП ЪЛ В. л‡П˚И Ф УТЪУИ ТФУТУ· НУ‰Л У‚‡МЛfl ТУТЪУЛЪ ‚ Ф ЛФЛТ˚‚‡МЛЛ ‚ТВП ТЛП‚УО‡П ФУ‰ fl‰ МУПВ У‚ УЪ 0 ‰У 31, ‡ Б‡ЪВП ‚ ФВ-В‚У‰В ‚ТВı МУПВ У‚ ‚ ‰‚УЛ˜МЫ˛ ТЛТЪВПЫ ЛТ˜ЛТОВМЛfl. з‡ФУПМЛП, ˜ЪУ ‚ ‰‚УЛ˜МУИ ТЛТЪВПВ В‰ЛМЛˆ˚ ‡БМ˚ı

‡Б fl‰У‚ fl‚Оfl˛ЪТfl ‡БМ˚ПЛ ТЪВФВМflПЛ ‰‚УИНЛ. з‡- Ф ЛПВ ,

11 = 1 23 + 0 22 + 1 21 + 1 20,

Л ‚ ‰‚УЛ˜МУИ ТЛТЪВПВ ‰ВТflЪЛ˜МУВ ˜ЛТОУ 11 Б‡ФЛ¯ВЪТfl Н‡Н 1011.

í‡Í Í‡Í Í‡Ê‰Ó ËÁ ˜ËÒÂÎ 0, 1, 2, …, 31 ËÁÓ· ‡Ê‡ÂÚÒfl ÔflÚËÁ̇˜Ì˚Ï ‰‚Ó˘Ì˚Ï ÍÓ‰ÓÏ, ÚÓ Ì‡¯ ÍÓ‰ Ô ËÌËχÂÚ ÒÎÂ‰Û˛˘ËÈ ‚ˉ:

‡00000

·00001

‚00010

fl11110

–11111

Ç˝ЪУП НУ‰В М‡ Ф В‰ТЪ‡‚ОВМЛВ Н‡К‰УИ ·ЫН‚˚ Ъ ‡ЪflЪТfl ФflЪ¸ ˝ОВПВМЪ‡ М˚ı ТЛП‚УОУ‚. иУМflЪМУ, ˜ЪУ ˝ЪУ МВ УФЪЛП‡О¸М˚И НУ‰, Ъ‡Н Н‡Н ·˚ОУ ·˚ ‡БЫПМВВ, ˜ЪУ·˚ ˜‡Т- ЪУ ‚ТЪ В˜‡˛˘ЛВТfl ·ЫН‚˚ ·˚ОЛ Б‡НУ‰Л У‚‡М˚ ПВМ¸¯ЛП ˜ЛТОУП ТЛП‚УОУ‚, ‡ ВКВ ‚ТЪ В˜‡˛˘ЛВТfl – ·УО¸¯ЛП.

уЪУ·˚ ТУТЪ‡‚ЛЪ¸ Ъ‡НУИ НУ‰, МВУ·ıУ‰ЛПУ БМ‡МЛВ ˜‡Т- ЪУЪ ·ЫН‚ ‚ ЫТТНУП ЪВНТЪВ, НУЪУ ˚В ПУКМУ Ф ЛМflЪ¸ ‚ Н‡˜ВТЪ‚В УˆВМУН ‚В УflЪМУТЪВИ ФУfl‚ОВМЛfl ·ЫН‚ ‚ ЪВНТЪВ. щЪЛ ˜‡ТЪУЪ˚ (‚ ФУ fl‰НВ Лı Ы·˚‚‡МЛfl) Т‚В‰ВМ˚ ‚ Ъ‡·О. 3, Б‡ЛПТЪ‚У‚‡ММЫ˛ ЛБ НМЛ„Л [5].

иВ ВИ‰ВП Н ТУТЪ‡‚ОВМЛ˛ М‡Л·УОВВ ˝НУМУПЛ˜МУ„У НУ‰‡ М‡ ·‡БВ Ъ‡·О. 3 ЛБ ТУУ· ‡КВМЛИ ЪВУ ЛЛ ЛМЩУ П‡- ˆЛЛ. й˜В‚Л‰МУ, НУ‰ ·Ы‰ВЪ УФЪЛП‡О¸М˚П, ВТОЛ Н‡К‰˚И ˝ОВПВМЪ‡ М˚И ТЛП‚УО ·Ы‰ВЪ ФВ В‰‡‚‡Ъ¸ П‡НТЛП‡О¸МЫ˛ ЛМЩУ П‡ˆЛ˛. А ˝ЪУ, ТУ„О‡ТМУ Т‚УИТЪ‚Ы 2 ˝МЪ УФЛЛ, ЛПВВЪ ПВТЪУ ЪУО¸НУ ‚ ТОЫ˜‡В ‡‚МУ‚В УflЪМУТЪЛ ТУТЪУflМЛИ, ФУ˝ЪУПЫ ‚ УТМУ‚В УФЪЛП‡О¸МУ„У НУ‰Л У‚‡МЛfl ОВКЛЪ Ъ В·У‚‡МЛВ, ˜ЪУ·˚ ˝ОВПВМЪ‡ М˚В ТЛП‚УО˚ ‚ Б‡НУ- ‰Л У‚‡ММУП ЪВНТЪВ ‚ТЪ В˜‡ОЛТ¸ ‚ Т В‰МВП Т У‰ЛМ‡НУ‚УИ ˜‡ТЪУЪУИ.

нВФВ ¸ ЛБОУКЛП ТФУТУ· ФУТЪ УВМЛfl НУ‰‡, Ы‰У‚ОВЪ- ‚У fl˛˘В„У ФУТЪ‡‚ОВММУПЫ ‚˚¯В ЫТОУ‚Л˛, НУЪУ ˚И ЛБ- ‚ВТЪВМ ФУ‰ М‡Б‚‡МЛВП НУ‰‡ тВММУМ‡–о‡МУ. лУ„О‡ТМУ ˝ЪУПЫ ТФУТУ·Ы, НУ‰Л ЫВП˚В ТЛП‚УО˚ ‡Б‰ВОfl˛ЪТfl М‡ ‰‚В Ф Л·ОЛБЛЪВО¸МУ ‡‚МУ‚В УflЪМ˚В ФУ‰„ ЫФФ˚: ‰Оfl ФВ ‚УИ „ ЫФФ˚ ТЛП‚УОУ‚ М‡ ФВ ‚УП ПВТЪВ НУП·ЛМ‡ˆЛЛ ТЪ‡‚ЛЪТfl 0, ‡ ‰Оfl ‚ЪУ УИ „ ЫФФ˚ ТЛП‚УОУ‚ – 1. С‡ОВВ Н‡К‰‡fl „ ЫФФ‡ ТМУ‚‡ ‰ВОЛЪТfl М‡ ‰‚В Ф Л·ОЛБЛЪВО¸МУ‡‚МУ‚В УflЪМ˚В ФУ‰„ ЫФФ˚; ‰Оfl ТЛП‚УОУ‚ ФВ ‚УИ ФУ‰- „ ЫФФ˚ М‡ ‚ЪУ УП ПВТЪВ ТЪ‡‚ЛЪТfl 0, ‡ ‰Оfl ‚ЪУ УИ ФУ‰- „ ЫФФ˚ – 1 Л Ъ.‰.

иУН‡КВП Ф ЛМˆЛФ ФУТЪ УВМЛfl НУ‰‡ тВММУМ‡– о‡МУ М‡ Ф ЛПВ В ЫТТНУ„У ‡ОЩ‡‚ЛЪ‡. ЗБfl‚ ЛБ Ъ‡·О. 3 ФВ ‚˚В ¯ВТЪ¸ ·ЫН‚ (УЪ – ‰У Ъ) Л Ф УТЫППЛ У‚‡‚ Лı ‚В-УflЪМУТЪЛ (˜‡ТЪУЪ˚), ФУОЫ˜ЛП 0,498; М‡ ‚ТВ УТЪ‡О¸М˚В

퇷Îˈ‡ 3

·ЫН‚˚ (УЪ Л ‰У Щ) Ф ЛıУ‰ЛЪТfl Ф Л·ОЛБЛЪВО¸МУ Ъ‡Н‡fl КВ ‚В УflЪМУТЪ¸ 0,502. н‡НЛП У· ‡БУП, ФВ ‚˚В ¯ВТЪ¸ ·ЫН‚ ·Ы‰ЫЪ ЛПВЪ¸ М‡ ФВ ‚УП ПВТЪВ БМ‡Н 0, ‡ УТЪ‡О¸М˚В ·ЫН‚˚ – 1. С‡ОВВ ТМУ‚‡ ‡Б‰ВОЛП ФВ ‚Ы˛ „ ЫФФЫ М‡ ‰‚В Ф Л·ОЛБЛЪВО¸МУ ‡‚МУ‚В УflЪМ˚В ФУ‰„ ЫФФ˚, Л ‰Оfl ‚ТВı ·ЫН‚ ФВ ‚УИ ФУ‰„ ЫФФ˚ М‡ ‚ЪУ УП ПВТЪВ ФУТЪ‡‚ЛП 0, ‡ ‰Оfl ‚ЪУ УИ ФУ‰„ ЫФФ˚ – 1. и УˆВТТ Ф У‰УОК‡ВЪТfl ‰У ЪВı ФУ , ФУН‡ ‚ Н‡К‰УП ФУ‰ ‡Б‰ВОВМЛЛ МВ УТЪ‡МВЪТfl У‚МУ У‰М‡ ·ЫН‚‡, НУЪУ ‡fl ·Ы‰ВЪ Б‡НУ‰Л У‚‡М‡ Т‚УЛП ‰‚УЛ˜- М˚П БМ‡НУП. иУОЫ˜ВММ˚И НУ‰ Ф Л‚У‰ЛЪТfl ‚ Ъ‡·О. 4, ТУ- „О‡ТМУ НУЪУ УИ ПВı‡МЛБП ФУТЪ УВМЛfl НУ‰‡ ТЪ‡МУ‚ЛЪТfl ТУ‚ТВП ФУМflЪМ˚П.

л ФУПУ˘¸˛ ˝ЪУ„У НУ‰‡ ПУКМУ Б‡НУ‰Л У‚‡Ъ¸ Л ‰ВНУ- ‰Л У‚‡Ъ¸ О˛·УВ ТУУ·˘ВМЛВ. з‡Ф ЛПВ , Щ ‡Б‡ “лУ У- ТУ‚ТНЛИ КЫ М‡О” НУ‰Л ЫВЪТfl Ъ‡Н:

10010011010000110010011010110011011110001111010000

1111100110100101001000010110110

йЪПВЪЛП, ˜ЪУ Ф Л ˝ЪУП МВЪ МВУ·ıУ‰ЛПУТЪЛ УЪ‰ВОflЪ¸ ·ЫН- ‚˚ ‰ Ы„ УЪ ‰ Ы„‡ ТФВˆЛ‡О¸М˚П БМ‡НУП, Ъ‡Н Н‡Н ‰ВНУ‰Л У- ‚‡МЛВ Б‰ВТ¸ ‚˚ФУОМflВЪТfl У‰МУБМ‡˜МУ. й‰М‡НУ Ф Л Ъ‡НУП НУ‰В О˛·‡fl У¯Л·Н‡ НУ‰Л У‚‡МЛfl ‰ВО‡ВЪ МВ‚УБПУКМ˚П ‰ВНУ‰Л У‚‡МЛВ ‚ТВ„У ТОВ‰Ы˛˘В„У Б‡ У¯Л·НУИ ЪВНТЪ‡.

퇷Îˈ‡ 4

м·В‰ЛПТfl, ˜ЪУ ТУТЪ‡‚ОВММ˚И М‡ПЛ НУ‰ Ф Л УЪТЫЪТЪ- ‚ЛЛ У¯Л·УН ‚ Т‡ПУП ‰ВОВ fl‚ОflВЪТfl УФЪЛП‡О¸М˚П. СОfl ˝ЪУ„У М‡И‰ВП ТМ‡˜‡О‡ Т В‰М˛˛ ЛМЩУ П‡ˆЛ˛, ТУ‰В К‡- ˘Ы˛Тfl ‚ У‰МУИ ·ЫН‚В ЪВНТЪ‡, ЪУ ВТЪ¸ ˝МЪ УФЛ˛ М‡ У‰МЫ ·ЫН‚Ы:

32

H= –∑ pi log pi = –0,145log0,145 –… –0,002log0,002 ≈

i= 1

≈4,42 ·ËÚ.

С‡ОВВ УФ В‰ВОflВП Т В‰МВВ ˜ЛТОУ ˝ОВПВМЪ‡ М˚ı ТЛП‚У- ОУ‚ М‡ ·ЫН‚Ы:

32

k = –∑ki pi = 3 0,145 + 3 0,095 + … + 9 0,002 ≈ 4,45.

i = 1

ÑÂÎfl ˝ÌÚ ÓÔ˲ H ̇ k, ФУОЫ˜‡ВП ЛМЩУ П‡ˆЛ˛ М‡ У‰ЛМ ˝ОВПВМЪ‡ М˚И ТЛП‚УО

н‡НЛП У· ‡БУП, ЛМЩУ П‡ˆЛfl М‡ У‰ЛМ ТЛП‚УО ·ОЛБ- Н‡ Н Т‚УВПЫ ‚В ıМВПЫ Ф В‰ВОЫ 1, Л, ТОВ‰У‚‡ЪВО¸МУ, ‚˚- · ‡ММ˚И М‡ПЛ НУ‰ ‚ВТ¸П‡ ·ОЛБУН Н УФЪЛП‡О¸МУПЫ.

З ТОЫ˜‡В КВ Ф УТЪВИ¯В„У НУ‰‡ П˚ ЛПВОЛ ЛБУ· ‡КВМЛВ Н‡К‰УИ ·ЫН‚˚ ФflЪ¸˛ ‰‚УЛ˜М˚ПЛ БМ‡Н‡ПЛ, Л ЛМЩУ П‡ˆЛfl М‡ У‰ЛМ ТЛП‚УО

˜ЪУ Б‡ПВЪМУ ПВМ¸¯В, ˜ВП Ф Л УФЪЛП‡О¸МУП НУ‰Л У‚‡- МЛЛ.

З Б‡НО˛˜ВМЛВ УЪПВЪЛП, ˜ЪУ НУ‰Л У‚‡МЛВ ФУ ·ЫН‚‡П ФУ ·УО¸¯УПЫ Т˜ВЪЫ МВ fl‚ОflВЪТfl УФЪЛП‡О¸М˚П, Ъ‡Н Н‡Н ПВК‰Ы ТУТВ‰МЛПЛ ·ЫН‚‡ПЛ УТП˚ТОВММУ„У ЪВНТЪ‡ ‚ТВ„‰‡

ЛПВВЪТfl Б‡‚ЛТЛПУТЪ¸. З Т‚flБЛ Т ˝ЪЛП У·ТЪУflЪВО¸ТЪ‚УП ·УОВВ ˝НУМУПМ˚И НУ‰ ПУКМУ ФУТЪ УЛЪ¸, ВТОЛ НУ‰Л У- ‚‡Ъ¸ Ъ‡НКВ Л ˆВО˚В ·ОУНЛ ЛБ ·ЫН‚. З ˜‡ТЪМУТЪЛ, ‚ ЫТТНУП ЪВНТЪВ ПУКМУ НУ‰Л У‚‡Ъ¸ Ъ‡НЛВ ˜‡ТЪУ ‚ТЪ В˜‡˛- ˘ЛВТfl НУП·ЛМ‡ˆЛЛ ·ЫН‚, Н‡Н ЪТfl, ‡ВЪ, МЛВ Л Ъ.Ф., Ф Л˜ВП Ф ЛМˆЛФ ‰‚УЛ˜МУ„У НУ‰Л У‚‡МЛfl ТУı ‡МflВЪТfl, ФУ˝ЪУПЫ НУ‰Л ЫВП˚В ·ОУНЛ ТОВ‰ЫВЪ ‡ТФУО‡„‡Ъ¸ ‚ ФУ fl‰НВ Ы·˚‚‡МЛfl ˜‡ТЪУЪ, Н‡Н Л ·ЫН‚˚ ‚ Ъ‡·О. 3.

ганЦкАнмкА

1.тВММУМ д. е‡ЪВП‡ЪЛ˜ВТН‡fl ЪВУ Лfl Т‚flБЛ // к‡·УЪ˚ ФУ ЪВУ ЛЛ Т‚flБЛ Л НЛ·В МВЪЛНВ. е.: аБ‰-‚У ЛМУТЪ . ОЛЪ., 1963. л. 243–332.

2.êÓ‰ÍË̇ А.Ö. й МВНУЪУ ˚ı ФУМflЪЛflı Л Ф У·ОВП‡ı ЩЛМ‡МТУ- ‚УИ П‡ЪВП‡ЪЛНЛ // лУ УТУ‚ТНЛИ й· ‡БУ‚‡ЪВО¸М˚И ЬЫ М‡О. 1998. ‹ 6. л. 122–127.

3.н‡ ‡ТВМНУ о.и. З‚В‰ВМЛВ ‚ НЫ Т ЪВУ ЛЛ ЛМЩУ П‡ˆЛЛ. нУПТН: аБ‰-‚У нУП. ЫМ-Ъ‡, 1963. 240 Т.

4.ü„ÎÓÏ А.å., ü„ÎÓÏ à.å. ЗВ УflЪМУТЪ¸ Л ЛМЩУ П‡ˆЛfl. е.: з‡ЫН‡, 1973. 512 Т.

5.ÇÂÌÚˆÂθ Ö.ë. нВУ Лfl ‚В УflЪМУТЪВИ. е.: з‡ЫН‡, 1964. 576 Т.

кВˆВМБВМЪ ТЪ‡Ъ¸Л û.è. ëÓÎÓ‚¸Â‚

* * *

ЙВММ‡‰ЛИ еЛı‡ИОУ‚Л˜ дУ¯НЛМ, ‰УНЪУ ЩЛБЛНУ-П‡ЪВ- П‡ЪЛ˜ВТНЛı М‡ЫН, Ф УЩВТТУ Н‡ЩВ‰ ˚ ЪВУ ВЪЛ˜ВТНУИ НЛ·В МВЪЛНЛ нУПТНУ„У „УТЫ‰‡ ТЪ‚ВММУ„У ЫМЛ‚В ТЛЪВ- Ъ‡. й·О‡ТЪ¸ М‡Ы˜М˚ı ЛМЪВ ВТУ‚ – ЪВУ Лfl ТЪ‡ЪЛТЪЛ˜ВТНУ„У УˆВМЛ‚‡МЛfl ‚ ЫТОУ‚Лflı МВУФ В‰ВОВММУТЪЛ Т Ф Л- ОУКВМЛflПЛ Н Ф У·ОВП‡П Л‰ВМЪЛЩЛН‡ˆЛЛ Л ЫФ ‡‚ОВМЛfl ‚ ТОУКМ˚ı ТЛТЪВП‡ı. лУ‡‚ЪУ ‰‚Ыı ПУМУ„ ‡ЩЛИ, ‡‚ЪУ Л ТУ‡‚ЪУ УНУОУ 60 М‡Ы˜М˚ı ТЪ‡ЪВИ ‚ УЪВ˜ВТЪ‚ВММ˚ı Л Б‡ Ы·ВКМ˚ı КЫ М‡О‡ı Л ‰‚Ыı Ы˜В·М˚ı ФУТУ·ЛИ ‰Оfl ТЪЫ- ‰ВМЪУ‚.