ТИК

1

I! "I# I$% ! !

!

& I

"! % ( ) % * $("

+ - 2009

3

2 0 A B 6 + A 20 "! 1 7 3 A + 1" +01 + 2 13

0915./0.: %. .E 2. – +: , 2009. – 29 .

3.3. *! ,3*! $ &! #* . ............................................................................................................... 14

4

1. ( )

! 1 7 3 A - + G 1 K, 6L01+ M ; 1 1 G K.

K - A 2 6 L 0; 6 + 5 1, 6K L 1, 2 + G 2 K 7 3 A. * B 2 +3 + 0 +5 1 - A 6 K G 3, 6L01 K, 2 6 6 0 5 9 + : ; 3 0; 2 +. 0 + K G : 3:

3 G L 01 : A, , 3 6 09+ K , K 0 L G 2 2 01A 1, A 3. # K 6'16 9 ; 6 3 + 3 N G L 0, 3 O 6 K01M 6 L 0; 2 A 2 1 3 1 3 +01 3 6 A 6 3 2 A. 3

6+ 0 3 ( 7 G K 09 3 B 6 0 5) G K 5 9 ; 1:

1 7 3 A, 1 0L 3, 1 3, + 0 +5 1 2 A B, 1 2 3 0; L

1 1 62 6 1 K 6.

% + G 0; 3 K (+ 9 +5 1 5 M ; 1 1948 , +2 + 2 K0 A) 5 9 ; 1 3 ; G K $ (Wiener, - 32 +) 0 + E (Shannon, 5 2 0 5 7 3 A).

$ L 9 K - 2 0 1 ( L 1 K), 2 6 +3 A M L + N :, 2 0 +, L, 2 0; 6 + G, 2 : +01 K, 2 6 L 0; L + K0 0 KG 09 0; : 3 N,

5 9G : + 3 2 !%. $+ 0 1 L 2 0 1 + 6 0 0 $

1 2 1 13 7 3 A, 2 0 N K G 1 6 2 + G 2 1 7 3 A.

; 2 A 2 2 0 1 2 01L M 3, O : + 1 0 : 3 K 2 + G 2 1 0 : 0; B L 2 01M ; 1 09M ; 1 6 + 2 3 L 9

0 : 0; B L, O ; 7 3 A 9. B 2 A 2 2 0 1 0 5 ;

L 6 A + K +;-1 : : 3: 3 G : 2, 5 : L 63 .2. + K 3, 1 + 1 2 1 1 L + 6 0 0 6L01+ 1 O 2 + 6 M+ G 6 + 0 A 0 B 1+ 2 3 0 : B, + 1 2 1 1 7 3 A + 6 01M 2 + B 6 M+ G 6 + G 1 01 : 2 A 6 M3 + 2 +.

! 1 7 3 A 2'16 6 3 6+ 0 3 3 3 1 1 B3 B 3 3 G , 5 2 0 + 0L K, 1 + 9 ; +01 3 3 G B 7 + 3. & N L K 1 7 3 A G 2 G 1 01M K 9 3 3 G B 7 + 3 6'16. # 9 7 3 A 6 L 0 6L01+ 9 ; 1 + 6 L 0

B3 B K 1 G 6'16. ! 3 G 3, 2 +3 "! 1 7 3 A" + ; 6; B, 3 O 6 3 5 "G 9" 3 3 9 2 0 + 3 (: G 3) 2 3

6'16.

! 1 7 3 A 1 01M K 9 3 3 G 9, 2 1G 3 7 3 A, 2, "63" 0 6'16 .2., K0 + +, 0 L 7, 0 K G 9 + N : 6 K 6'16. 2 G 1 K 0 2 1G 0 6'16, 6 G M3 3 + 5 9 : 0 G 9, 0 6 A 1 1 L K 0 2'16 6 0 13 2 1 K 0 3 L 3 2 3 9 13. & G B +2 + B 2 A K K 62 3, 0 3 L K + 3, 0 7 3 A 1 + 0 1, 2 3 + + 0 1. 3 L, 1 7 3 A G M 3 + 2 K + +, O 3 9 ; 0.

5

1.1. !"#$ $% &!'!() ! *(!+,-*#+,) !,. #/

7 3 A 1 – + K 5 1 0; L .

7 3 A 1 – A + 3, O M K'M 3 6K L 1, 2 + G 2 1. 0-KG 09 0; 3 N ( ) – A 7 6 G 3 (2 B K 320

2), 2 6 G +01 3 6 A 2 A 0L 3 G K K 7 3 A KG 0 ;. ! 3 G 3, KG 09 0; : (!) - L K 7 3 A B :.

7 3 A 1 – 0 ; K'M 1 O (2 A) 2 +5 6 3 1 , 1 6 + 2 3 L 9 + K 5 1 2 + 9 ; 1 + + L K'M + N L 6 2 3'1 9 ; 1 B L

.

7 3 A 1 ! 6 5+ A 2'16 6 2 3 3 + 013 K'M K 2 A.K 0;N 7 3 A B : 2 A K ; G ; K'M K'M (+5 0 2 B3 G).

1.2. 1-' !(- # /2 # 2! !%,. -+,-%-

7 3 A 1 6 5+ 2 + 01M ; 1 L01+ 2 + 30 ;. + 30 1 3 5 ; K K 62 +. 2 + 30 1 0 + 9 ; 1 6 A 3 5 0 3.

+ 30 1 2 + 9 ; 1 L01+ L 0.

L 0 – A K +;-1 63 K'M, 6+ 0 A 9 2 B3 G.

3 : 3 L 0 M:

•0 ; L 0 (T );

•G B 2 L 0 (Fc);

•2 5 ; L 0 (%);

•K'M3 L 0 (V ):

Vc = Tc * Fc * Pc.

01 + L +5 0 7 3 A +1 ; 2 1 1 2 L 07 1 2

3 0, O + K 5 9 ; K'M.

K'M K 2 B3 G 7 3 A M B 07 – 2 ; 3 0 +01 2 + G 2 1 2 L 07.

9 6 + G 9 ! M 2 3 0; 1 7 3 A B : : +5 0 2 + 30 ; 0 6'16 +01 2 K + +, O 6 K 62 G 9 ; 6 + L + ; 2 + 7 3 A 6 3 3 0; 3 50 9 N + 9 3 3 0; 3 3.

2.

$ 1865 . 3 A; B 7 6 % + 0;7 0 6 G 7 6 2 1 1 2

K 3 5 3.

$ 1921 . 6 K 0;N G 3 3 G , L0 MA; % 0+ ) N 2 N 3 "7 3 A 1" 3 3, 0 3 3 7 3 0 1 ; + 5 2 A 0; B :.

$ 1948 . 0 + E : K : 2 6'16 2 M 7 3 0 +01 KG 0 1 0; 7 3 A 1 2. ! 3 2 1 M ; 1 E 3 6 2 + 9 2 : 32'9 7 B3, O 3, O 3 E 3 +01 6'16 7 3 0 +01 6 : 6K L0 1 6 +2 + 3 7 3 0 3 G 7 6, 5 , O "G : 6 M" O 5 2 1.

9 ; : 2 13 2 1: 3 0; 7 3 A: ,

G 3 G.

6

2.1. 1, 3%,3 # # - # !"#/

3 : + L 2 +: + : M ; 1 0; + K + 7 3 A: 0; ; 7 3 A B : 0 3, 6'16 3 5 3, 3K A 6 A : 0 3.

7 3 A B B 0 3 – 2 + 0; G 2 + 30 1 – 7 3 A. % 6 6 19 ; 2 3 7 3 A:

1)L 3 G 3 7 3 A;

2)3K 3 7 3 A;

3)++ 3 7 3 A.

2.1.1. c 3 G 3 7 3 A

c 3 G B 3 + 3 7 3 A 6 B 3 + 5 0 B, 20 O K K'M3 L 3 G 3 + 0 + L 7 3 A B L 2 + 30 1. B 3 K01M ; 1

+ 1 : + : + A1: (: 7 3 A). c 3 G 3 3 + 3 6 G M ; 1 2 A B 3 3 0; 3 50 0; ; 7 3 A 6 + : : L K :. 1 0; ; 7 3 A 6 M ; 1 7 3 A B 9 M3 9.

2.1.2. 3K 3 7 3 A

3 : + L 2 +: + 0; ; 7 3 A 3 1M ; 1 1 0; ; 3K A B 0 3 7 3 A B : 3.

• G 0 2 0 G ;

• G 0 2

• Pn = n!

• G 0 63 O ; 6 2 3

Anm = nm

2 0 G 13 6 n 2 m 6 M ; 1 K m 0 3, K : 6 + : n 0 3. K, O + 6 19 ; 1 0; 2 1+ 3 2 : +5 1 0 3 (0 0 + 3), 5 9 ; 1

+ 3, A 3 2 0 G 1 + 6 19 ; 1 + 63 O ;.

% 63 O 13 6 n 0 3 2 m 6 M ; 1 2 1+ B K 6 m 6 : 0 3 + 1 n-0 3 3 5.

9 6 n 0 3 (6 G B G 0 1,2,...,n) 6 M ; 1 1 B 2 1+ B K 6 A : 0 3. 5 M 63 O 13 6 n 0 3 2 n.

! 2 + ; 1 2 + : , 6 G 1 3 50 : K + B : 3K A B, K A 63.

2.1.3. ++ 3 7 3 A. " 0

% 6L01 3 L-6 1+ G 0 + 0; B 3 G 0 1 6 9 h.

c0 K G 0 (h) – 0; ; 0 3 (3 0) 07 ( 3 G 0 1).

5 G 0 (L) – 0; ; 2 6 A B (6 1+). 5, ; L 3 5 2 + 6 : :

8

H=M[–logPi],

+ - 3 3 G G 1.

2.2.2. $0 2

1. 2 1 6 5+ L, H 0.

H=0, 1 O 2 + 2 9 6 G, K 2 P1 = 1, P2,3,…= 0. 2. 6 + 3 k Hmax=logk,

A; 3 2 + 2 1 6K L M ; 1 6 3 9 " 0 I, O +G ; 2 2

1 7 3 A B M3 3 (2 3 : 2 + 1:).

3.& G 1 7 A 2 H(P1…Pk) 63 9M ; 1 2 K +;-1 B 2 A B3 B %i. ! K 2 1 : M 63 2 + B.

4.) A 1 2 H(P1…Pk) K 62.

5.) A 1 2 6 + 0; 1M 2 B :

$0 ; 5 K L G 3 2'16 6 0 9 2.

6.) A 1 2 6 M 6 6K 0;N 13 G 0 k.

7.( O + 3 $ 6 0 5,

H(AB) = H(A) + H(B)

3. % 6L01+ 9 ; 1 + 6 : 3 + G : + 0 +5 1 +01 + L L 3 L 6 : 9 1. N + 0 +5 1 + M 2 0; B 2 2 A M 6 3 9 0,5; + L - 6 3 9 0,8. $6 G, 1 3 + G + 0 +5 1 3 M K 0;N 6 G ;.

01 + 0 +5 1 :

01 + 0 +5 1 $:

% N 1.

A = -%1 log1 – %2 log2. = -2 * 0,5 log 0,5 = 1 [K], HB = –0,8 log 0,8 – 0,2 log 0,2 = 0,8 [K].

2.2.3. 3 2 1

: B - 6 0 5 2 +. 6 L 0; 3 2 + +01 3 M 3 A:

9

01 6 L 0; 3 2 +:

& N A + 2 + B , + 3:

H( , ) = –P( 1 1)log( 1 1) – P( 1 2)log( 1 2) –…–P( 1 L)logP( 1 L)– –P( 2 1)log( 2 1)–– P( 2 2)log( 2 2)–…– P( 2 L)logP( 2 L)–…–

–P( k 1)log( k 1)– P( k 2)log( k 2)–…– P( k L)logP( k L)

% 6L01 3 2 N B 1+:

–P( 1)P 1( 1)(log( 1) + logP 1( 1)) – P( 1)P 1( 2)(log( 1) + logP 1( 2)) –…–

–P( 1)P 1( L)(log( 1) +logP 1( L)) = =1

–P( 1) (P 1( 1) +P 1( 2) +…+P 1( L)) logP( 1) +P( 1)* *(–P 1( 1)logP 1( 1)– P 1( 2)logP 1( 2)–…– P 1( L)logP 1( L)) = =–P( 1)log( 1) +P( 1)H 1( )

+ 0 B 6 – 2 3 2 1 6 3, O 1 +K 0 1.

6 G M ; 1 H 1( ).

0 L G 3 2 13 1+, O 6 0 N 0 1, +01 2 H( , ) 3 5 ; K 2 + + +:

H( , ) = –P( 1)log( 1) + P( 1)H 1( ) – P( 2)log( 2) + P( 2)H 2( )–…– –P( k)log( k) +P( k)H k( )=H( )+H ( )

c 2 + 0 : + + 6 M ; 1 6 L 0; 9 3 9 2 M9 + . 3 2 1 N 6 M ; 1 2 6 G 7 3 A B : 2 2 + G

7 3 A 6 0 6'16.

$ 7 3 A, O + +1 ; 1 + 3 0 2 L 07, 2 9 ; 1

2 M9 H i( ). $ +01 ; L 0 2 9 ; 1 2 M9 H ( ).

2.2.4. $0 3 2

1. & L 0; 3 2 1 + 6 5+ K 0;N K + 9M 09.

H ( ) 0

( O P( i) 0, i=1,k, H ( )=0 3 0; 3 2 +, 1 O

H 1( ) = H 2( ) =…=H k( )=0

K 2 +, 1 O 2 K +;-1 3 6 0; 6 0; 2 9 6 G B.

A; 3

H( , ) = H( ).

2 A A +2 + M 0 K 6 N 3.

( O 6 0 5,

H 1( ) = H 2( ) =…=H k( )=H( ) H ( )=H( ) H( )=H( )+H( )

2. + 1 3 5 0; 63 N (K 63) 6 G ; :

H( ) – H( ) <= H ( ) <= H( )

7 3 A B : 0 6'16 3 5 +01 2 0 2N 1 G : : 2 + : 2 + 30 ; N01: 3 2 + B L 2 1+ 1.

1)$6 G M3 + + 0 2 1+ M3 : 2 K 9 .

2)2 1+ M3 2 B 07 2 K 9 B3 B, + 0 2 9M3 + 3 0 3 3 0 2 L 07.

10

3. 2 1 K'M+ 1 2 + B 3 M 3 9: H( ) = H( )

6 A; L 20 M:

H( ) = H( ) + H ( ) = H( ) + H ( ) H ( ) = H( ) – H( )

H ( ) = H( ) – H( )

2.2.5. 2 1 7 3 A 1

w +;-1 2 B 1 2 + 30 1 2 63 N 6 G ; 2 B3 G O + +5 0.

0; ; 7 3 A – A 6 A1 3 5 2 9 2 2 13:

I = 2 – 2.

( O 6 0; + 0 + 2 9 6 3 M ; 1 6 G ; 3 ( 2=0), 0; ; 7 3 A, 2 + 3 + 0 + 3, G 0; + 9M 2 2 3.

2 0 +, + B : 7 3 A B : 3 : 2=0. 01 + 0; L 0 6'16:

I = H( ) – H ( )

+ H( ) - 6 G ; +5 0;

H ( ) – 2 ; 2 B3 G, K 1 O 2 B 1 j, 1 B3 ;, O K +2 0 B i.

2.2.6. $0 7 3 A

1. 7 3 A 1 3 M 3 G ;:

I( ) = I( ) = H( ) – H ( ) = H( ) – H ( ).

2.3 0; 0; ; 7 3 A, H( ) : + ; 2 H ( )=0, K 2 9 6 G M 0 K 6 2 N +.

3 0; 0; ; 7 3 A, 0, : + ; 2 H( )=H ( ), K H( ) H( ) 6 0 5 3 5 K 9.

3.( O M 3 6'16 : 3 5 K 9 2 + B , , ...

H( ) = I( , ) I( , ) I( , ) … I( , ) …

2.2.7. +3 ; 7 3 A & 2.2.2. 2.2.6. 20 M:

1) BK 0;N 0; ; 7 3 A : + ; +, 0 2 9 6 3 M ; 1 6 G ;

+ 1 2 + ( 2=0);

2) 6 G ; K + BK 0;N 2 3 3. A; 3: H = -log% = logk

+ k - 0; ; 3.

1 0 G +2 + M 3 3 0; 3 50 B 0; 7 3 A.

Da c = Hm – H

+ DaKc – K 09 +3 ;; D – + +3 ;;

m: – 3 3 0; 2 1, 3 50 6L01 B 3 (K 6 3 2 1);- 0; 2 1 6L01 3.

3. # 3 5 6 : 2 62 + 0 G : + +5 0 7 3 A 2 0 2N 1 ; 7 3 A 2 2 + G G 6 0, 2 0; 9 3 A 9 6 K 2 B3 G.