Взаимная информация

I( X ;Y ) H ( X ) H ( X /Y )

I( X ;Y ) H (Y ) H(Y / X )

I( X ;Y ) H ( X ) H (Y ) H ( X ,Y )

p(xi , y j )log p( y j / xi )

I( X ;Y ) p(xi , y j )log p(xi / y j )

n m

n m

i 1 j 1

p(xi )

i 1 j 1

p( y j )

n

m

n m

p(xi

) log p(xi )

p( y j ) log p( y j ) p(xi , y j ) log p(xi , y j )

i 1

j 1

i 1 j 1

n m

n m

p( y j / xi ) p(xi ) log p(xi )

p(xi / y j ) p( y j ) log p( y j )

i 1 j 1

i 1 j 1

n m

p( y j ) p(xi / y j ) log{ p( y j ) p(xi

/ y j )}

i 1 j 1

p( y j ) p(xi / y j )

p(xi , y j ) log

n

m

i 1 j 1

p(xi ) p( y j )

p(xi , y j ) log p(xi / y j ) p(xi , y j ) log p( y j / xi )

n

m

n m

i 1 j 1

p(xi )

i 1 j 1

p( y j )

xk x

pk p(x)dx p(x) x

xk

n

Hдискр ( X ) p(xk ) x log{ p(xk ) x}

k 1

n

n

p(xk ) x log p(xk ) p(xk ) x log x

k 1

k 1

H ( X ) lim Hдискр ( X )

p(x) log p(x)dx log x

x