4. Определение энтропии и количественных единиц измерения. Вероятность результата в опыте и величина энтропии. Величина энтропии в опыте с равновероятными и с не равновероятными исходами.

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит

Величина энтропии с равновероятными исходами: Энтропия - мера неопределенности опыта, имеющего n равновероятных исходов: f(n) = log₂n

n – равновероятные исходы в опыте

f(n) = Н – энтропия

Логарифм выбран, т.к. соответствует свойствам: f(1)=0;f(n) возрастает с ростом n;

f(a умножить на b)=f(a)+f(b), где a умножить на b – сложный опыт и результат 1опыта не может повлиять на 2;

Основание «2» выбрано по свойству логарифма (отношение логарифмов по любому основанию), также оно является удобным основанием, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) Т.е. Н=log₂n

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит.

Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все n исходов равнозначны, разумно допустить, что и их неопределенности одинаковы. Из свойства аддитивности неопределенности, а также того, что общая неопределенность равна log₂n, следует, что неопределенность, вносимая одним исходом составляет 1/nlog₂n=-1/nlog₂1/n=-plog₂p, где p=1/n - вероятность любого из отдельных исходов. Таким образом, неопределенность, вносимая каждым из равновероятных исходов, равна: H = - p log₂p

Величина энтропии с не равновероятными исходами: например, p(A₁) и p(A₂) тогда:

H₁ = - p(A₁) log₂ p(A₁)  и  H₂ = - p(A₂) log₂ p(A₂); H = H₁ + H₂ = -p(A₁) log₂ p(A₁) - p(A₂) log₂ p(A₂), где A₁, A₂ - исходы 1 и 2 опыта. Таким образом применяя n-количество опытов

Н = - (сумме от i=1 до n (p(A_i) log₂ p(A_i))

5. Энтропия сложного опыта, состоящего из ряда независимых опытов. Условие максимальной энтропии термодинамической системы и опыта с множественными исходами.

Энтропия сложного опыта, состоящего из нескольких независимых, равна сумме энтропий отдельных опытов: f(n1 умножить на n2)=f(n1)+f(n2), где n1 умножить на n2 – сложный опыт и результат 1опыта не может повлиять на 2

Пусть имеется два опыта с одинаковым числом исходов n, но в одном случае они равновероятны, а в другом – нет, тогда выполняется следующее:

Н = - (сумме от i=1 до n (p(A_i) log₂ p(A_i)) <= log₂n. При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами, т.е. энтропия максимальна в опытах, где все исходы равновероятны.

Впервые понятие энтропии было введено в 1865 г. немецким физиком Рудольфом Клаузиусом как функции состояния термодинамической системы, определяющей направленность самопроизвольных процессов в системе. Клаузиус сформулировал II начало термодинамики. В частности, он показал, что энтропия достигает максимума в состоянии равновесия системы. Позднее (в 1872 г.) Людвиг Больцман, развивая статистическую теорию, связал энтропию системы с вероятностью ее состояния, дал статистическое (вероятностное) толкование II-му началу термодинамики и, в частности, показал, что вероятность максимальна у полностью разупорядоченной (равновесной) системы, причем, энтропия и термодинамическая вероятность оказались связанными логарифмической зависимостью. Другими словами, в физике энтропия оказывается мерой беспорядка в системе. При этом беспорядок понимается как отсутствие знания о характеристиках объекта (например, координат и скорости молекулы); с ростом энтропии уменьшается порядок в системе, т.е. наши знания о ней.

6. Энтропия сложного опыта, состоящего из ряда зависимых опытов. Условие максимальной энтропии опыта с множестсвенными исходами. Соотношение энтропии в опытах с зависимыми и независимыми результатами (условной и безусловной энтропий).

Условная энтропия – энтропия сложного опыта, где на результат опыта b влияет результат опыта a, зависимые опыты. Тогда р(A_i умножить на B_j)=p(A_i)умножить на p_Ai(B_j), где p_Ai(B_j) - вероятность наступления исхода B_j при условии, что в первом опыте имел место исход A_i.

Тогда: log₂р(A_i умножить на B_j) = log₂ p(A_i) + log₂p_Ai(B_j), Н(a умножить на b)= Н(a) + H_a(b)

Если опыты a и b независимы, то, H_a(b)=H(b) причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт a не может повысить неопределенность опыта b ; он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию b. Т.е. 0<= H_a(b)<= H(b) – условная энтропия не превышает безусловную. Н(a умножить на b)<= Н(a)+ H(b), причем равенство достигается, когда а и b независимы