Вопрос № 22 метод половинного деления

Метод половинного деления или дихотомии (дихотомия - сопоставленность

или противопоставленность двух частей целого) при нахождении корня

уравнения f(x)=0 состоит в делении пополам отрезка [a; b], где находится

корень. Затем анализируется изменение знака функции на половинных отрезках,

и одна из границ отрезка [a; b] переносится в его середину. Переносится та

граница, со стороны которой функция на половине отрезка знака не меняет.

Далее процесс повторяется. Итерации прекращаются при выполнении одного из

условий: либо длина интервала [a; b] становится меньше заданной погрешности

нахождения корня ?, либо функция попадает в полосу шума ?1 – значение

функции сравнимо с погрешностью расчетов.

Вопрос № 23 основные свойства энтропии. Информационная энтропия источника и термодинамическая энтропия

1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятностей p_n находятся в интервале 0-1, значения log p_n всегда отрицательны, а значения -p_n log p_n в (1.4.2) соответственно положительны.

2. Энтропия - величина ограниченная, т.к. при p_n  0 значение -p_n log p_n также стремится к нулю, а при 0 < p_n  1 ограниченность суммы всех слагаемых очевидна.

3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1).

4. Энтропия максимальна при равной вероятности всех состояний источника информации:

Термодинамическая энтропия S, часто просто именуемая энтропия, в химии и термодинамике является функцией состояния термодинамической системы.

Энтропи́я (информационная) — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Так, возьмём, например, последовательность символов, составляющих какое-либо предложение на русском языке. Каждый символ появляется с разной частотой, следовательно, неопределённость появления для некоторых символов больше, чем для других. Если же учесть, что некоторые сочетания символов встречаются очень редко, то неопределённость ещё более уменьшается (в этом случае говорят об энтропии n-ого порядка, см. Условная энтропия).

Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу. Ср. тж. Термодинамическая энтропия

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а следовательно и энтропия) очевидно меньше. Для учёта таких фактов используется условная энтропия.