25. Детерминированные процессы. Примеры
К детерминированным относятся процессы, в которых все параметры определенны точно, однозначно и не содержат элементов случайности. Моделирование детерминированных процессов осуществляется в виде конкретных чисел или однозначно определенных закономерностей т.е. функций.
26. Стохастические процессы. Примеры
К стохастическим относятся процессы, в которых присутствуют элементы случайности. Моделирование стохастических процессов осуществляется в виде совокупности случайных величин, законов их распределения и параметров этих распределений.
27. Основные положения теории информации: информационная энтропия
Информация – это любые сведения в любой форме, первичным источником которых являются опыт и наблюдение. Среди основных положений ТИ основное место занимают энтропия и количество информации. Энтропия выступает как мера неопределённости, причём характеристика неопределённости может быть самой различной (неопределённость результатов будущего объекта, состояние системы и другое). Рассмотрение отношения вероятности приводит к не удобным и многоэтажным дробям, поэтому для выражения количества информации, при котором пользуются отношениями вероятности, удобно вывести логарифм вероятности. Количество переданной информации выражает отношение логарифма вероятности после получения информации Р1 к логарифму вероятности получения информации Р2.
Для
количественной оценки меры в теории
вероятности введено понятие «информационной
энтропии»:
28. Основные положения теории информации: св-ва информационной энтропии
Для количественной оценки меры в теории вероятности введено понятие «информационной энтропии»:
Информационная энтропия обладает следующими свойствами:
Значение Н должно монотонно возрастать с увеличением числа опытов;
Н=0, если имеется единственный исход опыта, т.е. k=1, то никакой не определённости не возникает и результат можно определить безошибочно;
оценка неопределённости должна обладать свойствами аддитивности в том смысле, что если в результате некоторого сложного опыта имеет место 2 одновременных исхода k1 и k2, то очевидно, что для таких опытов:
энтропия не может принимать отрицательных значений;
энтропия опыта =0, если одна из вероятностей =1, а все остальные =0
29. Основные положения теории информации: количество информации
График изменения энтропии для двух опытов.
Из графика следует, что максимальное значение энтропии соответствует равновероятностным событием, т.е. р1=р2=0,5 и при этом максимально значение энтропии =1. Тот факт, что максимум энтропии соответствует равновероятностным событиям хорошо согласуется со смыслом энтропии, т.е. в случае равновероятностных событий нельзя отдать предпочтение ни одному из них и поэтому труднее всего предвидеть результат. С целью устранения неопределённости и производиться моделирование процессов ставятся опыты и т. д. После проведения опытов неопределённость имеется лишь в простейших случаях, например некоторая погрешность в измерениях всегда остаётся вследствие погрешности приборов.
Если неопределённость до составляла Н’, неопределённость после опыта составляет Н’’, то очевидно, что в ходе опыта неопределённость будет составлять
-количество
информации.