1)

Информация

Информация -- фундаментальное, первичное понятие информатики. Информация [1] (от лат. Informatio - разъяснение, осведомление, изложение) -- отражение внешнего мира с помощью знаков и сигналов. В быту под информацией понимают сведения об окружающем мире и протекающих в нем процессах, воспринимаемые человеком или специальными устройствами В технике информация -- сообщения, передаваемые в виде последовательности знаков или сигналов В теории информации под информацией понимают только сведения, уменьшающие существовавшую до их появления неопределенность (Информация -- это снятая неопределенность. (К. Шеннон)) В кибернетике (теории управления) информация -- та часть знаний, которая используется для ориентирования, активного действия, управления, т. е. в целях сохранения, совершенствования, развития системы В семантической теории -- сведения, обладающие новизной В документалистике -- все, что в так или иначе зафиксировано в знаковой форме в виде документов. По отношению к окружающей среде информация бывает входная (получается от окружающей среды); выходная (выдается в окружающую среду); внутренняя (внутрисистемная). По отношению к конкретной задаче, проблеме исходная (существовавшая до начала обработки); промежуточная (от начала до завершения обработки); результирующая (после завершения обработки). По изменчивости постоянная (никогда не изменяемая); переменная (изменяемая в процессе работы); смешанная (условно-постоянная или условно-переменная). Прочие классификации информации: по полноте, по принадлежности (территории, физическому или юридическому лицу и т.д.), по доступу, по предметной области, по характеру использования (коммерческая, справочная, учебная и т.п.) и др Ноосфера (от греч. noos -- мысль, разум и sphaira -- сфера) Сфера деятельности человеческого разума. Современное состояние биосферы, возникшее в процессе деятельности человека. (Понятие впервые введено В. И. Вернандским) Основные свойства информации полнота (<<Недоученный хуже неученого>>); объективность; достоверность; актуальность (необходимость, своевременность); интерпретируемость (понятность); кодируемость и экономичность кодировки; избыточность; защищенность и помехоустойчивость. Методы получения и использования информации Эмпирические методы наблюдение; сравнение; измерение; эксперимент. Теоретические методы идеализация (мысленное исследование упрощенных, не существующих в действительности подобий изучаемых систем); формализация (описание системы с помощью формальных языков, например, математических формул, и исследование полученной модели); аксиоматизация (получение знаний на основе принятия некоторых аксиом); виртуализация (исследование системы в искусственно созданной среде, обстановке, ситуации). Эмпирико-теоретические методы абстрагирование (установление общих свойств объектов путем отбрасывания несущественных деталей); анализ (разбиение системы на подсистемы); синтез (объединение подсистем в систему); индукция (переход от частного к общему); дедукция (переход от общего к частному); моделирование, макетирование; визуализация и др.   Носители информации Информация всегда связана с материальным носителем Носитель информации -- среда для записи и хранения информации Сигнал -- способ передачи информации. Это физический процесс, какая-либо характеристика которого изменяется во времени. Сигнал может быть дискретным или аналоговым. Аналоговый сигнал -- сигнал, непрерывно (плавно) изменяющийся во времени Дискретный сигнал может принимать конечное число значений, скачком переходя от одного такого значения к другому Для работы с аналоговыми сигналами цифровыми методами выполняют их дискретизацию   Измерение информации 3.1  Объемный способ измерения информации Технический способ измерения количества информации (или, точнее, информационного объема сообщения) основан на подсчета количества символов, из которых образовано сообщение. При этом не учитывается смысловое содержание сообщения. Например, многократное повторение одного и того же текста не несет новой информации, однако в результате занимает больший объем памяти, требует большего времени для передачи и т.п. Поэтому этот способ удобен в технических расчетах За 1 бит в этом случае принимается один двоичный символ в сообщении 3.2  Алгоритмическое измерение информации А. Н. Колмогоров (1965 г.): Алгоритмическая сложность некоторой последовательности данных определяется как минимальная длина вычислительного алгоритма, который мог бы воспроизвести заданную последовательность 3.3  Вероятностный подход к измерению количества информации 3.3.1  Мера Р. Хартли Американским инженером Р. Хартли в 1928 г. получена формула для определения количества информации, получаемой при реализации одного из N равновероятных состояний H = logaN = -logaP, (1) где a -- основание системы,  N -- количество равновозможных состояний,  P -- вероятность реализации состояния. При a = e единица измерения называется <<нат>>, при a = 2 -- <<бит>>, при a = 10 -- <<дит>> Пример 1 ДНК человека можно представить как некоторое слово четырехбуквенного алфавита, где буквы соответствуют нуклеотидам1. Определим, какое количество информации содержит ДНК, если она состоит примерно из 1.5×1023 нуклеотидов. Так как алфавит -- четырехбуквенный, каждый символ слова несет log24 = 2 бита информации. Следовательно ДНК в целом позволяет хранить 3×1023 бит или около 3×1010 Терабайт информации. 3.3.3  Мера К. Шеннона Американский математик и инженер К. Шеннон в 1948 г. получил формулу для расчета количества информации, содержащейся в системе, обладающей произвольным набором неравновероятных (в общем случае) состояний I = -   pilog2pi, (2) где n -- число возможных состояний системы, pi -- вероятность i-го состояния (причем pi = 1) Чем меньше вероятность наступления события, тем большую информацию это событие несет

Сложная система — система, состоящая из множества взаимодействующих составляющих (подсистем), вследствие чего сложная система приобретает новые свойства, которые отсутствуют на подсистемном уровне и не могут быть сведены к свойствам подсистемного уровня.

1.1. Что такое сложные системы?…Компьютеры все более выходят на тот уровень, когда их можно будет считать сложными системами. В особенности это относится к компьютерам так называемого 5-го поколения, в которых обработка информации идет на смену перемалыванию чисел, столь характерному для современных компьютеров…Системы могут быть сложными не только потому, что они состоят из большого числа частей: мы можем говорить и о сложности поведения. Так, очень сложными могут быть различные проявления человеческого поведения (а могут и не быть), например те, изучением которых занимается психология. С другой стороны, нас восхищает также высокая степень координации мышц при движении, дыхании и т.д. Наконец, современная наука сама по себе является сложной системой, что становится совершенно ясным, если принять во внимание огромное число различных областей знания...Сложные системы предназначены для выполнения определенных функций, и , как показывает тщательный анализ, эти функции могут быть выполнены только сложной системой, состоящей из многих согласованно действующих частей…С одной стороны мы имеем системы созданные человеком, спроектированные и построенные льдьми. Это машины или конструкции, предназначенные для решения определенных задач. С другой стороны, существует очень много сложных систем в природе, созданной самой природой, или, иначе говоря, возникших в результате самоорганизации. Совершенно очевидно в этой связи, что в биологии важную роль играет эволюционный подход, или дарвинизм, представляющий собой попытку понять, почему и как в ходе эволюции возникают все более и более сложные системы…По-видимому, наиболее сложной системой в мире является головной мозг человека, состоящий из 1010 или более нервных клеток…Современное определение сложной системы опирается на понятие алгебраической сложности. По крайней мере в определенных пределах систему можно описать как строку, или последовательность данных, например, флуктуирующей интенсивности света, приходящего от звезд, или температурой кривой больного, где данные представляются числами. Итак, рассмотрим какую-нибудь последовательность чисел и попробуем определить сложность такой последовательности. Если иметь в виду конкретные примеры числовых последовательностей, например последовательность 1, 4, 9, 16, 25, 36 …, то нетрудно понять, что такая последовательность может быть образована по простому закону, в нашем случае по закону n2, где n - целое число. Следовательно, если нам задана строка данных, то позволительно спросить, существует ли компьютерная программа и множества начальных данных, по которому эта программа может вычислить всю строку данных. Разумеется, длина программы может варьироваться в зависимости от конструкции компьютера. Следовательно, для того, чтобы мы смогли сравнить длину программ, нам необходим универсальный компьютер. Не вдаваясь в детали, можно утверждать, что такой универсальный компьютер может быть построен по крайней мере в мысленном эксперименте, как это было показано Тьюрингом. Далее основная идея состоит в том, чтобы сжать до минимума программу и начальное множество данных. Минимальная длина программы и множества начальных данных служит алгебраической мерой сложности. Однако у такого определения есть уязвимое место. Как показывает, знаменитая теорема Геделя, проблема нахождения минимальной программы и минимального обьема начальных данных не имеет универсального решения. Иначе говоря, не существует общего алгоритма, который позволил бы решить эту проблему. Такого рода алгоритмы удается создавать только в отдельных частных случаях. Как показывает, знаменитая теорема Геделя, проблема нахождения минимальной программы и минимального обьема начальных данных не имеет универсального решения. Иначе говоря, не существует общего алгоритма, который позволил бы решить эту проблему. Такого рода алгоритмы удается создавать только в отдельных частных случаях. Лишь изредка кому-нибудь приходит в голову остроумная идея, позволяющая неожиданно просто решить трудную задачу. Рассмотрим в качестве примера газ. Можно было попытаться проследить траектории отдельных частиц и их столкновения, а затем построить функцию распределения скоростей частиц. Если иметь в виду решение этой задачи в смысле макроскопического описания, то она так и не была решена. Но простой и изящный вывод функции распределения, известный под названием распределения Больцмана, удалось осуществить в рамках статистической механики, не прибегая к микроскопическому подходу, а используя понятие энтропии. Можно привести ряд примеров, показывающих, что существует оригинальные подходы, позволяющие найти неожиданно простое решение проблемы, первоначально казавшейся почти неприступной. Резюмируя, можно сказать, что мы отчетливо сознаем, сколь тонкое понятие сложность. Главная цель нашей книги как раз и состоит в том, чтобы предложить с единой точки зрения некоторые оригинальные подходы, позволяющие эффективно решать проблемы, связанные со сложными системами. Сложные системы можно рассматривать с различных точек зрения. Например, биологическую систему можно рассматривать на макроскопическом уровне, исследуя ее поведение, или на промежуточном уровне, изучая функционирование ее органов, или, наконец, заняться исследованием химии ДНК. Обьем данных, которые иногда бывает необходимо собирать тем, кто занимается изучением сложных систем, часто оказывается необьятно большим. Кроме, того, выбрать априори нужный аспект исследования не представляется возможным, и прежде чем построить более или менее адекватную модель сложной системы, приходится проходить соответствующий курс обучения

1.2. Как подходить к исследованию сложных систем?…Чем больше дифференцируется наука, распадаясь на отдельные дисциплины, тем большее значение обретает поиск унифицирующих принципов.Для описание системы на микроскопическом уровне необходимо огромное количество данных, которое в настоящее время не в состоянии обработать ни человек, ни даже общество в целом. Следовательно, сбор данных и мышление требуют своего рода экономии… При поиске универсальных законов разумно спросить, на каком уровне мы хотим их сформулировать - на микроскопическом или на макроскопическом. В зависимости от ответа мы можем прийти к совершенно различному описанию одной и той же системы. Например, на микроскопическом уровне газ совершенно беспорядочен, тогда как на макроскопическом уровне газ практически однороден., т.е. бесструктурен. В отличие от газа кристалл обладает строгой упорядоченностью на микроскопическом уровне, но на макроскопическом уровне также однороден. В биологии мы встречаемся с иерархией уровней от молекулярного уровня через уровни клеток и органов до уровня всего растения или животного. Такое разбиение на уровни может оказаться слишком грубым, и адекватный выбор уровня - задача отнюдь не тривиальная. Кроме того, микроскопичность и макроскопичность уровней становятся относительными понятиями. Например, биомолекулу можно считать макроскопической по сравнению с образующими ее атомами, но микроскопической по сравнению с клеткой. Кроме того, на каждом уровне мы сталкиваемся со специфической организацией или структурой…Чтобы иметь дело со сложными системами, нам весьма часто приходится заниматься поиском адекватных переменных или соответствующих величин для описания свойств этих систем. Во всех случаях макроскопическое описание позволяет достигать колоссального сжатия информации, поскольку мы занимаемся рассмотрением не индивидуальных микроскопических данных, а глобальных свойств. Важный шаг в исследованиях сложных систем состоит в установлении соотношений между различными макроскопическими величинами. Эти отношения являются следствием микроскопических событий, которые, однако, неизвестны или известны только частично. Примером такого рода мы находим в термодинамике, где, например, формулируется закон, связывающий давление и температуру в газе, а в статистической механике этот закон выводится из микроскопических законов. В общем случае нам остается лишь догадываться о том, какие микроскопические события приводят в конечном счете к макроскопическим данным…Одновременно мы увидим, что на достаточно абстрактном уровне между поведением сложных систем существуют глубокие аналогии, или, иначе говоря, что сложное поведение может быть реализовано на совершенно различных субстратах. Очень часто мы замечаем, что чем сложнее система, тем сильнее сходство между особенностями ее поведения и поведения человека

1.4. Самоорганизация…Однако, различие между системами, созданными человеком, и самоорганизующими системами не является четко выраженным. Например, люди могут создавать такие системы, что при наличии определенных ограничений их специфическая функция будет осуществляться путем самоорганизации. Типичным примером такой системы может служить лазер. Устройство лазера с его зеркалами позволяет атомам активной среды испускать излучение особого рода. Совершенно очевидно, что когда-нибудь возникнет необходимость в создании компьютеров, самопрограммирующихся на основе самоорганизации

1.5.1. Термодинамика…Термодинамика - одна из областей физики, позволяющая рассматривать произвольно сложные системы с единой точки зрения…Центральным понятием в термодинамике является энтропия. Это понятие, относится к системам, находящимся в тепловом равновесии, которое можно охарактеризовать температурой Т

1.5.2. Статистическая физика В этой области физики предпринимается, в частности, попытка вывести феноменологические макроскопические законы термодинамики из микроскопической теории…Центральным понятием и в этом случае является энтропия S. Согласно Больцману, она связана с числом W различных микроскопических состояний, порождающих одно и тоже макроскопическое состояние системы соотношением S = k ln W, где k - постоянная Больцмана. Решающее значение имеет так и не получивший убедительного ответа вопрос о том, почему макроскопические явления необратимы, хотя все фундаментальные законы обратимы

1.5.3. Синергетика…Третий подход к формулировке универсальных законов, применимых к сложным системам - синергетический. В этой области мы изучаем системы, которые могут путем самоорганизации образовывать пространственные, временные или функциональные структуры. В синергетике занимаются изучением систем, далеких от равновесия…Предполагается, что на рассматриваемую систему наложены внешние связи, такие, как вполне определенное количество энергии, подводимой к системе. При изменении этого управляющего параметра может возникнуть неустойчивость, и система переходит в новое состояние. В синергетике показано, что в такой точке потери устойчивости, неустойчивыми становятся, вообще говоря, небольшое число коллективных мод, которые служат параметрами порядка, описывающими макроскопическую структуру. В то же самое время, эти макроскопические переменные, т.е. параметры порядка, определяют поведение микроскопических частей системы в силу принципа подчинения. Так возникновение параметров порядка и их способность подчинять позволяют системе находить свою структуру. При изменении управляющих параметров в широком диапазоне, системы могут проходить через иерархию неустойчивостей и сопровождающих их структур...С одной стороны, мы всегда можем погрузить открытую систему в обьемлющую ее замкнутую систему. Но с другой стороны, любую открытую систему можно рассматривать в пределе, когда потоки вещества и энергии стремятся к нулю, и мы в конечном счете имеем дело с замкнутой системой. Следовательно, общие законы термодинамики должны получаться как предельные случаи из общих законов синергетики

1.6. Информация Использование слова информация приводит к многим недоразумениям. Это связано с тем, что оно имеет много различных значений. В обыденном языке это слово используется в смысле сообщение или сведения. Письмо, телевизионная передача или телефонный разговор несут информацию. В дальнейшем мы будем использовать слово информация в его научном значении. Мы начнем с понятия шенноновской информации, согласно которому информация оценивается независимо от ее смысла. Затем мы кратко рассмотрим информацию в связи с передачей сигналов и, наконец, коснемся проблем самозарождения смысла

1.6.1. Шенноновская информация: изгнание смыслового содержания Подробно мы рассмотрим понятие информации по Шеннону в гл.3...Рассмотрим, например, такой язык как английский. Буквы его алфавита a, b, c,…можно обозначить числами 1,2,3…т.е. установить соответствие а - 1, b - 2, и т.д. Затем мы может подсчитать частоты N(j), с которыми встречаются в какой-нибудь книге, или, быть может, библиотеке буквы а, b, c. Определим относительную частоту буквы, обозначенной нами j, как величину

p(j) = N(j)/N,

где N - общее число подсчитанных букв: N = Sum N(J).

Средняя информация, приходящаяся на одну букву в обследованной книге (или библиотеке) определяется выражением

i = - Sum p(j) log p(j)

(сумма по j, log - по основанию 2)

Шеннон использовал определение информации при изучении пропускной способности канала связи - способность передавать информацию даже при наличии помех. Для дальнейшего особое значение имеют две особенности шенноновской информации:

1). Шенноновская информация никак не связана со смыслом передаваемого сигнала. В его концепцию информации не входят такие ее аспекты, как осмысленность, полезность или бесполезность и т.д.

2). Шенноновская информация к замкнутым системам. Имеется ограниченный резервуар сигналов, число которых равно Z

1.6.2. Как информация действует на систему…В этом разделе мы хотим кратко изложить новый подход, который можно рассматривать как шаг в концепции информации, включающий семантику. К основной идее этого подхода приводит следующее замечание: смысл сигналу можно приписать только в том случае, если мы примем во внимание отклик того, кто принял сигнал. Так мы приходим к понятию относительной значимости сигналов…Распознавание образов можно рассматривать как обработку поступающих сигналов приемником, например мозгом или машиной. Я полагаю, что распознавание образов, по крайней мере в общих чертах, представляет собой многоэтапный процесс, в котором активную роль играет приемник. На первом этапе образ воспринимается на глобальном уровне, на котором возможны переходы из начального состояния в несколько аттракторов. Затем включается сенсорная система, позволяющая учесть дополнительные особенности изображения и тем самым выбрать более тонко детализированное множество аттракторов. Более конкретно это означает следующее. На первом этапе воспринимаются, например, общие очертания контурных линий обьекта, т.е. устанавливается, что по своим очертаниям он близок к окружности, прямоугольнику и т.д. Затем в случае окружности возникает необходимость дифференцирования нескольких аттракторов: яблоко, человеческое лицо, колесо, дерево. Приемник может запросить о недостающих деталях, например о цвете, наличии вертикальной линии внутри окружности (нос?) и т.д. Так, шаг за шагом, процесс распознавания образов может быть продолжен.

Детерминированныминазываются модели, в которых отсутствуют какие бы то ни было случайные изменения: внешних воздействий, внутренних параметров и самих переменных. В таких моделях все поведение объекта определяется конкретными значениями начальных условий и входных переменных. Иначе говоря, в них все точно определено (детерминировано).

Вероятностнымиявляются модели, в которых учитывается случайный характер изменений значений входных, промежуточных и выходных переменных, а также параметров моделируемого объекта. В том случае, когда независимой переменной служит время, случайные процессы, а также и соответствующие вероятностные модели, их описывающие, называются стохастическими. Такие модели характеризуются функциями или плотностями распределения вероятностей и средними характеристиками смещения и рассеяния, например, математическим ожиданием и дисперсией.

Информационный принцип максимальной энтропии был сформулирован американским физиком Е. Джейнсом. Этот принцип используется при решении задач, в которых незнание деталей механизма процесса можно свести к неопределенности статического типа (в нашем случае описание процесса разделения). Сам принцип можно сформулировать следующим образам: Если мы делаем выводы на основе неполной информации (выбираем некоторую модель процесса), то должны опираться на такое распределение вероятностей, которое имеет максимальную энтропию, допускаемую уже имеющейся априорной информацией. Этот принцип имеет простое обоснование, дело в том, что все естественные процессы в природе протекают в сторону увеличения энтропии, причем по одной единственной причине: имеется гораздо больше возможностей перейти из состояния с меньшей энтропией в состояние с большей энтропией, чем наоборот. Результаты, получаемые на основе принципа максимальной энтропии, следует рассматривать, как наиболее правдоподобные Принцип максимальной энтропии не имеет нормальных доказательств и вводится как постулат.

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Информационная двоичная энтропия для независимых случайных событий   с   возможными состояниями (от   до  ,   — функция вероятности) рассчитывается по формуле

Эта величина также называется средней энтропией сообщения. Величина   называется частной энтропией, характеризующей только  -e состояние.

Таким образом, энтропия события   является суммой с противоположным знаком всех относительных частот появления события  , умноженных на их же двоичные логарифмы^[1]. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

нформационная двоичная энтропия для независимых случайных событий   с   возможными состояниями (от   до  ,   — функция вероятности) рассчитывается по формуле

Эта величина также называется средней энтропией сообщения. Величина   называется частной энтропией, характеризующей только  -e состояние.

Таким образом, энтропия события   является суммой с противоположным знаком всех относительных частот появления события  , умноженных на их же двоичные логарифмы. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Определение по Шеннону

Клод Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

2. в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;

3. должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Поэтому функция энтропии   должна удовлетворять условиям

1.  определена и непрерывна для всех  , где   для всех   и  . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)

2. Для целых положительных  , должно выполняться следующее неравенство:

3. Для целых положительных  , где  , должно выполняться равенство

Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид

где   — константа (и в действительности нужна только для выбора единиц измерения; например, посредством этой константы можно изменить основание логарифма).

Шеннон определил, что измерение энтропии ( ), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. (см. цепи Маркова).

Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.

Це́пь Ма́ркoва — последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого.

Последовательность дискретных случайных величин   называется простой цепью Маркова (с дискретным временем), если

.

Таким образом, в простейшем случае условное распределение последующего состояния цепи Маркова зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от цепей Маркова высших порядков).

Область значений случайных величин   называется простра́нством состоя́ний цепи, а номер   — номером шага.

Матрица  , где

называется ма́трицей перехо́дных вероя́тностей на  -м шаге, а вектор  , где

— нача́льным распределе́нием цепи Маркова.

Очевидно, матрица переходных вероятностей является стохастической, то есть

.

Цепь Маркова называется одноро́дной, если матрица переходных вероятностей не зависит от номера шага, то есть

.

В противном случае цепь Маркова называется неоднородной. В дальнейшем будем предполагать, что имеем дело с однородными цепями Маркова.

Из свойств условной вероятности и определения однородной цепи Маркова получаем:

,

откуда вытекает специальный случай уравнения Колмогорова — Чепмена:

,

то есть матрица переходных вероятностей за   шагов однородной цепи Маркова есть  -я степень матрицы переходных вероятностей за 1 шаг. Наконец,

.

Уравнение Колмогорова — Чепмена для однопараметрического семейства непрерывных линейных операторов   в топологическом векторном пространстве выражает полугрупповое свойство:

Чаще всего этот термин используется в теории однородных марковских случайных процессов, где   — оператор, преобразующий распределение вероятностей в начальный момент времени в распределение вероятности в момент времени   ( ).

Для неоднородных процессов рассматриваются двухпараметрические семейства операторов  , преобразующих распределение вероятностей в момент времени   в распределение вероятности в момент времени   Для них уравнение Колмогорова—Чепмена имеет вид

Для систем с дискретным временем параметры   принимают натуральные значения.

Формально дифференцируя уравнение Колмогорова—Чепмена по   при   получаем прямое уравнение Колмогорова:

где

Формально дифференцируя уравнение Колмогорова — Чепмена по   при   получаем обратное уравнение Колмогорова

Необходимо подчеркнуть, что для бесконечномерных пространств оператор   уже не обязательно непрерывен, и может быть определен не всюду, например, быть дифференциальным оператором в пространстве распределений.

Уравнение Фоккера — Планка  — одно из дифференциальных уравнений в частных производных, описывает временну́ю эволюцию функции плотности вероятности координат и импульса частиц в процессах, где важна стохастическая природа явления. Названо в честь нидерландского и немецкого физиков Адриана Фоккера и Макса Планка, также известно как прямое уравнение Колмогорова. Может быть обобщено на другие измеримые параметры: размер (в теории коалесценции), масса и т. д.

первые уравнение было использовано для статистического описания броуновского движения частиц в воде. Хотя броуновское движение описывается уравнениями Ланжевена, которые могут быть решены численно методом Монте-Карло или методами молекулярной динамики, задачу в такой постановке часто трудно решить аналитически. И, вместо сложных численных схем, можно ввести функцию плотности вероятности  , описывающую вероятность того, что частица имеет скорость в интервале  , если в момент времени 0 она имела начальную скорость  , и записать для   уравнения Фоккера — Планка.

Общая форма уравнения Фоккера — Планка для   переменных:

где   — вектор сноса и   — тензор диффузии, причём диффузия вызвана действием сил стохастической природы.

Уравнение Фоккера — Планка может быть использовано для расчёта плотности вероятности в стохастических дифференциальных уравнениях. Рассмотрим следующее стохастическое дифференциальное уравнение

где   — функция состояния системы, а   — стандартное  -мерное броуновское движение. Если начальное распределение задано как  , то плотность вероятности   состояния системы   является решением уравнения Фоккера — Планка со следующими выражениями для сноса и диффузии соответственно: