Теория информации

Теория информации — комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи, хранения и классификации информации.

Рассматривает носители информации как элементы абстрактного (математического) множества, а взаимодействия между носителями как способ расположения элементов в этом множестве. Такой подход дает возможность формально описать код информации, то есть определить абстрактный код и исследовать его математическими методами. Для этих исследований применяет методы теории вероятностей, математической статистики, линейной алгебры, теории игр и других математических теорий.

Основы этой теории заложил американский учёный Э. Хартли в 1928 г., который определил меру количества информации для некоторых задач связи. Позднее теория была существенно развита американским учёным К. Шенноном, российскими учёными А.Н. Колмогоровым, В.М Глушковым и др.

Современная теория информации включает в себя как разделы теорию кодирования, теорию алгоритмов, теорию цифровых автоматов (см. ниже) и некоторые другие.

Существуют и альтернативные теории информации, например "Качественная теория информации", предложенная польским учёным М. Мазуром.

Теория алгоритмов

C понятием алгоритма знаком любой человек, даже не подозревая об этом. Вот пример неформального алгоритма:

«Помидоры нарезать кружочками или дольками. Положить в них нашинкованный лук, полить растительным маслом, затем посыпать мелко нарезанным стручковым перцем, перемешать. Перед употреблением посыпать солью, уложить в салатник и украсить зеленью петрушки.» (Салат из помидор).

Первые в истории человечества правила решения арифметических задач были разработаны одним из известных учёных древности Аль-Хорезми в IX веке нашей эры. В его честь формализованные правила для достижения какой-либо цели называют алгоритмами (ранее употреблялся термин «алгорифм»).

Предметом теории алгоритмов является нахождение методов построения и оценки эффективных (в том числе и универсальных) вычислительных и управляющих алгоритмов для обработки информации. Для обоснования таких методов теория алгоритмов использует математический аппарат теории информации.

Современное научное понятие алгоритмов как способов обработки информации введено в работах Э. Поста и А. Тьюринга в 20-х годах ХХ века (Машина Тьюринга). Большой вклад в развитие теории алгоритмов внесли русские ученые А. Марков (Нормальный алгоритм Маркова) и А. Колмогоров.

Теория автоматов

Теория автоматов — раздел теоретической кибернетики, в котором исследуются математические модели реально существующих или принципиально возможных устройств перерабатывающих дискретную информацию в дискретные моменты времени.

Понятие автомата возникло в теории алгоритмов. Если существуют некоторые универсальные алгоритмы решения вычислительных задач, то должны существовать и устройства (пусть и абстрактные) для реализации таких алгоритмов. Собственно, абстрактная машина Тюринга, рассматриваемая в теории алгоритмов, является в тоже время и неформально определённым автоматом. Теоретическое обоснование построения таких устройств является предметом теории автоматов.

Теория автоматов использует аппарат математических теорий – алгебры, математической логики, комбинаторного анализа, теории графов, теории вероятностей и др.

Теория автоматов вместе с теорией алгоритмов являются основной теоретической базой для создания электронных вычислительных машин и автоматизированных управляющих систем.