Поскольку, например, одно и то же число может быть записано многими разными способами (с использованием разных алфавитов), то этот способ чувствителен к форме представления (записи) сообщения.

Единицы измерения объёма

В вычислительной технике вся обрабатываемая и хранимая информация представлена в двоичной форме (с использованием алфавита, состоящего всего из двух символов 0 и 1).

Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Бит — количество информации, которое может помещаться в один элемент памяти. Байт — это восемь бит.

Энтропийный способ измерения количества информации

Этот способ измерения исходит из следующей модели. Получатель информации (сообщения) имеет определённые представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями Pi, с которыми он ожидает то или иное событие.

H= - Pi log2 Pi , где i изменяется от 1 до N, Pi - это вероятность i-ого символа.

Pi = 1/N при равновероятных символах.

H=log2 N, где N - число возможных равновероятных символов в сообщении.

Формула Хартли

Используется для оценки количества информации H в сообщении, передаваемого по каналу связи числовым кодом.

Пусть m – основание системы счисления (число букв алфавита) Пусть n – число разрядов в сообщении.

Тогда N = mn - число всевозможных кодовых комбинаций сообщения.

При равновероятном появлении любой кодовой комбинации количество информации, приобретённое получателем:

H=log2 N = log2 mn = n log2 m

Информативность сообщения

При условии полного априорного незнания получателем сообщения, передаваемого по каналу связи двоичным кодом, количество информации равно количеству символов в сообщении (числу разрядов), т.е. объёмный (V) и энтропийный (H) способ измерения дают один и тот же результат:

H=V=n, бит

При наличии некоторой априорной информации, т.е. при не равновероятных символах в сообщении, всегда H<V=n.

Kинф = H/V, [0, 1] Для увеличения Kинф разрабатываются методы оптимального кодирования информации.

Алгоритмический способ измерения информации

Этот метод кратко можно охарактеризовать следующими рассуждениями.

Каждый согласится, что слово 0101…01 сложнее слова 00...0, а слово, где 0 и 1 выбираются из эксперимента — бросания монеты (где 0 — герб, 1 — решка), сложнее обоих предыдущих.

Понятие Машины Тьюринга

Так как имеется много разных вычислительных машин и разных языков программирования (разных способов задания алгоритма), то для определенности задаются некоторой конкретной вычислительной машиной, например, абстрактной машиной Тьюринга.

А предполагаемая количественная характеристика — сложность слова (сообщения) определяется как минимальное число внутренних состояний машины Тьюринга, требующиеся для его воспроизведения.

Основные понятия теории алгоритмов

Страница 9 из 45

В информатике алгоритмы рассматриваются в двух аспектах: теоретическом и прагматическом, тесно связанным с программированием.

Теория алгоритмов — раздел математики, изучающий общие свойства алгоритмов.

Понятие «алгоритм» сформировалось в математике в 20-х годах XX в. Началом систематической разработки теории алгоритмов можно считать 1936 г. и связывают это начало с публикацией работы

А.А. Черча.

Алгоритмическая модель и её составляющие

Составляющими такой модели должны быть конкретный набор элементарных шагов, способы определения следующего шага. Каждый шаг должен быть элементарным и выполнимым, чтобы алгоритм понимался однозначно.

От модели также требуется простота и универсальность. Универсальность необходима для того, чтобы модель позволяла описать любой алгоритм.

Требование простоты важно для того, чтобы выделить необходимые элементы и свойства алгоритма и облегчить доказательства общих утверждений об этих свойствах.

Три основных класса алгоритмических моделей

Первый класс моделей основан на арифметизации алгоритмов.

Второй класс моделей основан на идее машинизации алгоритмов: он должен быть представлен так, чтобы его могла выполнять вычислительная машина.

Третий класс моделей алгоритмов оперирует конкретными алфавитами, здесь наиболее известная алгоритмическая модель— нормальные алгоритмы Маркова.

Первый. Предполагается, что любые данные можно закодировать числами, и как следствие — всякое их преобразование становится в этом случае арифметическим вычислением, алгоритмом в таких моделях является вычисление значения некоторой числовой функции, а его элементарные шаги — арифметические операции.

Последовательность шагов определяется двумя способами. Первый способ — суперпозиция, т.е. подстановка функции в функцию, а второй — рекурсия, т.е. определение значения функции через «ранее» вычисленные значения этой же функции. Функции, которые можно построить из целых чисел и арифметических операций с помощью суперпозиций и рекурсивных определений, называются

А = {а1... аm} — алфавит машины; Q= {q1 … qn} — множество состояний машины (точнее, головки), среди которых выделяют начальное q1 и конечное qz

Третий. Для нормального алгоритма задается алфавит, над которым он работает, конечное множество допустимых подстановок и правила их применения:

1) проверить возможность подстановок в порядке возрастания их номеров, и если она возможна (левая часть подстановки обнаружена в исходном слове), произвести подстановку (заменив левую часть на правую);

2) если в примененной подстановке имеется символ «!», то преобразования прекращаются, а если нет, то текущее состояние становится исходным и весь процесс начинается заново;

3) если ни одна подстановка не применима, то процесс преобразования завершен.

Описание машины Тьюринга

Машина Тьюринга состоит из трех частей: ленты, головки и управляющего устройства. Лента бесконечна в обе стороны и разбита на ячейки. В каждой ячейке может быть записан только один символ. Отсутствие символа в ячейке обозначается специальным «пустым» символом, например, « ».

Головка всегда располагается над некоторой ячейкой ленты. Она может читать и писать символы, стирать их и перемещаться вдоль ленты как вправо так и влево.

Пример машинной модели (алгоритм сложения)

Пусть m и n неотрицательные целые числа произвольной длины.

Числа представляются счётно-импульсным кодом, т.е. количеством 1, равных m или, соответственно, n.

Необходимо построить алгоритм вычисления m+n. Зададим алфавит машины Тьюринга:

Страница 10 из 45