discrete_math

Необходимое условие однозначности декодирования. Если схема алфавитного кодирования однозначно декодируема, то

в кодирующем алфавите, а l1, l2,…, lr – длины кодовых слов.

ТЕОРЕМА. Если при некотором q числа l1, l2,…, lr удовлетворяют неравенству Макмиллана, то найдется префиксная (суффиксная) схема алфавитного кодирования с длинами кодовых слов l1, l2,…, lr и кодирующим алфавитом мощности q.

38. Алфавитное кодирование: теорема Маркова, алгоритм Маркова.

составленное из одной или нескольких букв. В кодирующем алфавите B {b1, b2 ,...,bq} записывается закодированное

сообщение. Правила, по которым осуществляется кодирование, могут быть разными. Алфавитное кодирование, как одно из возможных правил, задается схемой Σ вида

закодировать некоторое слово, состоящее из нескольких букв (разрядов), надо каждую букву этого слова закодировать соответствующим ей кодовым словом.

Алфавитное кодирование – кодирование, выполняющееся поразрядно.

Определение. Схема алфавитного кодирования называется однозначно декодируемой, если любое закодированное слово допускает только один способ декодирования.

Определение. Схема алфавитного кодирования называется равномерной, если все её кодовые слова попарно различны, но имеют одинаковую длину.

Число N0 можно вычислить через характеристики самой схемы Σ. Для этого нужно рассмотреть все возможные префиксы и

Пример. Требуется оценить сверху число NΣ для схемы Σ с кодовыми словами В1 = ab, В2 = bc, В3 = acb, В4 = abac, В5 = babbc. Проверить, является ли схема однозначно декодируемой. В этой схеме L = 16, r = 5. Для нахождения параметра Т рассмотрим все возможные разложения кодовых слов:

В1 = ab = (a)(b), В2 = bc = (b)(c),

В3 = acb = (a)(cb) = (ac)(b),

В4 = abac = (a)(bac) = [ab](ac) = (aba)(c),

В5 = babbc = (b)[ab][bc] = (ba)(bbc) =(bab)[bc] = (babb)(c),

где для удобства префиксы и суффиксы заключены в круглые скобки, а кодовые слова – в квадратные. В некоторых разложениях префикс или суффикс – пустое слово Λ. Поскольку в разложении кодового слова В5 = (b)[ab][bc] = (b)В1В2 содержится два других кодовых слова, и это максимально возможное количество для данной схемы Σ, то параметр Т = 2.

Алгоритм проверки однозначности декодирования. Опираясь на разложения, построим множество S, включающее все такие префиксы, которые также являются и суффиксами кодовых слов. Также добавим в множество S пустое слово Λ. В данном случае получится множество S = {b, ac, Λ}.

Построим ориентированный граф GΣ с помеченными вершинами и ребрами. Каждая его вершина помечается некоторым элементом множества S. Две вершины соединяются ребром только тогда, когда их метки являются префиксом и суффиксом одного и того же кодового слова. Само ребро помечают частью этого слова, заключенной между префиксом и суффиксом, и ориентируют от вершины-префикса к вершине-суффиксу. В данном случае кодовое слово В5 разложимо в виде В5 = babbc = (b)[ab][bc] = (b)В1В2,

21

39. Коды с минимальной избыточностью (коды Хаффмана), метод построения.

Пример 2. Для набора частот р1 = 0.4, р2 = 0.25, р3 = 0.2, р4 = 0.1, р5 = 0.05 требуется построить суффиксный код Хафмана с исходным алфавитом A {a1, a2 ,...,a5} и кодирующим алфавитом B {0,1} .

Прежде всего, по данному набору частот найдем длины кодовых слов кода Хафмана. Для этого запишем в столбец исходные частоты в порядке их убывания сверху вниз и будем преобразовывать этот столбец, на каждом шаге заменяя две самых маленьких частоты их суммой и располагая в новом столбце полученные частоты в порядке убывания. Процесс преобразования частот завершится, как только мы придем к столбцу с двумя частотами (их сумма равна единице). В таблице показаны столбцы, которые получаются в данном примере. Клетки, выделенные темным цветом, содержат сумму двух самых маленьких

частот из предыдущего столбца.

Избыточность построенного кода равна l ( c ) 1 0.4 2 0.25 3 0.2 4 0.1 4 0.05 2.1

22

40. Линейные коды, порождающая матрица, двойственный код.

Определение. Коды с кодирующим алфавитом В = {0,1} называются двоичными кодами.

Определение. Булева функция f (x1,x2,…,xn) называется характеристической функцией двоичного кода, если она обращается в единицу на тех и только тех наборах, которые являются кодовыми словами этого кода.

Формула означает, что расстояние Хэмминга между двумя кодовыми словами равно числу позиций, в которых эти слова различаются.

Определение. Кодовым расстоянием двоичного кода называется минимальное расстояние Хэмминга между двумя его кодовыми словами. Кодовое расстояние схемы Σ – это минимальное число позиций, в которых могут отличаться два её

комбинацией остальных слов из этого набора. Если же ни одно из них не является линейной комбинацией остальных слов, то они считаются линейно независимыми.

Определение. Двоичный код называется линейным кодом, если любая линейная комбинация его кодовых слов также является кодовым словом этого кода.

Из определения линейного кода можно получить следующие его свойства:

Любой линейный код содержит нулевое кодовое слово, т.е. слово, состоящее только из нулей.

Кодовые слова линейного кода обязательно линейно зависимы, так как линейный код всегда содержит нулевое

~ ~

слово, а оно выражается через другие кодовые слова с помощью линейной комбинации вида .

Если линейный код не состоит из одного только нулевого слова, то можно так выбрать несколько его линейно независимых кодовых слов, чтобы все кодовые слова являлись линейными комбинациями выбранных слов.

Линейный код размерности r имеет мощность 2r, т.е. содержит ровно 2r кодовых слов.

Кодовое расстояние линейного кода равно минимальному числу единиц в ненулевом кодовом слове этого кода. Определение. Порождающей матрицей линейного кода размерности r с длинами кодовых слов, равными n, называется

самому себе. Например, слово (0101) ортогонально словам (0000), (0010), (1000), (1010), (0101), (0111), (1101) и (1111).

Обратим внимание на то, что эти восемь слов образуют линейный код.

Определение. Двойственным кодом к линейному коду Σ называется двоичный код, каждое кодовое слово которого ортогонально любому кодовому слову кода Σ. Двойственный код обладает рядом свойств. Наиболее важное из них состоит в том, что двойственный код к линейному коду размерности r сам является линейным кодом размерности (n – r) , где n – длина кодового слова.

41. Самокорректирующиеся коды (коды Хэмминга), метод построения.

слов образует m-разрядный линейный код мощности 2m. В реальных системах при передаче информации по каналам связи в силу разных причин может происходить искажение сигналов. В результате отдельные разряды передаваемых кодовых слов могут измениться, т.е. ноль может превратиться в единицу, а единица – в ноль. Если искажению подвергся только один разряд передаваемого слова (называется одиночной ошибкой).

В коде Хэмминга используется несколько контрольных разрядов, каждый из них заполняется таким образом, чтобы анализ

1,2,4,8,…, 2k−1. Остальные позиции содержат информационные разряды. На рисунке изображено кодовое слово с 6 информационными и 4 контрольными разрядами. Все разряды пронумерованы числами от 1 до 10, а контрольные разряды выделены темным цветом.

контрольных разрядов сложнее. Чтобы его сформулировать, рассмотрим множества:

23

1 3 5 7 9 11 ..., 2 3 6 7 10 11 ... , 4 5 6 7 12 13 ... и т.д.

Код Хэмминга позволяет проверять правильность передачи кодовых слов по каналу связи и в случае возникновения одиночной ошибки точно определять её местоположение. Для этого используются так называемые контрольные суммы. У

Указанное правило вычисления контрольных сумм гарантирует, что при передаче кодового слова без искажений все контрольные суммы будут равны нулю. Если же во время передачи кодового слова случится одиночная ошибка, то номер искаженного разряда можно будет легко определить с помощью контрольных сумм. Для этого достаточно вычислить все контрольные суммы (т.е. проверить их на четность) и сложить номера контрольных сумм, отличных от нуля.

допустимое значение k равно 4. Значит, кодовые слова кода Хэмминга в данном случае имеют длину n = m + k = 9.

Теория автоматов

42. Определение, схема и функционирование абстрактного автомата, способы задания автоматов.

Устройство, обрабатывающее информацию, обменивается ею с внешней средой через входной и выходной каналы, по которым поступает информация – входные сигналы – и выдается результат обработки этой информации – выходные сигналы. Кроме этого, устройство, как правило, имеет память, содержимое которой во время работы устройства может меняться. Эти изменения зависят, с одной стороны, от содержимого памяти в данный момент времени, а с другой стороны, от входного сигнала, поступившего в этот момент по входному каналу. Содержимое памяти реального устройства - состояние автомата. Выходной сигнал в каждый момент времени также зависит от входного сигнала и от состояния автомата в настоящий момент.

Определение. Поступление входного сигнала, переход автомата из одного состояния в другое и выдача выходного сигнала происходят дискретно и мгновенно в определенные моменты времени, эти моменты времени следуют один за другим через фиксированный промежуток времени – такт.

Определение. Входной алфавит A – это конечное множество А = {а1, а2, …, аs}, элементы которого называются входными сигналами (символами).

Определение. Выходной алфавит В = {b1, b2, …, bk} – это множество выходных сигналов (символов).

24

vj), которая согласно определению функций f и g указывает, что если автомат находился в состоянии vj и на вход ему подали сигнал ai, то на выходе автомата получим сигнал f(ai, vj), и автомат перейдет в состояние g(ai, vj). Используя такую таблицу, можно для любой последовательности входных сигналов определить, как будет выглядеть соответствующая последовательность выходных сигналов или состояний автомата.

Спомощью диаграммы Мура. При таком способе автомат

когда в данном автомате возможен переход из состояния vk в состояние vn по некоторому входному сигналу. Все дуги, выходящие из вершины

vk, помечены парой символов вида (ai, bj), где ai А, bj = f(ai, vk). Иными

словами, начало дуги определяет состояние автомата в предшествующий, а её конец – в последующий моменты времени. При этом на самой дуге указывается входной и соответствующий ему выходной сигналы. Граф диаграммы Мура должен удовлетворять условию детерминированности. Оно заключается в том, что для любого входного символа ai из каждой вершины должна выходить только одна дуга, помеченная этим символом. Поэтому в диаграмме Мура из каждой вершины выходит ровно s дуг, где s – это мощность алфавита А.

25

Определение. Язык – множество всех слов, распознаваемых автоматом. Сам язык может быть как конечным, так и бесконечным, но в любом случае он состоит только из слов, распознаваемых соответствующим автоматом.

Определение. Суммой языков L и L´ называется язык, который обозначается L + L´ и получается объединением множеств L

Определение. Произведением языков L и L´ называется язык, который обозначается L·L´ и получается в результате

Заметим, что язык L·L´, как правило, отличается от языка L´·L, хотя некоторые слова могут принадлежать обоим произведениям.

Определение. Итерацией языка L называется язык, который обозначается L* и получается в результате сложения

Итерация выражается через операции сложения и умножения языков. Из всех введенных операций над языками она единственная, которая позволяет из конечного языка получить бесконечный.

Таким образом, с помощью введенных операций сложения, умножения и итерации некоторые языки можно выражать в виде формул через более простые языки. Причем результатом сложения или умножения двух конечных языков всегда будет конечный язык, и лишь итерация позволяет из конечного языка получить бесконечный. Некоторые важные свойства операций над языками:

Пустое подмножество множества А*, как и всякое другое его подмножество, тоже считается языком. Этот язык мы будем называть пустым языком и обозначать символом пустого множества . Очевидно, что для любого языка L верны равенства

L + = L и L· = . Значит, при всех натуральных значениях n выполняется n = . Тогда из определения операции итерации получаем * = Λ + + 2 + 3 + … + n + … = Λ.

Заметим также, что Λ* = Λ, поскольку Λn = Λ и Λ + Λ = Λ.

Определение. Пусть имеется алфавит А = {а1, а2, …, аs}. Одноэлементные языки а1, а2, …, аs, а также язык, содержащий только пустое слово Λ - элементарные языки.

45. Регулярные выражения и регулярные языки, теорема Клини.

Определение. Регулярным языком называется такой язык, который можно получить из элементарных языков с помощью конечного числа операций сложения, умножения и итерации.

Чтобы доказать регулярность какого-либо языка, надо записать его в виде так называемого регулярного выражения, т.е. формулы, в которой конечное число раз используются элементарные языки и знаки операций сложения, умножения и итерации. Поскольку количество регулярных выражений счетно, то число различных регулярных языков не более, чем счетно. Всего же имеется континуум языков над фиксированным конечным алфавитом А, т.к. язык – это любое подмножество счетного множества А*. Следовательно, существуют и нерегулярные языки.

Пример. Рассмотрим несколько языков.

1)Конечный язык L1 = {a, ab, abc} является регулярным языком, т.к. его можно задать равенством L1 = a + ab + abc = a + a·b + a·b·c = a·(Λ + b·(Λ + c)). Последнее полученное выражение является регулярным, поскольку оно содержит только простейшие языки a, b, c и Λ и конечное число знаков операций сложения и умножения. Этот пример показывает, что любое конечное множество слов образует регулярный язык.

2)Бесконечный язык L2 = {с, cabc, cabcabc, cabcabcabc, …}, порождаемый автоматом из примера 4 §3, является регулярным, т.к. его можно задать разными регулярными выражениями: с·(a·b·с)*, либо (с·a·b)*·с. Этот пример свидетельствует о том, что один и тот же язык можно представить через различные регулярные выражения.

3)Бесконечный язык L3, состоящий из всех слов конечной длины в алфавите А = {a, b, c}, включая и пустое слово, является регулярным языком, поскольку выполняется равенство L3 = (a + b + с)*.

4)Бесконечный язык L4 над алфавитом А = {a, b, c}, образованный словами, которые содержат хотя бы одну букву с, регулярен, т.к. он может быть задан равенством L4 = (a + b + с)*· с· (a + b + с)*.

5)Бесконечный язык L5 над алфавитом А = {0,1}, образованный всеми словами, кроме слов 0 и 11, регулярен, т.к. его можно задать регулярным выражением Λ + 1 + 00 + 01 + 10 + (0 + 1)3 · (0 + 1)*.

6)Бесконечный язык L6 = {1, 10, 101, 1010, 10100, …}, состоящий из всех начальных отрезков {а1, а1а2, а1а2а3, …}

бесконечной последовательности (10100100010…), не является регулярным.

Определение. Пересечением языков L и L´ называется язык, который обозначается L ∩ L´ и состоит из всех слов, принадлежащих одновременно обоим языкам L и L´. Поскольку всякий язык является подмножеством множества А* всех слов конечной длины в некотором фиксированном алфавите А, то пересечение языков – это обычная операция пересечения множеств слов.

Определение. Дополнением языка L в алфавите А называется язык, который обозначается L и состоит из слов множества А*, не принадлежащих языку L. Язык L и его дополнение L не имеют общих слов, а их сумма совпадает с множеством А*.

27

Пример. Пусть исходный язык L состоит из всех таких слов в алфавите А = {0,1}, которые начинаются с нуля, а оканчиваются двумя единицами. Нетрудно проверить, что этот язык можно задать регулярным выражением 0· (0 + 1)*· 11. Тогда дополнительный к нему язык L состоит из всех таких слов в алфавите А, которые начинаются с единицы или оканчиваются любой из трех комбинаций – 00, 01 или 10. Язык L можно задать регулярным выражением 1· (0 + 1)* + (0 + 1)*· (0· 0+ 0· 1 + 1· 0).

При фиксированном алфавите А класс регулярных языков над А замкнут относительно всех перечисленных выше операций

– сложения, умножения, итерации, пересечения и дополнения. Это означает, что язык, получаемый в результате применения данных операций к регулярным языкам, тоже является регулярным.

Существует тесная связь между регулярными языками и конечными автоматами. Дело в том, что, с одной стороны, любой регулярный язык обязательно распознается некоторым конечным детерминированным автоматом (автоматом Мили). А с другой стороны, автоматы Мили способны распознавать только регулярные языки. Оба эти утверждения сформулированы в основной теореме теории автоматов (теореме Клини).

Теорема Клини. Язык L распознается конечным детерминированным автоматом тогда и только тогда, когда L – регулярный язык.

46. Задача анализа автоматов-распознавателей.

Задача анализа автомата состоит в том, чтобы для конкретного автомата найти язык, распознаваемый этим автоматом. Опишем алгоритм, использующий квадратные матрицы r-го порядка С0, С1, С2, …, Сr (где r – число состояний автомата),

Из этого соотношения следует, что если все элементы матрицы Сk–1 – регулярные выражения, то матрица Сk тоже будет

множество всех входных слов, переводящих автомат из состояния vi в состояние vj за несколько тактов, но так, чтобы при

состояния v1 в состояние v3 автомат может попасть либо за один такт по слову b, либо за несколько тактов по слову, которое начинается и оканчивается символом а, а между ними возможно многократное повторение символа b. Это согласуется с диаграммой Мура данного автомата. Таким образом находим все элементы матрицы С2. В итоге получаем

28

Некоторые элементы матрицы С2 можно упростить, используя свойства операций над языками:

матрицы С3. Поэтому нет необходимости искать всю эту матрицу, а достаточно лишь найти указанный элемент. Используя

Таким образом, язык L можно задать регулярным выражением (b + a·b*·a)·(a + b)* = b·(a + b)* + a·b*·а·(a + b)*.

В итоге мы получили сумму двух регулярных выражений. Слагаемое b·(a + b)* задает все слова в алфавите {a, b}, начинающиеся с буквы b. Слагаемое a·b*·а·(a + b)* описывает слова, которые начинаются с буквы а, причем она должна встречаться в слове не менее двух раз. Только два указанных типа слов распознаются заданным автоматом. Такой окончательный вывод согласуется с диаграммой Мура.

Пусть автомат, распознающий некоторый язык L, задан диаграммой Мура. Решив задачу анализа для этого автомата, мы получим регулярное выражение, задающее язык L. Спрашивается, каким регулярным выражением можно задать

из множества А* обязательно принадлежит одному из языков L или L (но не обоим сразу!), то каждое слово распознается каким-либо одним этих автоматов, но не распознается другим. Следовательно, оба автомата задаются одинаковыми диаграммами Мура и имеют одно и то же начальное состояние. Отличаются они лишь тем, что каждое заключительное состояние одного из автоматов считается незаключительным состоянием для другого автомата. Поэтому, изменив набор заключительных состояний в диаграмме Мура, задающей автомат для распознавания L, мы получим диаграмму автомата,

задать регулярным выражением 0 + 1 + 0· 0.

и v4. Поскольку v1 является одновременно и начальным, и заключительным состоянием, то L содержит пустое слово Λ. В диаграмме Мура найдем сначала все ориентированные пути конечной длины из начального состояния в заключительное. Один такой путь образован дугами [v1, v2] и [v2, v4], что соответствует слову 01. Второй путь состоит из дуг [v1, v3] и [v3, v4] и задает регулярное выражение 1·(0 + 1). Третий путь состоит из дуг [v1, v2], [v2, v3], [v3, v4]. Он распознает регулярное выражение 0·0·(0 + 1). Кроме того, есть ещё бесконечное множество путей, которые получаются из трех указанных путей добавлением к ним в конце произвольного числа петель [v4, v4]. Значит, язык L можно задать регулярным выражением Λ +

(0·1 + (1 + 0·0)·(0 + 1))·(0 + 1)*.

47. Задача синтеза автоматов-распознавателей.

Задача синтеза состоит в том, чтобы для заданного языка L построить (синтезировать) автомат, распознающий этот язык. Согласно основной теореме теории автоматов, такой автомат существует только тогда, когда L – регулярный язык. Поэтому далее будем решать задачу синтеза в предположении, что исходный язык L задан регулярным выражением.

Напомним, что диаграмма Мура детерминированного автомата удовлетворяет условию детерминированности, т.е. для любого символа входного алфавита А из каждой вершины должна выходить ровно одна дуга, помеченная этим символом. Далее нам потребуются ориентированные графы, напоминающие диаграмму Мура автомата-распознавателя, но не обязательно обладающие свойством детерминированности. Такие графы мы будем называть недетерминированными источниками. Недетерминированный источник отличается от диаграммы Мура тем, что из любой его вершины может выходить несколько дуг, помеченных одним и тем же входным символом, или не выходить ни одной дуги с этим символом.

29

Кроме того, некоторые дуги источника могут быть пустыми, т.е. помеченными символом Λ. Устройство, описываемое недетерминированным источником, является недетерминированным автоматом. Его также будем называть недетерминированным источником (или просто источником). Очевидно, любой детерминированный автомат является источником, но не любой источник можно считать детерминированным автоматом из-за того, что в источнике может быть нарушено условие детерминированности. Источник, как и автомат-распознаватель, имеет одну начальную и одну или несколько заключительных вершин. Поэтому он тоже распознает некоторый язык.

ТЕОРЕМА. Если недетерминированный источник имеет n состояний и распознает некоторый язык L, то найдется детерминированный автомат, который имеет не более 2n состояний и распознает тот же самый язык L.

Алгоритм построения источника по заданному языку опирается на тот факт, что для любого регулярного языка существует распознающий его двухполюсный источник, т.е. источник с одной начальной и одной заключительной вершинами. Это позволяет строить требуемый источник последовательным и (или) параллельным соединением более простых источников, распознающих отдельные множители и слагаемые, входящие в состав заданного регулярного выражения. А именно, пусть имеются два двухполюсных источника G1 и G2, распознающие языки L1 и L2. Через u1, u2 и v1, v2 обозначим соответственно их начальные и заключительные вершины. Параллельное соединение этих источников изображено на рисунке «а». Все добавленные дуги являются пустыми, т.е. помечены символом Λ. Добавленные вершины и и v являются начальной и заключительной вершинами полученного источника соответственно. Очевидно, этот источник распознает сумму языков L1 + L2.

действия: добавить новые начальную и заключительную вершины s и t; провести пустые дуги [s, t], [s, и1], [v1, u1], [v1, t]. В итоге получим двухполюсный источник с начальной вершиной s и заключительной вершиной t.

Пример 1. Имеется язык L, заданный регулярным выражением ab + с*. Требуется построить источник, распознающий язык

L.

Синтаксический анализ заданного регулярного выражения показывает, что оно состоит из двух слагаемых. Поэтому достаточно построить двухполюсные источники отдельно для каждого слагаемого, а затем подключить их параллельно. Поскольку первое слагаемое – это произведение двух множителей a и b, то распознающий его двухполюсный источник G1

вершины первого двухполюсника в начальную вершину второго двухполюсника. Однако вместо добавления пустой дуги мы просто отождествили эти две вершины. В данном случае это не повлияло на язык, распознаваемый источником G1, зато уменьшило число вершин и дуг.

правилами параллельного соединения источников для этого следовало бы добавить новую

начальную вершину u и новую заключительную вершину v, а также провести четыре дополнительные дуги, помеченные символом Λ. Однако с целью упрощения источника мы просто отождествим вершину v1 источника G1 с вершиной s

30