9. Источники по Шеннону:

1) общего вида (с помехами) – для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно большой степенью вероятности. Если только производительность источника не превышает пропускной способности канала

2) без памяти – всегда можно создать систему эффективного кодирования дискретного сообщения, такую, что среднее количество двоичных кодов на 1 символ сообщения будет близко к энтропии источника сообщения.

Источники, в которых существует статистические связи (корреляция) между знаками или их сочетаниями – это источники с памятью (марковские).

Рус.яз. 4,36 бит

Англ.яз. 4,04 бит

Фр.яз 3,96 бит

Относительная избыточность

R=1-Iφ/Io

Iφ – min неопределённость, связанная с выбором знака алфавита без учёта особенностей языка.

Io – max инфа, содержащаяся в знаке данного алфавита

R≈60-70%

Используют сокращения ЗПТ и ТЧК. Но это снижает разборчивость языка, исключает возможность понимания речи при наличии шума, а также локализации и исправлении ошибки.

10) Кодирование. Условие обратимости кодирования. Длина кодовой цепочки и первая теорема Шеннона об оптимальном кодировании в отсутствии помех. Минимальная длина кодовой цепочки для вторичного алфавита с равновероятными знаками.

при рассмотрении исходных понятий информатики, для представления дискретной информации используется некоторый алфавит. Однако однозначное соответствие между информацией и алфавитом отсутствует. Другими словами, одна и та же информация может быть представлена посредством различных алфавитов. В связи с такой возможностью возникает проблема перехода от одного алфавита к другому, причем, такое преобразование не должно приводить к потере информации. Условимся называть алфавит, с помощью которого представляется информация до преобразования, первичным; алфавит конечного представления – вторичным.

Код – (1) правило, описывающее соответствие знаков или их сочетаний одного алфавита знакам или их сочетаниям другого алфавита; - (2) знаки вторичного алфавита, используемые для представления знаков или их сочетаний первичного алфавита.

I^a_w < I^b_w , I^a_w – кол-во инф-ии в слове кода А, I^b_w – кол-во инф-ии в слове кода В.

Кодирование – перевод информации, представленной посредством первичного алфавита, в последовательность кодов.

Декодирование - операция, обратная кодированию, т.е. восстановление информации в первичном алфавите по полученной последовательности кодов.

Операции кодирования и декодирования называются обратимыми, если их последовательное применение обеспечивает возврат к исходной информации без каких-либо ее потерь.

Коды: первичный: N^А знаков в слове, I^(А) инф-я на 1 символ

Вторичный: M знаков в слове, I^(В) инф-я на 1 символ

Обратимый код: I^А ≤I^В (на 1 знак) , n*I^А ≥ m* I^В (на 1 слово) , m, n – число символов в исходном и вторичном кодах.

К(А,В)= m/ n –относительная длина кода

Обратимый код: К(А,В) ≥ I^А / I^В

min(К(А,В))= К min = I^А / I^В

Примером обратимого кодирования является представление знаков в телеграфном коде и их восстановление после передачи. Примером кодирования необратимого может служить перевод с одного естественного языка на другой – обратный перевод, вообще говоря, не восстанавливает исходного текста. Безусловно, для практических задач, связанных со знаковым представлением информации, возможность восстановления информации по ее коду является необходимым условием применения кода, поэтому в дальнейшем изложении ограничим себя рассмотрением только обратимого кодирования.

Таким образом, кодирование предшествует передаче и хранению информации. При этом, как указывалось ранее, хранение связано с фиксацией некоторого состояния носителя информации, а передача – с изменением состояния с течением времени (т.е. процессом). Эти состояния или сигналы будем называть элементарными сигналами – именно их совокупность и составляет вторичный алфавит.

Первая теорема шеннона: При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак кодируемого алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.

Q=(К(А,В) - К min(А,В) ) / К min(А,В) – избыточность кода

Определение количества переданной информации при двоичном кодировании сводится к простому подсчету числа импульсов (единиц) и пауз (нулей). При этом возникает проблема выделения из потока сигналов (последовательности импульсов и пауз) отдельных кодов. Приемное устройство фиксирует интенсивность и длительность сигналов. Элементарные сигналы (0 и 1) могут иметь одинаковые или разные длительности. Их количество в коде (длина кодовой цепочки), который ставится в соответствие знаку первичного алфавита, также может быть одинаковым (в этом случае код называется равномерным) или разным (неравномерный код). Наконец, коды могут строиться для каждого знака исходного алфавита (алфавитное кодирование) или для их комбинаций (кодирование блоков, слов). В результате при кодировании (алфавитном и словесном) возможны следующие варианты сочетаний:

Длительности элементарных сигналов	Кодировка первичных символов (слов)	Ситуация
одинаковые	равномерная	(1)
одинаковые	неравномерная	(2)
разные	равномерная	(3)
разные	неравномерная	(4)

В случае использования неравномерного кодирования или сигналов разной длительности (ситуации (2), (3) и (4)) для отделения кода одного знака от другого между ними необходимо передавать специальный сигнал – временной разделитель (признак конца знака) или применять такие коды, которые оказываются уникальными, т.е. несовпадающими с частями других кодов. При равномерном кодировании одинаковыми по длительности сигналами (ситуация (1)) передачи специального разделителя не требуется, поскольку отделение одного кода от другого производится по общей длительности, которая для всех кодов оказывается одинаковой (или одинаковому числу бит при хранении).

11) Системы счисления: унитарные, позиционные и непозиционные. Сравнительные характеристики и отличия. Представления и правила перевода натуральных перевода натуральных чисел в произвольных позиционных системах счисления.

1) основн теор алгебры: о разложении на смоножит. \/ (А E N) Э! (с точностью до порядка разложения) набор

{βi , λi} , i=1,k(с черточкой наверху) {k} – число простых сомножителей

А=П(вверху k,внизу i=1) βi λi

λi –простые сомн, βi – коэф кратности

2) \/ (А,В E Z) Э! (p,z E z) => A=p*B+z

Система счисления – это правило записи чисел с помощью заданного набора специальных знаков – цифр.

Способы записи чисел: унарные, непозиционные, позиционные

Унарная - это система счисления, в которой для записи чисел используется только один знак – I ("палочка"). Следующее число получается из предыдущего добавлением новой I; их количество (сумма) равно самому числу. Именно такая система применяется для начального обучения счету детей (можно вспомнить "счетные палочки"); использование унарной системы оказывается важным педагогическим приемом для введения детей в мир чисел и действий с ними. Но, как мы увидим в дальнейшем, унарная система важна также в теоретическом отношении, поскольку в ней число представляется наиболее простым способом и, следовательно, просты операции с ним. Кроме того, именно унарная система определяет значение целого числа количеством содержащихся в нем единиц, которое, как было сказано, не зависит от формы представления. Для записи числа в унарной системе в дальнейшем будем использовать обозначение Z₁.

Из непозиционных наиболее распространенной можно считать римскую систему счисления. В ней некоторые базовые числа обозначены заглавными латинскими буквами: 1 – I, 5 – V, 10 – X, 50 – L, 100 – C, 500 – D, 1000 – M. Все другие числа строятся комбинаций базовых в соответствии со следующими правилами:

1) если цифра меньшего значения стоит справа от большей цифры, то их значения суммируются; если слева – то меньшее значение вычитается из большего; 2) цифры I, X, C и M могут следовать подряд не более трех раз каждая; 3) цифры V, L и D могут использоваться в записи числа не более одного раза.

Например, запись XIX соответствует числу 19, MDXLIX – числу 1549. Запись чисел в такой системе громоздка и неудобна, но еще более неудобным оказывается выполнение в ней даже самых простых арифметических операций. Отсутствие нуля и знаков для чисел больше M не позволяют римскими цифрами записать любое число (хотя бы натуральное). По указанным причинам теперь римская система используется лишь для нумерации.

Позиционными называются системы счисления, в которых значение каждой цифры в изображении числа определяется ее положением (позицией) в ряду других цифр.

Наиболее распространенной и привычной является система счисления, в которой для записи чисел используется 10 цифр: 0, 1, 2, 3, 4, 5, 6, 7, 8 и 9. Число представляет собой краткую запись многочлена, в который входят степени некоторого другого числа – основания системы счисления. Например, 272,12 = 2·10²+7·10¹+2·10⁰+ 1·10^-1+2·10^-2

В данном числе цифра 2 встречается трижды, однако, значение этих цифр различно и определяется их положением (позицией) в числе. Количество цифр для построения чисел, очевидно, равно основанию системы счисления. Также очевидно, что максимальная цифра на 1 меньше основания. Причина широкого распространения именно десятичной системы счисления понятна – она происходит от унарной системы с пальцами рук в качестве "палочек". Однако в истории человечества имеются свидетельства использования и других систем счисления – пятеричной, шестеричной, двенадцатеричной, двадцатеричной и даже шестидесятеричной.

Общим для унарной и римской систем счисления является то, что значение числа в них определяется посредством операций сложения и вычитания базисных цифр, из которых составлено число, независимо от их позиции в числе. Такие системы получили название аддитивных. В отличие от них позиционное представление следует считать аддитивно-мультипликативным, поскольку значение числа определяется операциями умножения и сложения. Главной же особенностью позиционного представления является то, что в нем посредством конечного набора знаков (цифр, разделителя десятичных разрядов и обозначения знака числа) можно записать неограниченное количество различных чисел. Кроме того, в позиционных системах гораздо легче, чем в аддитивных, осуществляются операции умножения и деления. Именно эти обстоятельства обуславливают доминирование позиционных систем при обработке чисел как человеком, так и компьютером.