- •Введение
- •1. Предмет информатики
- •1.1 Роль информации в современном обществе
- •1.2 Информационные барьеры в истории человечества
- •1.3 Предметная область информатики
- •2. Теория информации
- •2.1 Исходные понятия теории информации
- •2.2 Формы представления информации
- •2.3 Преобразование сообщений
- •3. Понятие информации в теории Шеннона
- •3.1 Понятие энтропии
- •3.2 Условная энтропия
- •3.3 Статистическое определение информации
- •3.4 Энтропия и информация
- •3.5 Информация и алфавит
- •4. Кодирование символьной информации
- •4.1 Постановка задачи кодирования. Первая теорема Шеннона
- •4.2 Алфавитное неравномерное двоичное кодирование сигналами равной длительности
- •4.2.1 Неравномерный код с разделителем
- •4.2.2 Префиксное неравномерное кодирование
- •4.3 Равномерное алфавитное двоичное кодирование. Байтовый код
- •4.4 Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •4.5 Блочное двоичное кодирование
- •5. Кодирование и представление чисел в компьютере
- •5.1 Системы счисления
- •5.2 Перевод чисел из одной системы счисления в другую
- •5.3 Перевод чисел между системами счисления с основанием 2k
- •5.4 Формы представления вещественных чисел
- •5.5 Кодирование целых чисел в компьютере
- •5.5.1 Кодирование в компьютере целых чисел без знака
- •5.5.2 Кодирование в компьютере целых чисел со знаком
- •5.6 Кодирование в компьютере вещественных чисел
- •5.7 Двоично-десятичные коды
- •5.7.1 Код (8421) – код прямого замещения
- •6. Обработка чисел в компьютере
- •6.1 Выполнение операций сложения
- •6.2 Сложение нормализованных чисел
- •6.3 Выполнение операции умножения
- •6.3.1 Общий алгоритм умножения
- •6.3.2 Особенности умножения в форме с плавающей запятой
- •6.4 Деление чисел
- •7. Кодирование графической и звуковой информации
- •7.1 Представление изображений
- •7.2 Представление звука
- •Список литературы
- •Родина Наталья Васильевна Информатика
- •Часть 1
- •107846, Москва, ул.Стромынка, 20
2.3 Преобразование сообщений
Поскольку имеется 2 типа сообщений, между ними возможны 4 варианта преобразований:
Н епрерывное (N1) Непрерывное (N2)
Дискретное (D1) Дискретное (D2)
Осуществимы и применяются на практике все виды преобразований.
Примерами устройств, в которых осуществляется преобразование N1N2, являются:
- микрофон (звук преобразуется в электрический сигнал)
- магнитофон/видеомагнитофон (чередование областей намагничивания преобразуется в звук и изображение)
- телекамера (изображение и звук преобразуется в электрический сигнал)
- теле- и радио- приемники (радиоволны преобразуются в электрический сигнал, а затем в звук и изображение);
- аналоговая вычислительная машина (один электрический сигнал преобразуется в другой электрический сигнал).
Особенностью данного варианта преобразования является то, что оно всегда сопровождается частичной потерей информации. Потери связаны с шумами, которые порождает само информационное техническое устройство, и которые воздействуют извне. Эти помехи примешиваются к основному сигналу и искажают его.
Поскольку параметры сигнала могут быть любыми (из некоторого интервала), то невозможно определить ситуацию – был ли сигнал искажен или он изначально имел такую величину. В ряде устройств происходит искажение в силу особенностей преобразования в них сообщения. Например, черно-белый телевизор теряет цвет изображения, кино- и видео- изображения теряют объем – они плоские.
Обсудим общий подход к преобразованию типа ND. С математической точки зрения перевод сигнала из аналоговой формы в дискретную означает замену описывающей его непрерывной функции Z(t) на некотором отрезке (t1,t2) конечным множеством (массивом) {Zi,ti} (i=0, … n) где n – количество точек разбиения временного интервала.
Подобное преобразование называется дискретизацией непрерывного сигнала и осуществляется посредством двух операций:
- развертки во времени;
- квантования по величине сигнала.
Развертка по времени состоит в том, что наблюдение за значением величины Z производится не непрерывно, а лишь в определенные моменты времени с интервалом t, .
Квантование по величине – это отображение вещественных значений параметра сигнала в конечное множество чисел, кратных некоторой постоянной величине – шагу квантования Z.
Совместное выполнение обеих операций эквивалентно нанесению масштабной сетки на график Z(t) (рисунок 2.3).
В качестве пар значений (Zi,ti) выбираются узлы сетки, расположенные наиболее близко к Z(t). Полученное таким образом множество узлов оказывается дискретным представлением исходной функции.
Таким образом, сообщение, связанное с аналоговым сигналом Z(t) может быть преобразовано в дискретное, то есть, представлено посредством некоторого алфавита.
При такой замене очевидно, что чем меньше n (больше t), тем меньше число узлов, но и точность замены Z(t) значениями Zi будет меньшей.
Другими словами, при дискретизации может происходить потеря части информации, связанной с особенностями функции Z(t).
Увеличением количества точек n можно улучшить соответствие между получаемым массивом и исходной функцией, однако полностью избежать потерь информации все равно не удастся, поскольку n – величина конечная.
Ответом на эти сомнения служит так называемая теорема отсчетов, доказанная в 1933г. В.А. Котельниковым, значение которой для решения проблем передачи информации было осознано лишь в 1948г. после работ К. Шеннона. Эта теорема гласит:
Непрерывный сигнал можно полностью отобразить и точно воссоздать по последовательности измерений или отсчетов величины этого сигнала через одинаковые интервалы времени, меньше или равные половине периода максимальной частоты, имеющейся в сигнале.
Следовательно, дискретизация не приведет к потере информации и по дискретным сигналам можно будет полностью восстановить исходный аналоговый сигнал, если развертка по времени выполнена в соответствии со следующим соотношением:
, где - max частота.
(Например, для точной передачи речевого сигнала с частотой до 4000Гц при дискретной записи должно производиться не менее 8000 отсчетов/сек; в ТВ сигнале =4МГц не менее 8·106 отсчетов в секунду.)
Однако помимо временной развертки, дискретизация имеет и другие составляющие – квантование Z. Какими соображениями определяется шаг Z?
Любой получатель сообщения – человек или устройство – всегда имеют конечную предельную точность распознавания величины сигнала. Например, человеческий глаз в состоянии различать около 16 млн. цветовых оттенков, следовательно, при квантовании цвета нет смысла делать большее число градаций.
При передаче речи достаточно оказывается гораздо меньшая точность – 1%, следовательно, амплитуда звуковых колебаний Z=0,01 Zmax, а алфавит для обозначения всех градаций громкости должен содержать 100 знаков.
Следовательно, шаг квантования определяется чувствительностью приемного устройства.
Указанные соображения по выбору шага развертки по времени и квантования по величине сигнала лежат в основе оцифровки звука и изображения.
Примерами устройств, в которых происходят такие преобразования, являются сканер, модем, устройства для цифровой записи звука и изображения, лазерный проигрыватель, графопостроитель.
Термины «цифровая запись», «цифровой сигнал» следует понимать как дискретное представление с применением двоичного цифрового алфавита.
Таким образом, преобразование сигналов ND как обратное DN, может осуществляться без потери содержащейся в них информации.
Преобразование типа D1D2 состоит в переходе при представлении сигналов от одного алфавита к другому – такая операция носит название перекодировки и может осуществляться без потерь содержания информации. Пример: запись/считывание с компьютерных носителей информации; шифровка и дешифровка текста; вычисление на калькуляторе.
Таким образом, за исключением N1N2 в остальных случаях возможно преобразование сообщение без потерь содержащейся в них информации. При этом на первый взгляд непрерывные и дискретные сообщения оказываются равноправными. На самом деле это не так. Сохранение информации в преобразованиях ND и DN обеспечивается именно благодаря участию в них дискретного представления.
Другими словами: преобразование сообщений без потерь информации возможно только в том случае, если хотя бы одно из них является дискретным.
В этом проявляется несимметричность видов сообщений и преимущество дискретной формы. К другим достоинствам следует отнести:
- высокую помехоустойчивость;
- простоту и, как следствие, надежность и относительную дешевизну устройств по обработке информации;
- точность обработки информации, которая определяется количеством обрабатываемых элементов и не зависит от точности их изготовления;
- универсальность устройств.
Последнее качество – универсальность – оказывается следствием того обстоятельства, что любые дискретные сообщения, составленные в различных алфавитах, посредством обратимого кодирования можно привести к единому алфавиту N↔D1↔Dуниверс.
Это позволяет выделить некоторый алфавит в качестве базового и представить в нем любую дискретную информацию. Тогда устройство, работающее с информацией в базовом алфавите, оказывается универсальным для переработки любой иной исходной дискретной информации.
Таким базовым алфавитом является двоичный алфавит, а использующим его универсальным устройством – компьютер.
Несимметричность непрерывной и дискретной информации имеет более глубокую основу, чем просто особенности представления сигналов.
Дело в том, что информация, порождаемая и существующая в природе, связана с материальным миром – размеры, форма, цвет, другие физические и химические характеристики и свойства объектов. Данная информация передается посредством физических и иных взаимодействий и процессов. Бессмысленно ставить вопросы: для чего существует и кому полезна эта информация?
Эту природную информацию можно считать хаотичной и неупорядоченной, поскольку никем и ничем не регулируется ее появление, существование, использование. Чаще всего, такая информация непрерывна по форме представления.
Напротив, дискретная информация – эта информация, прошедшая обработку – отбор, упорядочивание, преобразование; она предназначена для дальнейшего применения человеком или техническим устройством. Другими словами, дискретная информация – это уже частично осмысленная информация, то есть имеющая для кого-то смысл и значение, и, как следствие, более высокий статус, нежели непрерывная, хаотичная.
Однако в информатике этот смысл не отслеживается, хотя и подразумевается. То есть эту мысль можно выразить иначе: информатика имеет дело не с любой информацией и не с информацией вообще, а лишь с той, которая кому-нибудь необходима; при этом не ставятся и не обсуждаются вопросы «Зачем она нужна?» и «Почему именно эта?» – это определяет потребитель информации.
Отсюда становится понятной приоритетность дискретной формы по отношению к непрерывной в решении глобальной задачи автоматизации обработки информации.
В дальнейшем будем исследовать только дискретную информацию, а для ее представления использовать некоторый алфавит. При этом нет необходимости рассматривать физические особенности передачи и представления. Полученные результаты будут справедливы для любой дискретной информации независимо от реализации сообщения, с которым она связана. С этого момента и начинается наука информатика.
Контрольные вопросы.
1. Приведите примеры процессов, используемых для передачи информации, и связанных с ними сигналов, кроме указанных в тексте.
2. В чем состоит различие понятий «приемник сообщения» и «приемник информации»?
3. В чем состоит смысл и значение теоремы отсчетов?
4. Приведите пример преобразования типа D1D2, при котором информация, содержащаяся в исходном сообщении, может не сохраняться.
5. Почему для представления дискретных сообщений в качестве базового выбирается двоичный алфавит?