Калужский государственный университет имени К. Э. Циолковского.

Физико-технологический институт.

Реферат по дисциплине

Информационные системы и технологии

На тему:

«Основные принципы кодирования информации»

Работу выполнил

Студент группы Фти-15

Клеймёнов М.

Работу проверил

Старший преподаватель

Кафедры информатики и ИТ

Столярова Н. Б.

Оглавление

Введение 3

Теория кодирования  4

Первая теорема Шеннона. 6

Принципы кодирования информации 8

Принципы обнаружения и исправления ошибок. 11

Принципы кодирования цифровой, символьной, графической информации 13

Представление числовой информации. 13

Представление символьных данных. 14

Представление графических данных. 15

Линейные структуры (списки данных, векторы данных) 16

Табличные структуры (таблицы данных, матрицы данных) 17

Список использованной литературы: 20

Введение

В самом широком смысле слова информация представляет собой отражение реального мира в виде сигналов разной природы, воспринимаемых человеком. В узком (практическом) умысле - это любые сведения, являющиеся объектом хранения, передачи и преобразования.

За тысячелетия своего существования человечество накопило огромное количество информации. Мозг человека не в состоянии хранить такой объем информации и без искажения передавать её другим людям. Поэтому для хранения и передачи информации использовались различные средства - от рисунков на скалах до магнитных и оптических носителей информации в современных вычислительных машинах.

Теория кодирования

В компьютере информация представляется в двоичном виде, и, вообще говоря, кодирование информации в ЭВМ - одна из задач теории кодирования.

Теория кодирования - один из разделов теоретической информатики. Одна из задач - разработка принципов наиболее экономичного кодирования. Эта задача касается передачи, обработки, хранения информации. Частное ее решение – представление информации в компьютере.

Определение: источник представляет сообщение в алфавите, который называется первичным, далее это сообщение попадает в устройство, преобразующее и представляющее его во вторичном алфавите.

Код – правило, описывающее соответствие знаков (или их сочетаний) первичного алфавита знаком (их сочетаниями) вторичного алфавита.

Кодирование – перевод информации, представленной сообщением в первичном алфавите, в последовательность кодов.

Декодирование – операция обратная кодированию.

Кодер – устройство, обеспечивающее выполнение операции кодирования.

Декодер – устройство, производящее декодирование.

Операции кодирования и декодирования называются обратимыми, если их последовательное применение обеспечит возврат к исходной информации без каких-либо ее потерь. Пример обратимого: слова ↔ телеграфный код, необратимого: английский ↔ русский – здесь неоднозначно.

Далее будем иметь ввиду только обратимое кодирование.

Математическая постановка условия обратимого кодирования.

Пусть первичный алфавит А состоит из N знаков со средней информацией на знак IА, вторичный В – из М знаков со средней информацией на знак IВ.

Пусть сообщение в первичном алфавите содержит n знаков, а закодированное – m знаков. Если исходное сообщение содержит IS(A) информации, а закодированное If(B), то условие обратимости кодирования (то есть неисчезновения информации при кодировании) очевидно может быть записано так: IS(A) ≤ If(B) - то есть операция обратимого кодирования может увеличить количество информации в сообщении, но не может уменьшить ее. n* I(A)≤m*I(B)(заменили произведением числа знаков на среднее информационное содержание знака).

Отношение m/n –характеризует среднее число знаков вторичного алфавита,который используется для кодирования одного знака первичного. Обозначим его К (А, В) К (А, В)≥ I(A)/I(B) Обычно К (А, В) >1 ⇒ знак первичного алфавита кодируется несколькими вторичными ⇒? – проблема выбора наилучшего варианта – оптимального кода. Оптимальность- это экономический фактор (меньше энергии, времени, объема носителя - уже в зависимости от задачи и поставленных ограничений). Минимально возможная длина кода: Кmin (А, В)= I(A) / I(B) –это нижний предел длины кода. Но реально в схемах кодирования как близко возможное приближение К (А, В) к Кmin(А, В).