- •Предисловие
- •Лекция 1. Информация. Начальные понятия и определения
- •1. Информация и данные
- •2. Адекватность и формы адекватности информации
- •3. Качество информации
- •4. Понятие об информационном процессе
- •5. Формы представления информации
- •6. Преобразование сообщений
- •Лекция 2. Необходимые сведения из теории вероятностей
- •1. Понятие вероятности
- •2. Сложение вероятностей независимых несовместных событий
- •3. Умножение вероятностей независимых совместных событий
- •4. Нахождение среднего для значений случайных независимых величин
- •5. Понятие условной вероятности
- •6. Общая формула для вероятности произведения событий
- •7. Общая формула для вероятности суммы событий
- •Лекция 3. Понятие энтропии
- •1. Энтропия как мера неопределенности
- •2. Свойства энтропии
- •3. Условная энтропия
- •Лекция 4. Энтропия и информация
- •1. Объемный подход к измерению количества информации
- •2. Энтропийный подход к измерению количества информации
- •Лекция 5. Информация и алфавит
- •Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона.
- •Лекция 7. Способы построения двоичных кодов. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды.
- •1. Постановка задачи оптимизации неравномерного кодирования
- •00100010000111010101110000110
- •2. Неравномерный код с разделителем
- •3. Коды без разделителя. Условие Фано
- •00100010000111010101110000110
- •00100010000111010101110000110
- •4. Префиксный код Шеннона–Фано
- •5. Префиксный код Хаффмана
- •Лекция 8. Способы построения двоичных кодов. Другие варианты
- •1. Равномерное алфавитное двоичное кодирование. Байтовый код
- •2. Международные системы байтового кодирования текстовых данных. Универсальная система кодирования текстовых данных
- •3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •4. Блочное двоичное кодирование
- •101010111001100010000000001000000000000001
- •5. Кодирование графических данных
- •6. Кодирование звуковой информации
- •Лекция 9. Системы счисления. Представление чисел в различных системах счисления. Часть 1
- •1. Системы счисления
- •2. Десятичная система счисления
- •3. Двоичная система счисления
- •4. 8- И 16-ричная системы счисления
- •5. Смешанные системы счисления
- •6. Понятие экономичности системы счисления
- •Лекция 10. Системы счисления. Представление чисел в различных системах счисления. Часть 2.
- •1. Задача перевода числа из одной системы счисления в другую
- •2. Перевод q p целых чисел
- •3. Перевод p q целых чисел
- •4. Перевод p q дробных чисел
- •6. Перевод чисел между 2-ичной, 8-ричной и 16-ричной системами счисления
- •Лекция 11. Кодирование чисел в компьютере и действия над ними
- •1. Нормализованные числа
- •2. Преобразование числа из естественной формы в нормализованную
- •3. Преобразование нормализованных чисел
- •4. Кодирование и обработка целых чисел без знака
- •5. Кодирование и обработка целых чисел со знаком
- •6. Кодирование и обработка вещественных чисел
- •Лекция 12. Передача информации в линии связи
- •1. Общая схема передачи информации в линии связи
- •2. Характеристики канала связи
- •3. Влияние шумов на пропускную способность канала
- •Лекция 13. Обеспечение надежности передачи информации.
- •1. Постановка задачи обеспечения надежности передачи
- •2. Коды, обнаруживающие одиночную ошибку
- •3. Коды, исправляющие одиночную ошибку
- •Лекция 14. Способы передачи информации в компьютерных линиях связи
- •1. Параллельная передача данных
- •2. Последовательная передача данных
- •3. Связь компьютеров по телефонным линиям
- •Лекция 15. Классификация данных. Представление данных в памяти компьютера
- •1. Классификация данных
- •2. Представление элементарных данных в озу
- •Лекция 16. Классификация структур данных
- •1. Классификация и примеры структур данных
- •2. Понятие логической записи
- •Лекция 17. Организация структур данных в оперативной памяти и на внешних носителях
- •1. Организация структур данных в озу
- •2. Иерархия структур данных на внешних носителях
- •3. Особенности устройств хранения информации
- •Контрольные вопросы
- •Список литературы
Оглавление
Предисловие 2
Лекция 1. Информация. Начальные понятия и определения 3
Лекция 2. Необходимые сведения из теории вероятностей 15
Лекция 3. Понятие энтропии 23
Лекция 4. Энтропия и информация 30
Лекция 5. Информация и алфавит 38
Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона. 42
Лекция 7. Способы построения двоичных кодов. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды. 48
Лекция 8. Способы построения двоичных кодов. Другие варианты 57
Лекция 9. Системы счисления. Представление чисел в различных системах счисления. Часть 1 66
Лекция 10. Системы счисления. Представление чисел в различных системах счисления. Часть 2. 75
Лекция 11. Кодирование чисел в компьютере и действия над ними 81
Лекция 12. Передача информации в линии связи 91
Лекция 13. Обеспечение надежности передачи информации. 99
Лекция 14. Способы передачи информации в компьютерных линиях связи 105
Лекция 15. Классификация данных. Представление данных в памяти компьютера 110
Лекция 16. Классификация структур данных 118
Лекция 17. Организация структур данных в оперативной памяти и на внешних носителях 126
Контрольные вопросы 132
Список литературы 134
Предисловие
Во второй половине XX века началась и по настоящее время продолжается стремительная информатизация общества. Информатизация – это процесс создания, развития и всеобщего применения информационных средств и технологий, обеспечивающих достижение и поддержание уровня информированности всех членов общества, необходимого для улучшения качества труда и жизни в обществе. Научным фундаментом процесса информатизации является научная дисциплина – теоретическая информатика.
Целями данного учебного пособия являются:
осуществить четкое изложение основных понятий теории инфорации;
рассмотреть математические основы информатики как инструмент для решения прикладных задач;
сформировать у студентов представление о прикладных аспектах дисциплины, наболее глубоко изучаемых на последующих ступенях обучения.
Среди учебной литературы имеется множество книг по курсу информатики. Однако, круг вопросов, рассматриваемых в имеющихся учебных пособиях, зачастую не вполне соответствует учебной программе по дисциплине «Теория информации», утвержденной вузом для конкретного направления подготовки. Отличие данного пособия от имеющихся состоит, прежде всего, в ориентации на конкретную программу обучения студентов направления подготовки 230700.62 «Прикладная информатика». Данное учебное пособие представляет собой конспект лекций, читаемых студентам, обучающимся по указанному направлению подготовки.
Данный курс может быть использован как лекторами, так и студентами при самостоятельной работе.
Лекция 1. Информация. Начальные понятия и определения
Информация и данные.
Формы адекватности информации.
Качество информации.
Понятие об информационном процессе.
Формы представления информации.
Преобразование сообщений.
1. Информация и данные
Термин «информация» происходит от латинского informatio, что означает разъяснение, осведомление, изложение. Информация есть отражение реального мира с помощью сведений (сообщений).
Сообщение – это форма представления информации в виде речи, текста, изображения, цифровых данных, графиков, таблиц и так далее
В широком смысле информация – это общенаучное понятие, включающее в себя обмен сведениями между людьми, обмен сигналами между живой и неживой природой, людьми и устройствами.
Информация – это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.
Наряду с понятием информации в информатике часто употребляется понятие «данные». Между «информацией» и «данными» есть отличие.
Данные могут рассматриваться как признаки или записанные наблюдения, которые не используются, а только хранятся. В том случае, когда эти данные используются для уменьшения неопределенности о чем-либо, данные превращаются в информацию. Таким образом, информацией являются используемые данные.
Пример. Напишите на листе десять номеров телефонов в виде последовательности десяти чисел и покажите их Вашему другу. Он воспримет эти цифры как данные, так как они не предоставляют ему никаких сведений. Затем после каждого номера укажите имя и фамилию. Для Вашего друга непонятные сначала цифры обретут определенность, и превратятся из данных в информацию, которую можно использовать.
При работе с информацией всегда имеется ее источник и потребитель (получатель). Пути и процессы, обеспечивающие передачу сообщений от источника информации к потребителю, называются информационными коммуникациями.