- •1. Введение
- •2. Информатика
- •Предмет и основные понятия информатики
- •Понятие информации и её свойства
- •Классификация информации
- •1) По способам восприятия
- •3) По предназначению
- •Свойства информации
- •Объективность
- •Достоверность
- •Полнота
- •Понятие количества информации
- •Тема 1. Информация и информационные процессы
- •1.1. Информация. Информационные объекты различных видов
- •1.2. Виды и свойства информации
- •1.3. Основные информационные процессы. Хранение, передача и обработка информации
- •Информационная энтропия
- •Формальные определения
- •Определение по Шеннону
- •Определение с помощью собственной информации
- •Свойства
- •Математические свойства
- •Эффективность
- •Вариации и обобщения
- •Условная энтропия
- •Взаимная энтропия
- •История
- •Алгоритм Шеннона — Фано
- •Основные сведения
- •Основные этапы
- •Алгоритм вычисления кодов Шеннона — Фано
- •Пример кодового дерева
- •Информация
- •История понятия
- •Классификация информации
- •Значение термина в различных областях знания Философия
- •В информатике
- •Системология
- •В физике
- •В математике
- •В теории управления
- •В кибернетике
- •Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Хранение информации
- •Передача информации
- •Обработка информации
- •Информация в науке
- •Теория информации
- •Теория алгоритмов
- •Теория автоматов
- •Семиотика
- •Дезинформация
- •1. Введение
- •Способы кодирования информации.
- •Теорема Шеннона — Хартли
- •Утверждение теоремы
- •История развития
- •Критерий Найквиста
- •Формула Хартли Теоремы Шеннона для канала с шумами
- •Теорема Шеннона — Хартли
- •Значение теоремы Пропускная способность канала и формула Хартли
- •1. Передача информации. Информационные каналы
- •2. Характеристики информационного канала
- •3. Абстрактный алфавит
- •4. Кодирование и декодирование
- •5. Понятие о теоремах Шеннона
- •6. Международные системы байтового кодирования
- •7. Кодирование информации
- •7.1. Двоичное кодирование текстовой информации
- •7.2. Кодирование графической информации
- •7.2.1. Кодирование растровых изображений
- •7.2.2. Кодирование векторных изображений.
- •7.3. Двоичное кодирование звука
- •Алгоритм
- •История термина
- •Определения алгоритма Неформальное определение
- •Формальное определение
- •Машина Тьюринга
- •Рекурсивные функции
- •Нормальный алгоритм Маркова
- •Стохастические алгоритмы
- •Другие формализации
- •Формальные свойства алгоритмов
- •Виды алгоритмов
- •Нумерация алгоритмов
- •Алгоритмически неразрешимые задачи
- •Анализ алгоритмов Доказательства корректности
- •Время работы
- •Наличие исходных данных и некоторого результата
- •Представление алгоритмов
- •Эффективность алгоритмов
- •1.1. Sadt-модели
- •1.2. Модель отвечает на вопросы
- •1.3. Модель имеет единственный субъект
- •1.4. У модели может быть только одна точка зрения
- •1.5. Модели как взаимосвязанные наборы диаграмм
- •1.6. Резюме
- •Классификация моделей
- •1) Классификация моделей по области использования:
- •2) Классификация моделей по фактору времени:
- •1.3.1. Основные признаки систем
- •Система
- •Различные определения
- •Свойства систем Связанные с целями и функциями
- •Связанные со структурой
- •Связанные с ресурсами и особенностями взаимодействия со средой
- •Классификации систем Ранги систем
- •Термодинамическая классификация
- •Другие классификации
- •Закон необходимости разнообразия (закон Эшби)
Теория информации
Теория информации — комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи, хранения и классификации информации.
Рассматривает носители информации как элементы абстрактного (математического) множества, а взаимодействия между носителями как способ расположения элементов в этом множестве. Такой подход дает возможность формально описать код информации, то есть определить абстрактный код и исследовать его математическими методами. Для этих исследований применяет методы теории вероятностей, математической статистики, линейной алгебры, теории игр и других математических теорий.
Основы этой теории заложил американский учёный Э. Хартли в 1928 г., который определил меру количества информации для некоторых задач связи. Позднее теория была существенно развита американским учёным К. Шенноном, российскими учёными А.Н. Колмогоровым, В.М Глушковым и др.
Современная теория информации включает в себя как разделы теорию кодирования, теорию алгоритмов, теорию цифровых автоматов (см. ниже) и некоторые другие.
Существуют и альтернативные теории информации, например "Качественная теория информации", предложенная польским учёным М. Мазуром.
Теория алгоритмов
C понятием алгоритма знаком любой человек, даже не подозревая об этом. Вот пример неформального алгоритма:
«Помидоры нарезать кружочками или дольками. Положить в них нашинкованный лук, полить растительным маслом, затем посыпать мелко нарезанным стручковым перцем, перемешать. Перед употреблением посыпать солью, уложить в салатник и украсить зеленью петрушки.» (Салат из помидор).
Первые в истории человечества правила решения арифметических задач были разработаны одним из известных учёных древности Аль-Хорезми в IX веке нашей эры. В его честь формализованные правила для достижения какой-либо цели называют алгоритмами (ранее употреблялся термин «алгорифм»).
Предметом теории алгоритмов является нахождение методов построения и оценки эффективных (в том числе и универсальных) вычислительных и управляющих алгоритмов для обработки информации. Для обоснования таких методов теория алгоритмов использует математический аппарат теории информации.
Современное научное понятие алгоритмов как способов обработки информации введено в работах Э. Поста и А. Тьюринга в 20-х годах ХХ века (Машина Тьюринга). Большой вклад в развитие теории алгоритмов внесли русские ученые А. Марков (Нормальный алгоритм Маркова) и А. Колмогоров.
Теория автоматов
Теория автоматов — раздел теоретической кибернетики, в котором исследуются математические модели реально существующих или принципиально возможных устройств перерабатывающих дискретную информацию в дискретные моменты времени.
Понятие автомата возникло в теории алгоритмов. Если существуют некоторые универсальные алгоритмы решения вычислительных задач, то должны существовать и устройства (пусть и абстрактные) для реализации таких алгоритмов. Собственно, абстрактная машина Тюринга, рассматриваемая в теории алгоритмов, является в тоже время и неформально определённым автоматом. Теоретическое обоснование построения таких устройств является предметом теории автоматов.
Теория автоматов использует аппарат математических теорий – алгебры, математической логики, комбинаторного анализа, теории графов, теории вероятностей и др.
Теория автоматов вместе с теорией алгоритмов являются основной теоретической базой для создания электронных вычислительных машин и автоматизированных управляющих систем.