
- •Э.Н.Гордеев теория информации и сложность алгоритмов
- •Гордеев Эдуард Николаевич теория информации и сложность алгоритмов.
- •Раздел 1. Информация и Алгоритм. Коды объектов. 6
- •Раздел 2. Сжатие информации. 11
- •Раздел 1. Информация и Алгоритм. Коды объектов. 5
- •2.2 Основной вывод: информация и алгоритм – взаимообусловленные понятия. 8
- •Раздел 2. Сжатие информации. 11
- •Раздел 1. Информация и Алгоритм. Коды объектов.
- •Введение
- •Предмет курса
- •Основная цель курса
- •Что такое информация?
- •Подходы к определению информации.
- •Описательный подход
- •Использование аналогии и эквивалентности
- •Основной вывод: информация и алгоритм – взаимообусловленные понятия.
- •Представление (кодирование) информации.
- •Раздел 2. Сжатие информации.
- •Кодирование информации. Количество информации. Сжатие информации.
- •Энтропия по Хартли.
- •Энтропия по Шеннону.
- •Математическая модель: алфавитное кодирование случайного источника.
- •Энтропия по Шеннону и энтропия по Хартли.
- •Свойства энтропии.
- •Алгоритмы кодирования
- •Алгоритм Шеннона (Фано).
- •Алгоритм Хаффмана
- •Блочное кодирование Хаффмена.
- •Замечание. О длине блока и сложности кодирования.
- •Блочное кодирование и теорема Шеннона.
- •Раздел 3. Передача информации. Защита от искажений.
- •Передача информации по каналу с шумом.
- •Передача информации по двоичному симметричному каналу с шумом
- •Корректирующие способности кодов. Границы мощности.
- •Теорема Шеннона для канала с шумом.
- •Факты из теории вероятности.
- •XI → канал → y
- •Вероятностное доказательство теоремы.
- •Комбинаторное доказательство теоремы.
- •Примеры кодов, исправляющих ошибки. Линейные коды.
- •Спектр кода.
- •Линейные коды.
- •Теорема об эквидистнантных кодах
- •Рекомендованная литература
Подходы к определению информации.
Иногда вместо того, чтобы определять понятие информация, просто указывают, что информация – это нечто, которое можно получать, хранить, обрабатывать, преобразовывать (кодировать), передавать.
Мы с этим согласны, и это положение будем использовать в нашем анализе. Но ведь очевидно, что есть сущности, которые не являются информацией, хотя бы с интуитивной точки зрения, но которые тоже можно получать, хранить, обрабатывать, преобразовывать (кодировать), передавать. Чем они отличаются от информации?
На первый взгляд, существует подход от обратного: определить некоторую сущность X, которая включает в себя и информацию, а затем попробовать сузить определение X путем проверки выполнения условия о том, что можно делать с X, а что нельзя. И уже таким искусным сужением получить определение информации.
Описательный подход
Самым распространенным подходом является подход описательный. Здесь для объяснения фиксированного понятия используются другие понятия. Если эти другие понятия определены более строго или просто более ясны для слушателя, чем исследуемое, то мы продвигаемся к поставленной цели.
Каждое из таких понятий для того, чтобы прояснить исследуемое нами, должно вступать с ним в какое-то отношение. Действительно, когда мы хотим что-то понять, мы даже на бытовом уровне задаем себе простые вопросы. Например, следующие.
В чем заключается смысл понятия информация.
Как и в каком виде информация появляется.
Каким является сам процесс рождения информации.
Как выглядит информация в материальном виде.
Что действительно есть информация, а что может быть за нее ошибочно приниматься.
Если информация как-то выражается, то в чем заключается выражение информации.
Если удается ответить на эти вопросы, то анализируемое понятие описывается и через описание определяется.
Использование аналогии и эквивалентности
Второй подход – это подход эквивалентности или аналогии. Пусть исследуется некоторое X. Если в рамках фиксированной системы определений и логических отношений между ними был сконструирован некоторый формальный объект Y и сформулирована гипотеза о тождественности X объекту Y, которую в течение долго времени (с момента формулировки, например, до сегодняшнего дня) не удалось опровергнуть, то на практике вместо X можно использовать Y. Однако, это использование может быть корректным только в рамках той самой предметной области, где справедливы определения и отношения, на базе которых была произведена конструкция Y.
Примером здесь может служить тезис Черча. Долгое время пытались дать определение алгоритма, но безуспешно в том смысле, что все такие определения не выдерживали критики. Появился математический объект – машина Тьюринга. Тезис Черча – это утверждение об эквивалентности алгоритма и машины Тьюринга. За пределами математики такой объект как машина Тьюринга неопределим, поэтому тезис Черча там не работает. (Но можно считать, что за этими пределами находятся упомянутые выше экзотические случаи.)
Но в данном тексте этот метод используется, в основном, для иллюстрации формулировок и примеров. Конечно, любая иллюстрация сужает смысл иллюстрируемого, но одновременно она побуждает неудовлетворенного слушателя попытаться самому придумать более наглядные и правильные примеры.