32 Летний инженер-электрик на 100 страницах изложил идеи, которые всколыхнули математику, физику, лингвистику и многие другие науки.
Сам Шеннон, публикуя свою статью, не считал её открытием и начинал её словами: "Современное развитие методов модуляции повысило интерес к общей теории связи. Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале".
Это вступление со словами "расширим теорию", а не "создадим" подразумевали уже имеющуюся теорию. А предпосылки для возникновения ТИ были уже все налицо. Было учение об энтропии и проблема "Демона Максвелла" была формула Хартли и исследование частот букв языка, был закон психофизического восприятия Вебера-Фёхнера. Шеннон ничего не изобрел в прямом смысле. Он умело развил существующие идеи, собрал всё воедино и показал в каком направлении следует развивать приложения этой концепции.
Через 8 лет в 1956 г. Шеннон в своей статье "Бандвагон" уже призывал писать скромно о теории информации, не считать теорию всемогущей и универсальной. "Здание нашего несколько искусственно созданного благополучия слишком легко может рухнуть, как только в один прекрасный день окажется, что при помощи нескольких магических слов, таких как информация, энтропия, избыточность нельзя решить всех нерешенных проблем".
Так как основным математическим аппаратом теории информации является аппарат теории вероятностей, вспомним некоторые основные его положения.
Некоторые положения теории вероятности
При массовых операциях процент одного или другого события при данных условиях примерно один и тот же. Массовая операция - большое число подобных единичных операций. Количество выбитых очков при спортивной стрельбе, процент бракованных деталей в производстве, средний вес яйца на птицеферме.
Нас интересует определенный результат, или число таких результатов в этой операции. Процент или доля таких результатов называется "вероятностью", имеющая смысл только в определенных заранее условиях.
Эксперимент - масса отдельных испытаний
состоит из N испытаний
при одинаковых условиях, исход каждого
испытания случаен, но это есть конкретный
результат. Все исходы - выборочное
пространство
каждый исход точка «а» в нем. Точек
должно быть больше двух. Результаты
эксперимента - события состоят из
объединения исходов с заданным признаком,
a/N -
относительное число благоприятных
исходов - в пределе вероятность Р(а).
Несовместимы события - не содержащие общих точек.
Вероятность P(A) = a/N при N , где
a - число благоприятных исходов
N - число единичных операций
Рождение детей, зарегистрированное органами ЗАГС в г. Энске
Месяц мальчиков девочек Рмальчиков=число мальчиков/число детей
январь 145 135 0,518
февраль 142 136 0,511
март 152 140 0,521
…………………………………..
декабрь 147 138 0,515
Вероятность рождения мальчика Рмальчиков = 0,516 (по результатам обработки регистраций рождений по России с 16 века по наши дни)
Типографская русская касса
Р (пробел) = 0,175
Р(о) = 0,09
Р(е) = 0,072
Р(ь) = 0,014
Р(щ) = 0,003
Р(э) = Р(ф) = 0,002