Лингвистика
Теория информации также побудила лингвистов к изучениям в области частоты появления слов, их длины и скорости чтения. Так как она предоставляет средства для измерения избыточности или эффективности символьного представления внутри конкретного языка, были проведены различные исследования, которые показали, что примерная избыточность английского языка составляет 50 процентов. Ученые исследовали последовательности из 8 символов и пришли к тому, что средняя энтропия английского языка составляет 2.35, что является примерно половиной от вычисленной энтропии в 4.08 бита на символ. Это означает, что если убрать из предложения половину букв, то его все равно можно будет достаточно достоверно восстановить. Также ученые проводили исследования, пытаясь найти закономерность между количеством информации на символ языка и скоростью чтения, и пришли к выводу, что люди воспринимают одинаковое количество бит информации вне зависимости от того, читают они текст на английском или на китайском языке.
Физиология
Почти сразу после публикации работ Шеннона в 1948 году люди начали задаваться вопросом о том, как с помощью данной теории можно измерить сообщения, обрабатываемые человеком. Потому что нервную систему человека можно рассматривать как канал передачи информации, а мозг как обработчик информации. Так как нервные сигналы состоят из пульсов электрической энергии, нервная система представляет собой дискретную коммуникационную систему с шумной средой передачи. Многие ученые предполагали, что обнаружат огромную вычислительную мощность мозга. Однако, как показали вычисления, во время «интеллектуальных» занятий, таких как чтение, количество обрабатываемой информации получалось примерно 50 бит в секунду, если считать, что в среднем человек прочитывает 300 слов в минуту, средняя длина слова равна 5 символам, а на каждый символ приходится 2 бита информации. Было подсчитано количество информации, которое обрабатывается каждым из 5 чувств (рисунок 10).
Р
исунок
10. Скорость получения данных от чувств
человека
Ученые сделали вывод о том, что при обработке данных от органов чувств, происходит большая компрессия данных. На основании этих результатов возникают два вопроса: как быстро происходит компрессия данных и откуда берется вычислительная мощность для этого. Ответ на первый вопрос можно предположить из того факта, что задержка между моментом, когда орган чувства получает информацию, и осознанием данной информации примерно равна 0.5 секунды (для компенсации задержки у тела есть рефлекторная система, способная отреагировать на стимуляцию за 0.1 секунды до осознания). Решение второго вопроса исходит из того, что количество клеток мозга примерно равно 100 миллиардам, и каждая из клеток имеет связь с тысячью другими. С помощью этого достигается высокая вычислительная мощность.
Выводы
Сформированная Клодом Шенноном теория информации нашла свое отражение во многих областях науки. Она позволила не только повысить эффективность и помехоустойчивость систем связи, но и иначе взглянуть на проблему количественного измерения информации. Концепция энтропии продолжает использоваться как мера неопределенности или количества информации, и применяется как в технических науках, так и гуманитарных.