Контрольные вопросы

1. Расскажите, как Вы понимаете смысл понятия <информационный ресурс>.

2. Что такое <социальная энтропия> ?

3. В чем разница между информационной средой и информационной технологией ?

4. Что такое напряженность информационного поля?

5. Дайте определение категории <искусственный интеллект>.

6. Какое Вы видите отличие индивидуального интеллекта от социального?

7. Расскажите о процессе функционирования творческой системы.

8. Что такое квант знания?

9. Проанализируйте первую аксиому информатики.

10. В чем смысл второй аксиомы информатики ?

11. Раскройте содержание третьей и четвертой аксиом информатики.

12. Расскажите о пятой и шестой аксиомах информатики.

13. Перечислите известные Вам виды информации.

14. Как Вы понимаете свойства информации?

Глава 3. Математические основы информатики

Так как понятие <информация> занимает центральное место в информатике, то является естественным начать изучение математических основ информатики с методов и моделей количественной оценки информации. В этой главе дается краткое знакомство с теорией алгоритмов, детальное изложение которой должно быть сделано в курсе <Дискретная математика>. Теория алгоритмов является основополагающей теорией для наук, связанных с вычислительной техникой основным инструментарием информатики. Трудно себе представить материал главы о математических основах информатики без раздела <Системы счисления>. В третьей главе рассмотрены основные на сегодня системы счисления, используемые в вычислительной технике: позиционные и смешанные, перевод чисел из одной системы счисления в другую. Приведены доходчивые примеры. Глава заканчивается . рассмотрением форм представления и преобразования информации. Раскрывается числовая система ЭВМ, представление чисел, кодирование и декодирование символьной информации в ЭВМ, форматы данных.

3.1. Методы и модели оценки количества информации

Для теоретической информатики информация играет такую же роль, как и вещество в физике. И подобно тому, как веществу можно приписывать довольно большое количество характеристик: массу, заряд, объем и т. д., так и для информации имеется пусть и не столь

большой, но достаточно представительный набор характеристик. Как и для характеристик вещества, так и для характеристик информации имеются единицы измерения, что позволяет некоторой порции информации приписывать числа - количественные характеристики информации.

На сегодняшний день наиболее известны следующие способы измерения информации: объемный, энтропийный и алгоритмический.

Объемный является самым простым и грубым способом измерения информации. Соответствующую количественную оценку информации естественно назвать объемом информации. Объем информации в сообщении - это количество символов в сообщении. Поскольку, например, одно и то же число может быть записано многими разными способами (с использованием разных алфавитов), то этот способ чувствителен к форме представления (записи) сообщения. В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлена в двоичной форме (с использованием алфавита, состоящего всего из двух символов 0 и 1). Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт - это восемь бит.

В теории информации и кодирования принят энтропийный подход к измерению информации. Этот способ измерения исходит из следующей модели. Получатель информации (сообщения) имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения.

Однако в теории информации получила использование другая количественная оценка, а именно - логарифм от описанной выше оценки по основанию 2:

H=log₂m, (3.1)

где m -число возможных равновероятных выборов.

К. Шеннону принадлежит обобщение Н на случай, когда Н зависит от вероятностей возможных выборов (для сообщения - вероятности выбора символов). Для количества собственной индивидуальной информации он предложил соотношение

H=-_j P_j log₂P_j, (3.2)

где P_j - вероятность выбора j-го символа алфавита.

В алгоритмической теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении. Этот метод кратко можно охарактеризовать следующими рассуждениями. Каждый согласится, что слово 0101...01 сложнее слова 00...0, а слово, где 0 и 1 выбираются из эксперимента - бросания монеты (где 0 - герб, 1 - решка), сложнее обоих предыдущих.

Компьютерная программа, производящая слово из одних нулей, крайне проста: печатать один и тот же символ. Для получения 0101...01 нужна чуть более сложная программа, печатающая символ, противоположный только что напечатанному. Случайная, не обладающая ни какими закономерностями последовательность не может быть произведена никакой <короткой> программой. Длина программы, производящей хаотичную последовательность, должна быть близка к длине последней.

Приведенные рассуждения позволяют предположить, что любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Так как имеется много разных вычислительных машин и разных к языков программирования (разных способов задания алгоритма), то или определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга (см. раздел <Теория алгоритмов>), а предполагаемая количественная характеристика сложность слова (сообщения) определяется как минимальное число внутренних состояний машины Тьюринга, требующиеся для его воспроизведения. Так же в алгоритмической теории информации используются и другие способы задания сложности.