
- •160001, Г. Вологда, ул. Челюскинцев, 3.
- •Предисловие
- •Введение
- •Раздел 1. Теория информации
- •Глава 1. Исходные понятия информатики
- •1.1. Начальные определения
- •1.2. Формы представления информации
- •1.3. Преобразование сообщений
- •Контрольные вопросы и задания
- •Глава 2. Понятие информации в теории Шеннона
- •2.1. Понятие энтропии
- •2.1.1. Энтропия как мера неопределенности
- •2.1.2. Свойства энтропии
- •2.1.3. Условная энтропия
- •2.2. Энтропия и информация
- •2.3. Информация и алфавит
- •Контрольные вопросы и задания
- •Глава 3. Кодирование символьной информации
- •3.1. Постановка задачи кодирования, Первая теорема Шеннона
- •3.2. Способы построения двоичных кодов
- •3.2.1. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды
- •3.2.2. Равномерное алфавитное двоичное кодирование. Байтовый код
- •3.2.3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •3.2.4. Блочное двоичное кодирование
- •Контрольные вопросы и задания
- •Глава 4. Представление и обработка чисел в компьютере
- •4.1. Системы счисления
- •4.2. Представление чисел в различных системах счисления
- •4.2.1. Перевод целых чисел из одной системы счисления в другую
- •4.2.2. Перевод дробных чисел из одной системы счисления в другую
- •4.2.3. Понятие экономичности системы счисления
- •4.2.4. Перевод чисел между системами счисления 2 ↔ 8 ↔ 16
- •4.2.5. Преобразование нормализованных чисел
- •4.3. Кодирование чисел в компьютере и действия над ними
- •4.3.1. Кодирование и обработка в компьютере целых чисел без знака
- •4.3.2. Кодирование и обработка в компьютере целых чисел со знаком
- •4.3.3. Кодирование и обработка в компьютере вещественных чисел
- •Контрольные вопросы и задания
- •Глава 5. Передача информации
- •5.1. Общая схема передачи информации в линии связи
- •5.2. Характеристики канала связи
- •5.3. Влияние шумов на пропускную способность канала
- •5.4. Обеспечение надежности передачи и хранения информации
- •5.4.1. Постановка задачи
- •5.4.2. Коды, обнаруживающие ошибку
- •5.4.3. Коды, исправляющие одиночную ошибку
- •5.5. Способы передачи информации в компьютерных линиях связи
- •5.5.1. Канал параллельной передачи
- •5.5.2. Последовательная передача данных
- •5.5.3. Связь компьютеров по телефонным линиям
- •Контрольные вопросы и задания
- •Глава 6. Хранение информации
- •6.1. Классификация данных. Проблемы представления данных
- •6.2. Представление элементарных данных в озу
- •6.3. Структуры данных и их представление в озу
- •6.3.1. Классификация и примеры структур данных
- •6.3.2. Понятие логической записи
- •6.3.3. Организация структур данных в озу
- •6.4. Представление данных на внешних носителях
- •6.4.1. Иерархия структур данных на внешних носителях
- •6.4.2. Особенности устройств хранения информации
- •Контрольные вопросы и задания
- •Раздел 2. Алгоритмы. Модели. Системы
- •Глава 7. Элементы теории алгоритмов
- •7.1. Нестрогое определение алгоритма
- •7.2. Рекурсивные функции
- •7.3. Алгоритм как абстрактная машина
- •7.3.1. Общие подходы
- •7.3.2. Алгоритмическая машина Поста
- •7.3.3. Алгоритмическая машина Тьюринга
- •7.4. Нормальные алгоритмы Маркова
- •7.5. Сопоставление алгоритмических моделей
- •7.6. Проблема алгоритмической разрешимости
- •7.7. Сложность алгоритма
- •Контрольные вопросы и задания
- •Глава 8. Формализация представления алгоритмов
- •8.1. Формальные языки
- •8.1.1. Формальная грамматика
- •8.1.2. Способы описания формальных языков
- •8.2. Способы представления алгоритмов
- •8.2.1. Исполнитель алгоритма
- •8.2.2. Строчная словесная запись алгоритма
- •8.2.3. Графическая форма записи
- •8.2.4. Классификация способов представления алгоритмов
- •8.3. Структурная теорема
- •Контрольные вопросы и задания
- •Глава 9. Представление о конечном автомате
- •9.1. Общие подходы к описанию устройств, предназначенных для обработки дискретной информации
- •9.2. Дискретные устройства без памяти
- •9.3. Конечные автоматы
- •9.3.1. Способы задания конечного автомата
- •9.3.2. Схемы из логических элементов и задержек
- •9.3.3. Эквивалентные автоматы
- •Контрольные вопросы и задания
- •Глава 10. Модели и системы
- •10.1. Понятие модели
- •10.1.1. Общая идея моделирования
- •10.1.2. Классификация моделей
- •Модели структурные и функциональные
- •Модели натурные и информационные
- •Модели проверяемые и непроверяемые
- •Модели по назначению
- •10.1.3. Понятие математической модели
- •10.2. Понятие системы
- •10.2.1. Определение объекта
- •10.2.2. Определение системы
- •10.2.3. Формальная система
- •10.2.4. Значение формализации
- •10.3. Этапы решения задачи посредством компьютера
- •10.4. Об объектном подходе в прикладной информатике
- •Контрольные вопросы и задания
- •Заключение
- •Приложение а. Элементы теории вероятностей
- •А.1. Понятие вероятности
- •А.2. Сложение и умножение вероятностей
- •A.3. Условная вероятность
- •Контрольные вопросы и задания
- •Приложение б. Некоторые соотношения логики
- •Глоссарий
- •Список литературы
- •Содержание
- •Глава 4. Представление и обработка чисел в компьютере 45
- •Глава 5. Передача информации 69
- •Глава 6. Хранение информации 83
- •Раздел 2. Алгоритмы. Модели. Системы 98
- •Глава 7. Элементы теории алгоритмов 99
- •Глава 8. Формализация представления алгоритмов 120
- •Глава 9. Представление о конечном автомате 134
- •Глава 10. Модели и системы 147
Приложение а. Элементы теории вероятностей
Рассматриваются лишь те положения теории вероятностей, которые используются в изложении основного материала, в частности, гл. 2.
А.1. Понятие вероятности
В естественных науках изучаются явления, исход которых определяется однозначными причинно-следственными связями, выраженными с помощью математического понятия аргумент-функция. Например, электросопротивление цепи и напряжение на ее концах однозначно задает силу тока, что является сутью закона Ома. Причем, сколько раз не повторялся бы опыт, результат измерения силы тока окажется одинаковым (в пределах погрешности измерений).
Однако часто приходится иметь дело с явлениями, исход которых неоднозначен и зависит от факторов, которые не знаем или не можем учесть. Простейший и традиционный пример - предсказание результата бросания монеты, т.е. выпадение «орла» или «решки». Подобной же оказывается ситуация с выигрышем по лотерейному билету, получением определенной карты в карточных играх, попадание в цель при стрельбе, результат спортивной встречи, количество пассажиров в автобусе и пр.
Явления, исход которых не может быть однозначно определен до того, как они произошли, называются случайными.
Раздел математики, в котором строится понятийный и математический аппарат для описания случайных событий, называется теорией вероятностей. Количественное описание случайных событий опирается на то, что при многократном повторении явления с неоднозначным исходом в одних и тех же условиях частота появления некоторого результата остается приблизительно одинаковой. Будем называть отдельный повтор случайного явления опытом, а интересующий исход этого явления - благоприятным событием (или благоприятным исходом). Тогда, если N - общее число опытов, а NA - количество благоприятных исходов случайного события А, то отношение
будет показывать долю благоприятных исходов в проведенной серии опытов или относительную частоту появления благоприятного исхода. Однако в разных сериях при небольшом количестве опытов в каждой значение частоты может оказаться различной. Например, в серии из 3 опытов по бросанию монеты 2 раза выпал орел и 1 решка. Если благоприятным исход считать выпадение орла, то частота получается равной 2/3. В другой же серии из трех опытов результат может оказаться совершенно иным, например, все 3 раза выпадет решка и, следовательно, частота появления орла оказывается равной 0. Частота стремится к некоторой определенной (и постоянной) величине только в том случае, если количество опытов будет велико, в предельном случае стремиться к бесконечности. Это величина и называется вероятностью случайного события А:
Данное определение вероятности называется частотным; оно применимо для возможных исходов, образующих дискретный (конечный) набор. Существуют и случайный события, имеющие непрерывный ряд возможных исходов, например, значение скорости молекулы газа или время ее пребывания в некоторой области пространства; для таких событий используется иное определение вероятности. Будем иметь дело только с дискретными событиями и пользоваться приведенным выше определением.
Безусловно, различные события имеют разную вероятность. Можно считать, что значение вероятности характеризует событие и, в то же время, является его функцией; по этой причине будем придерживаться обозначения р(А).
Альтернативой случайному событию является событие, относительно которого точно знаем, что оно произойдет (например, наступление дня после ночи) - такие события будем называть достоверными. Достоверное событие можно рассматривать как предельный случай события случайного - для него в любом опыте NA - N и, согласно (А.1), р(А) = 1. Наоборот, события, которые никогда не могут произойти - будем называть их невероятными (например, вынуть красный шар из урны с белыми и черными) - имеют всегда NA = 0 и, следовательно, р(А) = 0. Таким образом, случайные события располагаются между невероятными и достоверными, а для их частотной характеристики - вероятности - очевидно, будет справедливо соотношение:
Полученное выражение называется условием нормировки вероятностей; в дальнейшем получим более общую форму его записи.
Безусловно, важной задачей является определение (или оценка) вероятности некоторого случайного события. Однако произвести практически бесконечное число опытов, что требует определение вероятности, конечно, невозможно. Поэтому приходится привлекать некоторые иные соображения. Рассмотрим ситуацию, когда случайное событие имеет несколько независимых исходов, но все они равновероятны, т.е. относительные частоты их наступления одинаковы. Пусть п - общее число равновероятных событий, которые обозначим А1, А2, ... Ап; вероятности их наступления будут, соответственно, р(A1), р(А2), ... р(Ап). Рассмотрим сложное событие А, для которого благоприятным окажется любой из исходов А1, ... Ап; очевидно, такое событие будет достоверным (так как какое-то из перечисленных событий все равно произойдет) и, следовательно, вероятность сложного события р(А) = 1. С другой стороны, поскольку отдельные события независимы, т.е. наступление любого из них никак не связано и не обусловлено другими, каждое из них внесет свою лепту величиной р(Ai) в вероятность сложного события. Т.е.
Так как рассматриваются равновероятные события, очевидно
Следовательно, р(А) = п∙р = 1, откуда получаем, что вероятность любого из равновероятных событий будет равна:
Пример А.1
Конечно, для применения этой простой формулы необходимо доказать, что исходы равновероятны; такое доказательство выходит за рамки теории вероятности, однако является условием применимости ее соотношений. Часто для доказательства прибегают к соображениям симметрии или исходят из неких интуитивно ясных (но недоказуемых!) посылок. Например, принимается, что при условии однородности материала игрального кубика и правильности его геометрической формы равновероятно выпадение любой из граней.
Формулу (А.3) легко обобщить на ситуацию, когда благоприятное событие осуществляется несколькими способами (m) из п равновероятных (очевидно, т ≤ п). Например, выпадение четной цифры при броске кубика (n = 6, т =3). Тогда
Пример А.2
Какова вероятность вытащить из колоды 36 карт туза?
N = 36, т = 4, р = 1/9.
Какова вероятность достать красный шар из ящика с 10 шарами, из которых 5 красных, 3 зеленых и 2 черных? n = 10, т = 5, р = 1/2.