![](/user_photo/2706_HbeT2.jpg)
- •Предисловие
- •Лекция 1. Информация. Начальные понятия и определения
- •1. Информация и данные
- •2. Адекватность и формы адекватности информации
- •3. Качество информации
- •4. Понятие об информационном процессе
- •5. Формы представления информации
- •6. Преобразование сообщений
- •Лекция 2. Необходимые сведения из теории вероятностей
- •1. Понятие вероятности
- •2. Сложение вероятностей независимых несовместных событий
- •3. Умножение вероятностей независимых совместных событий
- •4. Нахождение среднего для значений случайных независимых величин
- •5. Понятие условной вероятности
- •6. Общая формула для вероятности произведения событий
- •7. Общая формула для вероятности суммы событий
- •Лекция 3. Понятие энтропии
- •1. Энтропия как мера неопределенности
- •2. Свойства энтропии
- •3. Условная энтропия
- •Лекция 4. Энтропия и информация
- •1. Объемный подход к измерению количества информации
- •2. Энтропийный подход к измерению количества информации
- •Лекция 5. Информация и алфавит
- •Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона.
- •Лекция 7. Способы построения двоичных кодов. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды.
- •1. Постановка задачи оптимизации неравномерного кодирования
- •00100010000111010101110000110
- •2. Неравномерный код с разделителем
- •3. Коды без разделителя. Условие Фано
- •00100010000111010101110000110
- •00100010000111010101110000110
- •4. Префиксный код Шеннона–Фано
- •5. Префиксный код Хаффмана
- •Лекция 8. Способы построения двоичных кодов. Другие варианты
- •1. Равномерное алфавитное двоичное кодирование. Байтовый код
- •2. Международные системы байтового кодирования текстовых данных. Универсальная система кодирования текстовых данных
- •3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •4. Блочное двоичное кодирование
- •101010111001100010000000001000000000000001
- •5. Кодирование графических данных
- •6. Кодирование звуковой информации
- •Лекция 9. Системы счисления. Представление чисел в различных системах счисления. Часть 1
- •1. Системы счисления
- •2. Десятичная система счисления
- •3. Двоичная система счисления
- •4. 8- И 16-ричная системы счисления
- •5. Смешанные системы счисления
- •6. Понятие экономичности системы счисления
- •Лекция 10. Системы счисления. Представление чисел в различных системах счисления. Часть 2.
- •1. Задача перевода числа из одной системы счисления в другую
- •2. Перевод q p целых чисел
- •3. Перевод p q целых чисел
- •4. Перевод p q дробных чисел
- •6. Перевод чисел между 2-ичной, 8-ричной и 16-ричной системами счисления
- •Лекция 11. Кодирование чисел в компьютере и действия над ними
- •1. Нормализованные числа
- •2. Преобразование числа из естественной формы в нормализованную
- •3. Преобразование нормализованных чисел
- •4. Кодирование и обработка целых чисел без знака
- •5. Кодирование и обработка целых чисел со знаком
- •6. Кодирование и обработка вещественных чисел
- •Лекция 12. Передача информации в линии связи
- •1. Общая схема передачи информации в линии связи
- •2. Характеристики канала связи
- •3. Влияние шумов на пропускную способность канала
- •Лекция 13. Обеспечение надежности передачи информации.
- •1. Постановка задачи обеспечения надежности передачи
- •2. Коды, обнаруживающие одиночную ошибку
- •3. Коды, исправляющие одиночную ошибку
- •Лекция 14. Способы передачи информации в компьютерных линиях связи
- •1. Параллельная передача данных
- •2. Последовательная передача данных
- •3. Связь компьютеров по телефонным линиям
- •Лекция 15. Классификация данных. Представление данных в памяти компьютера
- •1. Классификация данных
- •2. Представление элементарных данных в озу
- •Лекция 16. Классификация структур данных
- •1. Классификация и примеры структур данных
- •2. Понятие логической записи
- •Лекция 17. Организация структур данных в оперативной памяти и на внешних носителях
- •1. Организация структур данных в озу
- •2. Иерархия структур данных на внешних носителях
- •3. Особенности устройств хранения информации
- •Контрольные вопросы
- •Список литературы
Лекция 2. Необходимые сведения из теории вероятностей
Понятие вероятности.
Сложение вероятностей независимых несовместных событий.
Умножение вероятностей независимых совместных событий.
Нахождение среднего для значений случайных независимых величин.
Понятие условной вероятности.
Общая формула для вероятности произведения событий.
Общая формула для вероятности суммы событий.
1. Понятие вероятности
В естественных науках изучаются явления, исход которых определяется однозначными причинно-следственными связями, выраженными с помощью математического понятия аргумент–функция. Например, электросопротивление цепи и напряжение на ее концах однозначно задают силу тока. Причем, сколько раз ни повторялся бы опыт, результат измерения силы тока окажется одинаковым (в пределах погрешности измерений).
Однако часто приходится иметь дело с явлениями, исход которых неоднозначен и зависит от факторов, которые мы не знаем или не можем учесть (математически описать). Простейший и традиционный пример – предсказание результата бросания монеты, то есть выпадение «орла» или «решки». Подобной же оказывается ситуация с выигрышем по лотерейному билету, получением определенной карты в карточных играх, результат спортивной встречи, количество пассажиров в автобусе и так далее
Явления (события), исход которых не может быть однозначно определен до того, как они произошли, называются случайными.
Раздел математики, в котором строится понятийный и математический аппарат для описания случайных событий, называется теорией вероятностей.
Будем
называть отдельный повтор случайного
явления опытом, а интересующий нас исход
этого явления – благоприятным событием
(или благоприятным исходом). Тогда, если
– это общее число опытов,
– это количество благоприятных исходов
случайного события
,
то отношение
есть доля благоприятных исходов в
проведенной серии опытов илиотносительная
частота
появления благоприятного исхода. Однако
в разных сериях при небольшом количестве
опытов в каждой серии значение частоты
может оказаться различной. Например, в
серии из 3 опытов по бросанию монеты 2
раза выпал орел и 1 раз – решка. Если
благоприятным исходом считать выпадение
орла, то относительная частота получается
равной
.
В другой же серии из 3 опытов результат
может оказаться совершенно иным,
например, все 3 раза выпадет решка, и,
следовательно, частота появления орла
оказывается равной
.
Однако,
частота стремится к некоторой определенной
(и постоянной) величине в том случае,
если количество опытов
будет велико, и в предельном случае
стремится к бесконечности. Эта величина
называется вероятностью случайного
события
:
. (3.1)
Это определение вероятности называется частотным; оно применимо для возможных исходов, образующих дискретный набор.
Альтернативой
случайному событию является событие,
которое обязательно произойдет (например,
наступление лета после весны) – это
достоверное
событие.
Для достоверного события
и
.
События,
которые никогда не могут произойти,
называются невероятными,
для них
и
.
Например, невозможно вынуть красный
шар из урны с белыми и черными шарами.
Случайные события располагаются между невероятными и достоверными:
. (3.2)
Выражение (3.2) – это условие нормировки вероятностей.
Еще раз отметим, что для достаточно точного определения вероятности случайного события нужно провести как можно больше опытов, в идеале – серию бесконечного числа опытов. Однако практически осуществить бесконечноечисло опытов невозможно. Поэтому для определения вероятности случайного события приходится применять другие соображения. Часто такие соображения недоказуемы, хотя верны и интуитивно понятны.
Часто
рассматривается ситуация, в которой
несколько независимых исходов случайного
события принимаются равновероятными.
В частности, принимается, что при условии
однородности материала кубика и
правильности его формы равновероятно
выпадение любой из его 6 граней. Таким
образом, если у случайного события могут
быть
равновероятных исходов, то вероятность
наступления любого из них есть (табл.
2)
. (3.3)
Табл. 2. Вероятности равновероятных исходов опыта
Случайное событие |
Число
возможных равновероятных исходов,
|
Интересующий нас исход |
Вероятность
интересующего нас исхода,
|
Бросание монеты |
|
Выпадение орла |
|
Бросание игральной кости |
|
Выпадение грани с «5» |
|
Вытаскивание карты из колоды 36 карт |
|
Вытаскивание дамы пик |
|
Формула
(3.3) обобщается на ситуацию, когда
благоприятное событие осуществляется
несколькими способами ()
из
равновероятных исходов (очевидно,
),
тогда (табл.
3)
. (3.4)
Табл. 3. Вероятности событий, осуществляющихся несколькими из равновероятных исходов
Случайное событие |
|
Интересующий нас исход |
|
|
Бросание игральной кости |
|
Выпадение четной цифры |
|
|
Вытаскивание карты из колоды 36 карт |
|
Вытаскивание туза |
|
|
|
Вытаскивание любой пиковой карты |
|
| |
Доставание шара из ящика с 10 шарами, из которых 5 красных, 3 зеленых, 2 черных |
|
Доставание красного шара |
|
|