- •Министерство образования Российской Федерации
- •1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •2.Измерение информации
- •3.Структурное (комбинаторное) определение количества информации (по Хартли)
- •4.Статистическое определение количества информации (по Шеннону).
- •5.Свойства функции энтропии источника дискретных сообщений
- •Информационная емкость дискретного сообщения.
- •7.Информация в непрерывных сообщениях
- •8. Энтропия непрерывных сообщений.
- •9.Экстремальные свойства энтропии непрерывных
- •10.Информация в непрерывных сообщениях
- •Лабораторная работа №1 Информация в дискретных сообщениях
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2 Информация в непрерывных сообщениях
- •Некоторые полезные сведения из теории Вероятности.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины
- •4.Статистические характеристики случайных величин
- •5.Случайные функции
- •Литература
- •Содержание
5.Случайные функции
Случайной функцией X(t) называют функцию, которая в результате опыта может тот или иной конкретный вид, неизвестный заранее.
5.2.Конкретный вид, принимаемый случайной функцией, называют реализацией случайной функции.
5.3. Сечением случайной функции называют случайную величину X(tk), в которую обращается случайная функция X(t) при фиксированном аргументе (t = tk).
Одномерным законом распределения случайной функции X(t) называют закон распределения f(x,tk) сечения X(t) случайной функции.
Математическим ожиданием случайной функции X(t) называют неслучайную функцию mx(t), которая при каждом значении аргумента t представляет собой математическое ожидание соответствующего сечения случайной функции.
Дисперсией случайной функции X(t) называют неслучайную функцию dx(t), которая при каждом значении аргумента t представляет собой дисперсию соответствующего сечения случайной функции.
Корреляционной функцией случайной функции X(t) называют неслучайную функцию двух аргументов Rx(tk,t1), которая при каждой паре значений аргументов tk и t1 равна корреляционному моменту соответствующих сечений случайной функции, т. е.
,
где - центрированная случайная функция.
Корреляционная функция характеризует статистическую связь между сечениями случайной функции, т.е. внутреннюю структуру случайной функции при tk = t1 корреляционная функция обращается в дисперсию, действительно,
Стационарной случайной функцией называют случайную функцию, математическое ожидание которой постоянно (, а её корреляционая функция зависит только от разности между аргументами:
,
где = tk-tl.
Литература
1.Журкин И.Г. Шавенько Н.К Автоматизация обработки аэрокосмической информации. -М,: Изд. МИИГАиК, 1989г.
2.Дмитриев В.И. Прикладная теория информации.- М.:Изд. «Высшая школа»,1999г.
3.Хэмминг Р.В.Теория кодирования и теория инфорции.―М.: Изд. «Радио и связь»,1998г.
4.Колесник В.Д., Полтырев Г.Ш. Курс теории информации. -М.: Изд.»Наука», 1994г.
5.Мощиль В.И., Шавенько Н.К. Основы теории информации. –М.: Изд. МИИГАиК, 1998г.
Содержание
Введение………………………………………………. |
3 |
|
Основные понятия и сведения по теории информации……… |
4 |
|
1.Информация. Общие понятия…………………………………..….. |
4 |
|
2.Измерение информации………………………………………….… |
5 |
|
3.Структурное (комбинаторное) определение количества информации (по Хартли) ………………………………………….… |
8 |
|
4.Статистическое определение количества информации (по Шеннону) …………………………………………………….………. |
10 |
|
5.Свойства функции энтропии источника дискретных сообщений ……………………………………………………………. |
12 |
|
6.Информационная емкость дискретного сообщения ……………... |
14 |
|
7.Информация в непрерывных сообщениях…………..…………….. |
16 |
|
8.Энтропия непрерывных сообщений………………..……………… |
18 |
|
9.Экстремальные свойства энтропии непрерывных сообщений |
21 |
|
10.Информация в непрерывных сообщениях при наличии шумов ………………………………………………….. |
24 |
|
Лабораторная работа №1…………………………….. |
|
|
Информация в дискретных сообщениях……………. |
29 | |
Лабораторная работа №2…………………………….. |
|
|
Информация в непрерывных сообщениях………….. |
34 |
|
Приложение…………………………………………... |
40 |
|
Некоторые полезные сведения из теории вероятности………………………………... |
40 |
|
1.Случайные события…………………………………………..…….. |
40 |
|
2.Алгебра событий……………………………………………….…… |
41 |
|
3.Случайные величины……………………………………………….. |
42 |
|
4.Статистические характеристики случайных величин……………. |
45 |
|
5.Случайные функции………………………………………………... |
47 |
|
Литература……………………………………………. |
49 |
|
Содержание……………………………………………. |
50 |
|