Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Элементы теории информации в защите информации. Учебное пособие для академического бакалавриата
.pdf
П.3. Неравенства Чебышева, закон больших чисел
2
x
σ
ix
1
n
n
ix
n
Пусть теперь имеется последовательность n независимых случайных величин x
математическое ожидание m
,…,xn, имеющих одинаковое
1
и одинаковую дисперсию
x
. Требуется для произвольного числа e>0 оценить ве-
роятность отклонения среднего арифметического значения n случайных величин от математического ожидания
на величину, не меньшую e, то есть оценить вероятность
1
Р(
∑
n
Обозначим: y=
1
in
≤≤
xm
−
( )
≥e).
∑
x
. Используя свойства мате-
i
1
≤≤
in
матического ожидания суммы величин (оно равно сумме
математических ожиданий всех величин), получаем:
M[y]=m
случайной величины y определена формулой: D[y]=
. В силу независимости этих величин дисперсия
x
2
σ
x
.
Применив к случайной величине y оценку (П.3.2),
получаем оценку:
2
x
, (П.3.3)
2
Р(
1
∑
n
1
in
≤≤
xm
−
( )
≥e) ≤
называемую неравенством Чебышева для суммы независимых случайных величин.
Пример П.3.1. Пусть буква Е русского алфавита
имеет вероятность 1/12. Требуется оценить вероятность
того, что буква Е встретится не менее 100 раз в случайной
последовательности длины 1000 русских букв (буквы генерируются независимо).
Обозначим x случайную величину, равную числу букв Е
в случайной последовательности длины 1000. Представим x как сумму случайных величин-индикаторов:
x = x
1+x2
— 191 —
+…+x
1000
,
Приложения
12
12 100×
1442500
11
360
limnP
( )
где xi=1 с вероятностью 1/12 и xi=0 с вероятностью
11/12, i=1,2,…,1000. Тогда М[x
1000
=
≈83,33. Следовательно, из неравенства (П.3.1)
имеем оценку: Р(x≥100)≤
]=1/12 при всех i и М[x]=
i
1000
=5/6.
Пример П.3.2. В условиях предыдущего примера
оценим вероятность того, что случайная величина уклонилась от своего среднего значения не менее чем на 50,
то есть Р(x–М[x]≥50).
Заметим, что при всех i выполнено:
2
М[ x
]=М[xi]=1/12;
i
D[x
]=М[ x
i
2
]-(М[xi])2=1/12–1/144=11/144.
i
В силу независимости случайных величин x
x
:
1000
D[x]=1000D[x
]=11000/144.
1
2
x
=xi, тогда
i
, x2, …,
1
Отсюда и из неравенства (7.2) получаем оценку:
Р(x-М[x]≥50) ≤
11000
=
≈0,0306.
Замечание. Правая часть неравенства (П.3.3) убывает с ростом n, поэтому из (П.3.3) получаем утверждение,
называемое законом больших чисел:
Среднее арифметическое значение независимых
случайных величин с одинаковыми математическими
ожиданиями m и одинаковыми дисперсиями сходится
по вероятности к математическому ожиданию m.
Напомним, что случайная последовательность x
x
, … сходится по вероятности к пределу a, если для любо-
2
,
1
го e>0 выполнено:
= 0.
n
Полученная оценка (П.3.3) во многих случаях имеет
невысокую точность. Как правило вероятность, записанная
— 192 —
П.3. Неравенства Чебышева, закон больших чисел
в левой части, убывает не со скоростью порядка О(n–1), как
указано в (П.3.3), а гораздо быстрее, с экспоненциальной ско-
–сn
ростью порядка О(е
), где с — положительная константа.
Достоинство оценки (П.3.3) состоит в том, что для
ее получения требуется знать только математическое
ожидание и диспсию независимых случайных величин
последовательности. Кроме того, стоит отметить простоту
доказательства оценки.
Заметим, что закон больших чисел справедлив для
более широкого класса объектов (для всех эргодических
процессов) по сравнению с рассмотренным классом последовательностей независимых одинаково распределенных
случайных величин.
П.3. Задачи и упражнения
П.3.1. Для случайной равновероятной двоичной последовательности {x
, x2, …, x
1
венства Чебышева вероятности событий (n
нулей и единиц):
≥90; 2) n0≤20; 3) n1≤30;
1) n
0
≥65; 5) n0∉[40,60]; 6) n1∉[35,65].
4) n
1
П.3.2. Для случайной двоичной последовательности
, x2, …, x
{x
1
} с вероятностью единицы 0,6 оцените с по-
1000
мощью неравенства Чебышева вероятности событий (n
— числа нулей и единиц):
и n
1
≥600; 2) n0≤100; 3) n1≥800;
1) n
0
≤350; 5) n0∉[300,500]; 6) n1∉[350,850].
4) n
1
П.3.3. Дан ансамбль X={a,b,c,d} c вероятностями
p(a)=0,1; p(b)=0,3; p(c)=0,2; p(d)=0,4. Оцените с помощью
неравенства Чебышева вероятность уклонения на величину d среднего количества информации в сообщении от энтропии ансамбля в последовательности из n независимых
сообщений:
а) n=100, d=0,1; б) n=1000, d=0,1; в) n=1000, d=0,01.
} оцените с помощью нера-
100
и n1 — числа
0
0
— 193 —
Приложения
3
2nn
n
−
( )
( )
П.4. Асимптотический анализ величин
Одним из важных предметов математического анализа действительных функций f(n), зависящих от натурального параметра n, является исследование свойств
функций при n→∞, в частности, близость при больших
значениях n величины f(n) к некоторым относительно
простым функциям, также зависящим от n. Чаще всего
в качестве простых функций для сравнения с f(n) используются монотонные по n функции, например, константа,
полиномы n, n
функциям n
ность указанных функций позволяет оценить скорость
роста или скорость убывания функции f(n) при больших
значениях n.
2
, …, экспоненты 2n, еn или обратные к этим
–1
, n–2, …, экспоненты 2–n, е–n и др. Монотон-
Например, функция f(n)=
при n→∞ стремится
к n2. Значит, при больших значениях n функцию n2 можно
рассматривать как асимптоту по отношению к функции
f(n). В таких случаях можно считать, что при больших
значениях n свойства функций f(n) и n
2
являются близ-
кими в смысле совпадения «скорости их изменения»при
увеличении аргумента n (под изменением понимается
увеличение или уменьшение) при n→∞.
Более строго, пусть
lim
n
fn
=с при некоторой функ-
n
( )
ции y(n), где с –константа, не зависящая от n. Если с≠0,
то пишут f(n)=О(y(n)), читается «f(n) есть О-большое
от y(n)», если с=0, то пишут f(n)=о(y(n)), читается «f(n)
есть о-малое от y(n)». В частности, если
limnfn=с, то при
с≠0 пишут f(n)=О(1), читается «f(n) есть О-большое от 1»,
и при с=0 пишут f(n)=о(1), читается «f(n) есть о-малое
от 1».
— 194 —
П.4. Асимптотический анализ величин
1
n
2
1
n
1
n
+…
1
n
log 7
2
n
log 7
2
n
( )
31
54
nn
n
+−
+
( )
nn
10
lnn
n
2
Пример П.4.1.
2
1) 3n
+7n+2 = О(n2);
2
2) lnn
3) n
4)
= О(lnn) = о(n);
2еn
+nе2n = О(nе2n) = о(n2е2n);
+
+…+
= О(
k
) = о(1).
Замечания. 1. Если f(n)=о(y(n)), то это значит, что
в пределе f(n)<y(n), но это неравенство может быть верно только для «больших»n, точнее для n, превышающих
некоторое пороговое значение. Например,
Вместе с тем, неравенство
<n3/3 выполнено только
=о(n3/3).
для n≥300.
2. Если
lim
n
fn
=1, то для оценки «близости»вели-
n
( )
чин f(n) и y(n) при больших n следует оценить порядок
величины f(n) –y(n).
П.4. Задачи и упражнения
П.4.1. Определите порядок величины при n→∞:
2
1) 0,4(n+4); 2)
;
2
ln
+
3)
ln
( )
; 4) 3+6+9+…+3n.
2
n
П.4.2. Определите, используя формулу Стирлинга,
порядок величины n! при n→∞.
П.4.3. Сравните по порядку величины при n→∞:
1) 2
3
n и
5
+
1
;
n
2
n
и
2)
3)
2nn и
( )
;
3
3nn .
( )
2
— 195 —
Приложения
П.5. Понятие об алгоритмах
и сложности вычислений
Алгоритм относится к важнейшим понятиям, как
в математике в целом, так и в теории сложности вычислений. Вычислительный алгоритм (не строго) — это
правило, данное на некотором языке и определяющее
последовательность действий для решения поставленной
задачи с использованием исходных данных. Алгоритм
должен быть понятным для исполнителя, определенным
(все действия должны трактоваться однозначно) и массовым, т.е. применимым к определенному множеству
исходных данных. Важность алгоритмов проявляется
в различных аспектах. При решении задач алгоритмы
являются:
• формой изложения научных результатов,
• руководством к действию,
• средством экономии умственного труда,
• необходимой компонентой автоматизации,
• инструментом анализа и решения,
• элементами доказательной базы математики,
• средством описания сложных объектов и процес-
сов в науке.
Любой вычислительный алгоритм А отображает
исходные (или входные) данные x в выходные данные
y, иначе говоря, А реализует для некоторой функции
f:X→Y и для некоторого x∈X определенный способ вы-
числения y=f(x).
Реализация алгоритма А на входных данных x описывается характеристиками сложности: числом шагов
алгоритма; числом оговоренных вычислительных операций, например, числом умножений и сложений чисел
некоторого поля; временем выполнения и объемом используемой памяти вычислительного устройства и др.
— 196 —
П.5. Понятие об алгоритмах и сложности вычислений
max
A
S
max
A
S
( )
xX
Sx
∈
A
ср
( ) ( )
A
xX
pxS x
∈
∑
A
max
A
S
Точное описание зависимости от x характеристик вычислительной сложности алгоритма является, как правило,
очень сложной задачей, поэтому при анализе сложности
алгоритмов обычно рассматривают оценочные характеристики.
В теории сложности вычислений наиболее распространен подход к оценке сложности алгоритмов, основанный на установлении количественной зависимости характеристик сложности от размера n входных данных, n∈N.
Например, зависимости сложности обращения числовой
матрицы от размеров матрицы. Характеристики сложности изучаются как функции от n, соответствующие «худшему случаю» (максимуму по x) или среднему случаю,
когда на множестве значений x определена некоторая
вероятностная мера. Более строго, пусть X={x} — область
определения входных данных, S
(x) — вычислительная
A
сложность алгоритма А (в оговоренных вычислительных
операциях) при входных данных x∈X. Тогда вычислительная сложность алгоритма А «в худшем случае», обозначаемая
, равна:
=
max
.
A
Если на множестве X входных данных задана вероятностная мера р(x), то вычислительная сложность алгоритма А «в среднем», обозначаемая
ср
S , равна:
вить словом длины n>0 в некотором алфавите. Алгоритм
А называется полиномиальным (имеющим полиномиальную сложность), если существует действительный поли-
ном p(l) с положительными коэффициентами такой, что
для любого натурального n вычислительная сложность
S =
A
Легко заметить, что
ср
S ≤
для любого алгоритма А.
.
Входные данные любого алгоритма А можно предста-
— 197 —
Приложения
e
алгоритма А на любом входном слове x длины n не превышает p(n).
Класс задач называется полиномиальным, если
любая задача из данного класса может быть решена
полиномиальным алгоритмом. Заметим, что речь идет
о бесконечных классах, так как n∈N. Через P обозначим
класс всех полиномиальных задач. К классу P относятся,
например, задачи решения систем линейных уравнений,
обращения матриц, поиск максимального числа в заданном множестве и др.
Для распознавания полиномиальности данного класса задач не обязательно находить полином p(l). Теория
сложности вычислений использует в ряде случаев технику математических доказательств, позволяющую установить полиномиальность одного класса задач с помощью
сводимости к задачам другого класса, полиномиальность
которых уже доказана.
Вместе с тем для большинства практических задач
не известно, входят ли они в класс P. Часто такие задачи
содержатся в другом классе более сложных задач, обозначаемом NP. Этот класс называют классом недетерминированно полиномиальных задач, относительно которых
предполагается, что они могут быть решены за полиномиальное время при возможности неограниченного распараллеливания вычислений. К NP относятся, например,
задачи распознавания в графе наличия клики данного
размера, гамильтонова цикла и др.
Наиболее сложный класс неполиномиальных (труднорешаемых) задач обычно характеризуется экспоненциальными и субэкспоненциальными оценками. Последние
занимают промежуточное положение по сложности между полиномиальными и экспоненциальными оценками
[3,4], к ним относятся, например, задачи со сложностью
n
О(
).
— 198 —
П.6. Битовая вычислительная сложность операций сравнения, сложения и умножения чисел
3
676
П.6. Битовая вычислительная сложность
операций сравнения, сложения
и умножения чисел. Оценка Карацубы
При анализе сложности вычислительной задачи
важным является представление чисел. Числа 0, …, b – 1
называют цифрами по основанию b. Разложение целого
неотрицательного числа n по основанию (базе) b есть набор чисел (d
Если d
b-ичным числом. Любое целое от b
k-разрядным b-ичным числом. Число разрядов k опреде-
ляется для n выражением
При записи числа n в виде (d
декс (…)
b
ние системы счисления ясно из контекста.
Рациональные числа также можно разлагать по любому основанию, т.е. представлять в виде (d
d
,…,d–l)b. При b>10 принято использовать буквы не-
–1,d–2
которых алфавитов для обозначения цифр по основанию
b. Например, при b=16 используем буквы A–F латинского
алфавита для записи цифр 10–15 соответственно.
При вычислениях используются различные системы
счисления и переходы от одного основания к другому.
Пример П.6.1. Требуется:
а) умножить 160 на 199 в 7-ичной системе счисления.
Определим: 160 = (316)
бик»дает результат (161554)
б) определить представления: (11001001)
,…,d1,d0)b, где di∈{0,…,b-1}, i=0,1,…,k–1, и
k–1
n=(d
,…,d1,d0)b ⇔ n=d
k–1
>0, то число n называют k-разрядным
k–1
k = log
n+1 = lnn / lnb+1.
b
k–1
b
+…+d1b+d0.
k–1
k–1
до bk–1 является
,…,d1,d0)b скобки и ин-
k–1
обычно опускают в случае b=10 или когда основа-
,…,d1,d0,
k–1
, 199 = (403)7. Умножение «в стол-
7
;
7
= 201;
2
(BAD)
= 679;
26
( )1
,B AD = . При вычислении дробных
26
— 199 —
Приложения
kb
k
10
чисел сначала представляется целая часть. Затем дробная
часть умножается на основание b. Целая часть результата
дает d
, далее (умножая на b…) находим d–2 и т.д.;
–1
в) выразить 10
6
в системах счисления по основаниям
2, 7 и 26. Для разложения n по основанию b сначала получаем младший разряд как остаток от деления n на b. Потом частное от деления вновь делим на b и получаем следующий разряд и т.д. Получаем следующие результаты:
6
10
= (11110100001001000000)2 = (11333311)7 =
= (CEXHO)
26
. w
Иногда для записи чисел применяются смешанные
системы счисления, использующие различные основания
b
k–1,bk–2
,…,b0.
Например, если число n<b
k–1bk–2…b0
, то его можно
представить в виде
(,,)
dd
n =
10
,
,,
b
это означает, что
где d
∈{0,…,bi–1}, c
i
n = d
i+1=b0…bi
+…+d1c1+d0,
k–1ck–1
, i=0,…,k–1.
При реализации алгоритма важно оценить трудоемкость выполнения его основных операций над числами.
К таким операциям относятся, как правило, умножение и сложение чисел (деление и вычитание сводятся
к ним), сравнение чисел. Приведем известные оценки для
k-разрядных двоичных чисел, которые чаще других чисел
используются для представления данных в вычислительных системах. Элементарной операцией при оценке считаем сложение двух битов (слово «бит»возникло как сокращение от английского словосочетания «binary digit»).
Результатом сравнения чисел a и b — одно из двух
неравенств: a≤b или a>b.
Сравнение двух k-разрядных двоичных чисел может быть выполнено как последовательное сравнение
— 200 —
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]