Матричное дифференцирование Определения

 Производной скалярной функции по вектору-столбцу ( ) или, другими словами, градиентом является вектор-столбец ( )

.

 Производной скалярной функции по вектору-строке ( ) является вектор-строка ( )

.

 Производной векторной функции ( ) по вектору ( ) или, другими словами, матрицей Якоби является матрица ( )

.

Производной векторной функции ( ) по вектору ( ) или является матрица ( )

.

 Производной скалярной функции по матрице ( ) является матрица ( )

.

 Производной матричной функции по скаляру s является матрица ( )

.

 Второй производной скалярной функции по вектору-столбцу ( ) или другими словами, матрицей Гессе является матрица ( )

.

Свойства

 и .

 и .

 .

 .

 и .

 . Для симметричной матрицы .

 .

 .

 .

 и .





 .

 .

 .

 .

 .

 .

 .

 .

 .

 .

Сведения из теории вероятностей и математической статистики

Характеристики случайных величин

Определения

Функцией распределения случайной величины называется функция , сопоставляющая числу вероятность того, что не превышает . Функция распределения полностью характеризует отдельную случайную величину.

Если случайной величина непрерывна, то она имеет плотность , которая связана с функцией распределения соотношениями .

Квантилью уровня , где , ( -квантилью) непрерывной случайной величины называется число , такое что .

Медианой называется -квантиль.

Модой непрерывной случайной величины называется величина, при которой плотность распределения достигает максимума, т.е. .

Если распределение непрерывной случайной величины симметрично относительно нуля, т.е. и , то двусторонней -квантилью называется число , такое что .

Математическим ожиданием непрерывной случайной величины называется .

Математическое ожидание является начальным моментом первого порядка. Начальным (нецентральный) моментом -го порядка называется .

Центрированной случайной величиной называется .

Центральным моментом -го порядка случайной величины называется начальный момент -го порядка для соответствующей центрированной величины , т.е. . Для непрерывной случайной величины центральный момент -го порядка равен .

Дисперсией случайной величины называется центральный момент второго порядка. Для непрерывной случайной величины дисперсия равна . Среднеквадратическим отклонением называется корень из дисперсии .

Нормированной (стандартизованной) случайной величиной называется .

Коэффициентом асимметрии называется начальный момент третьего порядка нормированной случайной величины, т.е. .

Куртозисом называется начальный момент четвертого порядка нормированной случайной величины, т.е. . Коэффициентом эксцесса называется .

Для n-мерного случайного вектора (многомерной случайной величины) функцией распределения называется .

Если распределение случайного вектора непрерывно, то он имеет плотность (называемую совместной плотностью случайных величин ), которая связана с функцией распределения соотношениями .

Случайные величины называются независимыми (в совокупности), если .

Ковариацией случайных величин и называется .

Корреляцией случайных величин и называется .

Ковариационной матрицей n -мерной случайной величины. называется .

Корреляционной матрицей n -мерной случайной величины. называется

Свойства

Функция распределения и плотность

 Функция распределения имеет следующие свойства: это неубывающая, непрерывная справа функция, , причем и .

 ,



 .

 Вероятность того, что равна .

 Для многомерной случайной величины .

 Если случайные величины независимы, то .

Математическое ожидание

 Если — константа, то .

 Если и любые две случайные величины, то .

 Если — константа, то .

 В общем случае .

 Неравенство Йенсена: для вогнутой функции выполнено .

Для симметричного распределения выполено .

Дисперсия

 .

 Для любой случайной величины выполнено .

 Если — константа, то .

 Если — константа, то .

 Если — константа, то .

 Если и любые две случайные величины, то в общем случае .

 Неравенство Чебышёва: для любого положительного числа

Ковариация

 .

 .

 .

 .

 .

 Если , то .

 Если и независимы, то . Обратное, вообще говоря, неверно.

Корреляция

 , где и . Следовательно, свойства корреляции аналогичны свойствам ковариации.

 .

 .

 Если , то .

Условные распределения

Условной вероятностью события относительно события называется .

Из определения следует .

Для независимых событий и выполнено .

Теорема Байеса: Пусть — события, такие что (1) при , (2) , (3)  . Тогда

.

Пусть — случайный вектор, имеющий непрерывное распределение, где вектор имеет размерность , а — . Плотностью маргинального распределения называется .

Плотностью условного распределения относительно называется .

Если и независимы, то плотность условного распределения совпадает с плотность ю маргинального, т.е. .

Условным математическим ожиданием относительно называется .

Условная дисперсия относительно равна .

Свойства условного математического ожидания и дисперсии:

 .

 .

 .

 Правило повторного ожидания: .

 Если и независимы, то .

 .

 .

 .