
- •Линейные пространства векторов. Скалярное произведение. Понятие базиса и линейной независимости элементов линейного пространства. Преобразования базиса.
- •Определение матрицы. Операции с матрицами (умножение на скаляр, сложение, умножение матриц, транспонирование матриц). Обратная матрица и методы ее получения. Функции от матриц.
- •Производные. Необходимое и достаточное условие дифференцируемости функции. Частные производные. Полный дифференциал. Производная и дифференциал сложной функции.
- •Градиент функции. Производные по направлению. Необходимые и достаточные условия экстремума функции многих переменных. Условные экстремумы. Метод множителей Лагранжа.
- •Задачи аппроксимации функций (интерполяция, экстраполяция, приближение в среднем). Способы построения интерполяционного полинома. Аппроксимации на основе ортогональных базисов. Понятие сплайна.
- •Численные методы оптимизации: методы Ньютона и секущей, методы покоординатного и градиентного спуска. Улучшение сходимости градиентных методов.
- •Численные методы оптимизации, основанные на случайных числах. Метод Монте-Карло, линейный случайный поиск, метод оптимизации отжигом.
- •Прямые и итерационные методы решения систем линейных алгебраических уравнений. Методы для систем с матрицами специального вида (ленточные, треугольные, положительно-определенные).
- •Линейные пространства функций (примеры). Скалярное произведение и норма. Операторы над линейными пространствами функций. Функционалы. Собственные числа и функции оператора в пространстве l2.
- •Определение вероятности. Вероятностная модель и вероятностное пространство. Вероятность случайного события и методы ее статистического оценивания по выборке.
- •Модель случайной величины. Закон, функция, плотность распределения. Квантили и моменты распределений, методы их статистического оценивания по выборке.
- •Вероятностные и толерантные интервалы: сходства и различия. Понятия точечного и интервального оценивания. Доверительные интервалы. Несмещенные и эффективные оценки.
- •Параметрическое оценивание распределений случайной величины. Метод моментов. Метод наибольшего правдоподобия и его численная реализация. Способы проверки качества параметрического оценивания.
- •Статистические гипотезы и статистические критерии. Односторонние и двусторонние критерии. Критерии согласия. Параметрические критерии. Ошибки первого и второго рода. Мощность критерия.
- •Модель многомерной случайной величины. Совместные и условные распределения. Условные моменты распределений и их оценивание по выборке. Многомерное распределение Гаусса и его свойства.
- •Случайные процессы и временные ряды. Понятие стационарности. Ковариационная (корреляционная функция). Теорема Карунена-Лоэва. Спектральная плотность случайных процессов.
- •Алгоритмы на графах. Алгоритмы обхода (поиска на) графах. Обнаружение кратчайшего пути и минимального цикла в графе. Построение остовного дерева.
- •Основные понятия машинного обучения. Отличие машинного обучения от статистики. Методы на обучении с учителем. Методы на обучении без учителя. Метрики качества алгоритмов машинного обучения.
- •Цикл обучения. Понятия обучающей и тестовой выборки. Отложенная выборка. Кросс-валидация. Понятия недообучения и переобучения. Дилемма смещения и разброса. Размерность Вапника-Червоненкиса.
- •Понятия классификации и кластеризации. Метрические, иерархические, вероятностные методы классификации и кластеризации. Dbscan и kNn. Оценка качества классификации и кластеризации.
- •Понятие искусственной нейронной сети. Типы нейронных сетей. Понятие стохастического градиента для обучения нейронной сети. Многослойный перцептрон. Сверточные нейронные сети.
- •Методы снижения размерности данных. Метод главных компонент. Метод канонических корреляций. Методы факторного анализа. Нелинейные методы снижения размерности.
- •Принцип повышения размерности пространства. Метод опорных векторов. Понятие и свойства ядра. Метод Kernel-Trick.
- •Построение списка решений и дерева решений. Редукция деревьев решений. Понятие бэггинга и бустинга для деревьев решений. Случайный лес и способы его построения.
- •Обучение с подкреплением. Модели агентов и отклика среды. Задачи, решаемые обучением с подкреплением.
- •Ассоциативный анализ и задача о "покупательской корзине". Алгоритмы аprior и fp-Growth.
- •Способы представления знаний. Модели графов знаний. Полнота графов знаний. Методы прямого и обратного вывода по графам знаний. Онтологическая модель и средства ее реализации.
- •Экспертные методы в принятии решений. Принятие решений при многих критериях. Множество Парето. Экспертные системы поддержки принятия решений.
- •Методы машинного обучения для анализа текстовой информации. Понятие эмбеддинга. Методы построения и использования эмбеддингов при работе с текстом.
- •Генеративные методы машинного обучения. Генеративно-состязательные сети. Вариационные автокодировщики. Байесовские сети. Принципы работы, оценка качества.
Линейные пространства функций (примеры). Скалярное произведение и норма. Операторы над линейными пространствами функций. Функционалы. Собственные числа и функции оператора в пространстве l2.
Линейные пространства функций (примеры). Линейное пространство функций, также известное как векторное пространство функций, – это набор функций, удовлетворяющих определенным свойствам линейности.
Формальное определение. Пусть дано
поле (реальных или комплексных чисел)
и некоторое множество
.
Тогда пространством линейных функций
по полю
на множестве
называется множество всех функций
,
определенных на заданной области
,
которое удовлетворяет следующим
свойствам:
1) Замкнутость при сложении. Для любых
двух функций
и
в
,
их сумма
также находится в
.
2) Замкнутость при скалярном умножении.
Для любой функции
в
и любого скаляра
произведение
также находится в
.
Примеры пространств линейных функций:
1) Пространство полиномов. Множество
всех многочленов с коэффициентами из
данного поля образует пространство
линейных функций. Например, пространство
всех многочленов степени не выше n,
обозначаемое как
,
является пространством линейных функций.
2) Тригонометрическое пространство.
Множество всех периодических функций,
которые могут быть выражены в виде
конечной суммы функций синуса и косинуса,
образует пространство линейных функций.
Это пространство часто обозначается
как
,
представляя собой квадратично-непрерывные
функции на интервале
.
3) Пространство функций. Множество
всех непрерывных, дифференцируемых и
интегрируемых функций, определенных
на замкнутом интервале
,
образует пространство линейных функций.
Это пространство обозначается как
.
Свойства пространств линейных функций:
1) Нулевая функция. Каждое пространство линейных функций содержит нулевую функцию, которая отображает каждую точку области в нуль.
2) Аддитивность. Для любой функции
в пространстве линейных функций
существует другая функция
так, что
.
3) Замкнутость по линейным комбинациям. Линейное пространство функций замкнуто по линейным комбинациям, что означает, что любая конечная сумма функций в пространстве, умноженных на скаляры, также находится в этом пространстве.
4) Линейная независимость. Набор функций в линейном пространстве функций линейно независим, если ни одна функция из этого набора не может быть выражена в виде линейной комбинации остальных.
5) Базис и размерность. Базис для пространства линейных функций – это набор линейно независимых функций, которые охватывают все пространство. Размерность пространства – это количество функций в его базисе.
Операции над пространствами линейных функций:
1) Сложение. Две функции
и
в пространстве линейных функций могут
быть добавлены путем точечного сложения
их значений так, что
.
2) Умножение на скаляр. Функция
в линейном пространстве функций может
быть умножена на скаляр
путем умножения ее значений в каждой
точке на
,
так что
.
Скалярное произведение и норма. В контексте пространств линейных функций точечное произведение, также известное как скалярное умножение, и норма – важные понятия, которые помогают измерить связь между функциями и обеспечивают дополнительную структуру пространства.
Скалярное произведение, обозначаемое
как
,
– это бинарная операция, определенная
на пространстве линейных функций,
которая объединяет две функции и дает
скалярное значение. Она определяется
как интеграл произведения двух функций
по области
:
.
Скалярное произведение удовлетворяет следующим свойствам:
1) Линейность. Для любых функций
,
и
в пространстве линейных функций и любых
скаляров
и
верно следующее:
.
2) Симметрия. Точечное произведение
симметрично:
.
3) Положительная определенность. Если
– ненулевая функция, то
.
Норма функции
в пространстве линейных функций – это
мера ее длины или величины. Она обозначается
и определяется как квадратный корень
из скалярного произведения функции на
саму себя:
.
Норма удовлетворяет следующим свойствам:
1) Неотрицательность. Норма функции
всегда неотрицательна:
.
2) Нулевая норма. Норма нулевой функции
равна нулю:
.
3) Однородность. Для любого скаляра
справедливо следующее выражение:
.
4) Неравенство треугольника. Для любых
функций
и
справедливо следующее выражение:
.
Скалярное произведение и норма дают возможность измерить сходство или несходство между функциями в линейном пространстве функций. Они также позволяют определить такие понятия, как ортогональность и расстояние.
Операторы над линейными пространствами
функций. Оператор
это функция, которая отображает элементы
из одного линейного пространства функций
в другое.
Формальное определение. Пусть
и
– линейные пространства функций по
полю
,
определенные на множествах
и
соответственно. Тогда оператором
является функция, которая сопоставляет
каждой функции
в
единственную функцию
в
.
Операторы могут быть разбиты на категории относительно своих свойств и поведения: линейные операторы, операторы с ограниченной нормой, дифференциальные и интегральные операторы.
Свойства операторов:
1) Линейность. Линейные операторы
сохраняют линейность, то есть они
удовлетворяют
для любых функций
,
в линейном пространстве
и любых скаляров
,
.
2) Композиция. Операторы могут быть
составлены, то есть композиция двух
операторов T и S представляет собой новый
оператор, определяемый как
.
3) Инвертируемость. Некоторые операторы
имеют обратные операторы, то есть
существует оператор
такой, что
,
где
оператор тождества. Инвертируемые
операторы играют важную роль при решении
уравнений с участием операторов.
4) Спектр. Спектр оператора
это множество всех комплексных чисел
,
для которых оператор
не является инвертируемым. Спектр дает
важную информацию о поведении и свойствах
оператора.
Операторы используются в обработке сигналов для анализа. Примеры включают оператор дифференцирования, преобразования Фурье, вейвлет-преобразования.
Функционалы. Функционал это отображение из линейного пространства функций в его базовое поле. Можно также услышать следующую формулировку: функционалы это линейные преобразования, которые возвращают скаляр, используя функцию в качестве входного параметра, например, интегрирование.
Свойства функционалов:
1) Линейность. Функционалы сохраняют
линейность, а значит удовлетворяют
таким свойствам, как аддитивность:
и однородность:
.
2) Непрерывность. Функционалы также
могут обладать свойствами непрерывности.
Считается, что функционал F является
непрерывным, если для любой последовательности
функций
,
сходящихся к функции
,
последовательность функционалов
сходится к
.
Это свойство гарантирует, что небольшие
изменения во входной функции приводят
к небольшим изменениям в выходном
скаляре.
3) Норма. Функционалы могут быть использованы для определения норм на пространстве функций. Норма это математическое понятие, которое измеряет длину или размер вектора или, в данном случае, функции. Функционалы могут определять нормы, присваивая неотрицательное скалярное значение каждой функции в пространстве, удовлетворяющее таким свойствам, как позитивность, однородность и неравенство треугольника.
4) Двойственное пространство. Функционалы в линейных пространствах функций порождают понятие двойственного пространства. Двойственное пространство пространства функций состоит из всех возможных функционалов на этом пространстве. Оно само образует векторное пространство, в котором сложение и скалярное умножение определены точечно.
5) Внутреннее произведение. В некоторых случаях функционалы могут быть определены как внутренние произведения функций. Внутреннее произведение это обобщение точечного произведения для векторов, и оно измеряет сходство или ортогональность между двумя функциями. Внутренние произведения могут обеспечить дополнительную структуру и свойства пространства функций.
Собственные числа и функции оператора
в пространстве L2.
В Евклидовом пространстве
мы можем изучать собственные значения
и собственные функции операторов.
Собственное значение
оператора
это скаляр, такой, что существует
ненулевая функция
в пространстве
,
удовлетворяющая
.
Соответствующая функция
называется собственной функцией.