
- •МНа. Задачі, методи та зв'язок з іншими дисциплінами;
- •Постановка навчальної проблеми (well-posed learning problems) в мНа;
- •Побудова навчальної системи. Складові, особливості;
- •Навчальна та тестова вибірка. Особливості формування;
- •Типи навчання (з учителем, без учителя, ліниве, нетерпляче)
- •Основні статистичні характеристики даних та їх фізичний зміст;
- •Основні особливості алгоритмів індуктивного навчання концептам;
- •Теорема подання простору версій (Version space representation theorem);
- •Алгоритм Find-s;
- •Алгоритм Candidate-elimination;
- •Виснаження простору версій;
- •Алгоритм id3;
- •Пошук в просторі гіпотез для алгоритмів дерев рішень;
- •Індуктивне упередження (inductive bias) алгоритму id3;
- •Методи відсікання гілок;
- •Метод відсікання гілок зі зменшенням помилки (reduced-error pruning);
- •Метод подальшого відсікання гілок (rule-post prunning);
- •Надмірне підганяння (overfitting) в деревах рішень та методи боротьби з ним;
- •Обробка безперервних значень для побудови дерев рішень;
- •Розрахунок основних інформ. Показників для побудови дерев рішень (entropy, ig);
- •Альтернативні методи обрання атрибутів (split information, gain ratio)
- •Теорема Байєса та її застосування в машинному навчанні;
- •Обчислення умовних та безумовних ймовірностей;
- •Оптимальний Байєсівський класифікатор;
- •Алгоритм Гіббса;
- •Алгоритм наївного Байєсу;
- •Застосування наївного Баєсівського класифікатору для класифікації текст док-ів;
- •Байєсівські ймовірнісні мережі;
- •Об’єднаний розподіл ймовірності в Байєсівських ймовірнісних мережах;
- •Умовна незалежність в Баєсівських мережах;
- •Виведення за Баєсівською мережею;
- •Ансамблі класифікаторів. Методи побудови;
- •Алгоритм маніпулювання навчальною вибіркою AdaBoost для побудови ансамбля класифікаторів;
- •Алгоритм маніпулювання навчальною вибіркою Bagging для побудови ансамбля класифікаторів;
- •Алгоритм маніпулювання навчальною вибіркою Cross-validation для побудови ансамбля класифікаторів;
- •Маніпулювання цільовою функцією для побудови ансамблю класифікаторів;
Побудова навчальної системи. Складові, особливості;
Рассмотрим эту проблему на примере разработки проги, обучающейся играть в шашки с целью участия в чемп-те мира. Р:%выигр игр в ЧМ.
Выбор обучающего опыта: его выбор существенно влияет на успех или неудачу обучающегося. Например система может учится напрямую с обучающей выборки (есть данные по правильному ходу для каждой позиции), либо косвенно (есть информация, содержащая последовательность ходов и исход прежних игр). Ещё один важный показатель – на сколько обучающийся контролирует последовательность выбирания обучающих примеров для каждой ситуации. Третий показатель – насколько хорошо обучающий опыт представляет распределение примеров над которыми должна быть измерена окончательная производительность системы.
Выбор целевой функции: в нашем случае это будет функция которая будет давать оценку ходам, каждый из которых должен а)соответствовать правилам игры б)быть наилучшим для каждой конкретной ситуации.
Выбор представления целевой функций: выбор того, как программа будет описывать целевую функцию. (Например будет ли это большая таблица с отдельными значениями, в которой будут указаны оценки каждого отдельного хода). Здесь должен быть найден решающий компромисс.
Выбор алгоритма аппроксимации функции. В соответствии с предметной областью и значениями выбирается наиболее подходящий алгоритм.
Конечная разработка
Навчальна та тестова вибірка. Особливості формування;
Обучающая выборка – это множество объектов, заданных значениями признаков и принадлежность которых к тому или иному классу достоверно известна "учителю" и сообщается учителем "обучаемой" системе. По обучающей выборке система строит решающие правила. Качество решающих правил оценивается по тестовой выборке, в которую входят объекты, заданные значениями признаков, и принадлежность которых тому или иному образу известна только учителю. Предъявляя обучаемой системе для контрольного распознавания, объекты тестовой выборки, учитель в состоянии дать оценку вероятностей ошибок распознавания, то есть оценить качество обучения. Если в большинстве случаев выявлено несоответствие, следует пересмотреть данные и алгоритм, ввести дополнительные примеры, изменить атрибуты и т.п. Причиной несоответствия могут служить ошибки в данных, зашумленность.
К обучающей и тестовой выборкам предъявляются определённые требования. Например, важно, чтобы объекты тестовой выборки не входили в обучающую выборку (иногда, правда, это требование нарушается, если общий объём выборок мал и увеличить его либо невозможно, либо чрезвычайно сложно). Обучающая и тестовая выборки должны достаточно полно представлять генеральную совокупность (гипотетическое множество всех возможных объектов каждого образа).
Типи навчання (з учителем, без учителя, ліниве, нетерпляче)
Обучение с учителем- это тип, при котором нам даны (иногда приблизительно) значения целевой функции для множества обучающих примеров.
Обучение без учителя-когда нам дана обучающая выборка без значений целевой функции. Стремительное обучение-вся обучающая выборка обрабатывается и производится глобальное обобщение целевой функции. Полученная модель на выходе обучения (или мн-во гипотез) описывает всю обучающую выборку. На стадии классификации новый пример просто подставляется в полученное множество гипотез, на основании чего получаем классификацию. На данном этапе уже не происходит обращение к обучающей выборке.
Ленивое обучение - на стадии обучения просто хранится обучающая выборка (возможно, производится некоторая ее предварительная обработка), а принятие решения относительно вывода целевой функции откладывается до поступления новых примеров на классификацию. На стадии классификации каждый раз, когда приходит новый пример, заново обрабатывается вся обучающая выборка для принятия решения.