- •Технология извлечения знаний из нейронных сетей: апробация, проектирование по, использование в психолингвистике
- •Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний 6
- •Глава 2. Нейронные сети 18
- •Глава 3. Упрощение нейронной сети. 27
- •Глава 4. Методы извлечения знаний из искусственных нейронных сетей 41
- •Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов 60
- •Введение Цель работы
- •Основные задачи исследования
- •Основные результаты работы, полученные лично автором
- •Апробация работы
- •Публикации
- •Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний
- •1.1 Знание и приобретение знаний
- •1.1.1 "Знание"
- •1.1.2. Приобретение знаний
- •1.2. Методы извлечения и приобретения знаний
- •1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем
- •1.2.1.1. Трудности при разработке экспертных систем
- •1.2.2. Методы извлечения знаний из таблиц данных
- •1.2.2.1. Технология извлечения знаний из таблиц данных
- •1.2.2.2. Таблица эмпирических данных
- •1.2.2.3. Статистические методы извлечения знаний из таблицы данных
- •1.2.3. Методы идентификации систем
- •1.2.4. Другие методы обработки данных
- •1.3. Требования к технологии извлечения знаний
- •Глава 2. Нейронные сети
- •2.1. Коннекционизм
- •2.2. Элементы нейронных сетей
- •2.3. Основные архитектуры нейронных сетей
- •2.4. Обучение нейронных сетей как минимизация функции ошибки
- •Глава 3. Упрощение нейронной сети.
- •3.1. Что такое упрощение нейронной сети и зачем оно нужно
- •3.2. Задача извлечения знаний из нейронной сети
- •3.3. Методы упрощения нейронных сетей
- •3.3.1. Контрастирование синапсов нейросети
- •3.3.2. Контрастирование нейронов нейросети
- •3.3.3. Контрастирование входных сигналов нейросети
- •3.3.4. Бинаризация синапсов
- •3.3.5. Упрощение нелинейных преобразователей нейронов
- •3.3.6. Дополнительные модификации алгоритмов контрастирования
- •3.3.7. Методы модификации структуры обученной сети
- •3.4. Требования к процессу упрощения сети для извлечения знаний
- •3.5. Упрощающие операции над нейронной сетью
- •3.6. Процедура комплексного упрощения нейронной сети
- •Глава 4. Методы извлечения знаний из искусственных нейронных сетей
- •4.1. Существующие методы извлечения знаний из обученной нейросети
- •4.1.1. Методы на основе квантования сигналов сети
- •4.1.2. Методы извлечения знаний параллельно с обучением нейросети
- •4.1.3. Методы извлечения знаний из обученной нейросети
- •4.2. Методы извлечения знаний: требования к методам
- •4.3. Методология извлечения явных знаний, использующая технологию комплексного упрощения нейросети
- •4.4. Приемы повышения вербализуемости нейронной сети
- •4.4.1. Добавление синдрома в набор входных симптомов
- •4.4.2. Построение иерархии продукционных правил
- •4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей
- •Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов
- •5.1. Семантический дифференциал
- •Литература
- •Публикации автора по теме диплома
- •Приложение 1. Плакаты для защиты диплома.
- •Цель работы
- •Основные задачи работы
- •Нейроны, сети, обучение
- •Методы (алгоритмы) обратного распространения
- •Задача извлечения знаний из нейронной сети
- •Значимость и упрощение
- •Критерии логической прозрачности
- •Метод семантического дифференциала
- •Гипотеза осгуда –
- •Все существенные свойства понятия определяются на основании небольшого числа базисных свойств
- •Основной базис Осгуда:
- •Отличие наших результатов
- •Координаты и особые точки индивидуальных смысловых пространств
- •Основные результаты работы, полученные лично автором
- •Приложение 2. Статья: Горбань п.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.
- •Литература
Литература
Language, meaning and culture: the selected papers of C. E. Osgood / ed. by Charles. E. Osgood and Oliver C. S. Tzeng. New York (etc.) : Praeger, 1990 XIII, 402 S.
Горбань А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП "ParaGraph", 1990. - 160с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, рp.1-134).
Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage / Advances in Neural Information Processing Systems 2. - Morgan Kaufmann, 1990. - pp.598-605.
McMillan C., Mozer M.C., Smolensky P. The Connectionist Scientist Game: Rule Extraction and Refinement in a Neural Network / Proc. XIII Annual Conf. of the Cognitive Science Society, Hillsdale, NJ, USA, 1991. Erlbaum Press, 1991.
Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искуственных нейронных сетей // Методы нейроинформатики. Красноярск: Изд-во КГТУ, 1998.
Gorban A.N., Mirkes Ye.M., Tsaregorodtsev V.G. Generation of explicit knowledge from empirical data through pruning of trainable neural networks / Int. Joint Conf. on Neural Networks, Washington, DC, USA, 1999.
Tsaregorodtsev V.G., Nazimova D.I., Nozhenkova L.F. Neural Identification of the Zonal Classes and Siberian Forest Formations Based on Climatic Parameters / Proc. Int. Symposium "Biodiversity and Dynamics of Ecosystems in North Eurasia", Novosibirsk, Aug. 2000. Vol.4. Part 1. - pp.37-39.
Горбань П.А. Нейросетевая реализация метода семантического дифференциала и анализ выборов американских президентов, основанный на технологии производства явных знаний из данных // Материалы XXXVII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1999