23. Добыча данных и применяемые технологии при поиске и обработке информации.

"Data Mining" — процесс аналитического исследования больших массивов информации (обычно экономического характера) с целью выявления определенных закономерностей и систематических взаимосвязей между переменными, которые затем можно применить к новым совокупностям данных. Этот процесс включает три основных этапа: исследование, построение модели или структуры и ее проверку. В идеальном случае, при достаточном количестве данных можно организовать итеративную процедуру для построения устойчивой (робастной) модели.

Data Mining по-прежнему основывается на классических принципах разведочного анализа данных (РАД) и построения моделей и использует те же подходы и методы. Таким образом, в области Data Mining принят такой подход к анализу данных и извлечению знаний, который иногда характеризуют словами "черный ящик". При этом используются не только классические приемы разведочного анализа данных, но и такие методы, как нейронные сети, которые позволяют строить достоверные прогнозы, не уточняя конкретный вид тех зависимостей, на которых такой прогноз основан.

24. Применение технологии дерева решений при поиске информации.

Деревья решений - метод, широко применяемый в области финансов и бизнеса, где чаще встречаются задачи числового прогноза. В результате применения этого метода, для обучающей выборки данных создается иерархическая структура правил классификации типа, "ЕСЛИ... ТОГДА...", имеющих вид дерева. Для того чтобы решить, к какому классу отнести некоторый объект или ситуацию, надо ответить на вопрос, стоящий в узлах этого дерева, начиная с его корня. Вопросы могут иметь вид "Значение параметра A больше Х ? " или вида "Значение переменной В принадлежит подмножеству признаков С ? ". Если ответ положительный, переход к правому узлу следующего уровня, если отрицательный - то к левому узлу; потом снова ответ на вопрос, связанный с соответствующим узлом. Таким образом, в конце концов, можно дойти до одного из конечных узлов, где определен класс объекта. Этот метод хорош наглядным представлением правил и его легко понять.

Сегодня наблюдается подъем интереса к продуктам, применяющим деревья решений. В основном это объясняется тем, что большинство коммерческих проблем решается ними быстрее, чем алгоритмами нейронных сетей, они проще и понятней для пользователей.

25. Нейронные сети и их применение при поиске информации

Нейронные сети это системы с архитектурой, условно имитирующей работу нейронов. Математическая модель нейрона представляет собой некоторый универсальный нелинейный элемент с возможностью широкого изменения и настраивания его характеристик.

Нейронные сети представляют собой совокупность связанных между собой слоев нейронов, которые получают входные данные, осуществляют их обработку и генерируют на выходе результат. Между узлами видимых входного и выходного слоев может находиться определенное число скрытых слоев. Нейронные сети реализуют непрозрачный процесс. Это означает, что построенная модель, как правило, не имеет четкой интерпретации. Много пакетов, которые реализуют алгоритмы нейронных сетей, применяются в сфере обработки коммерческой информации, при распознавании образов, расшифровки рукописного текста, интерпретации кардиограмм.

Аппаратные или программные реализации алгоритмов нейромереж называются нейрокомпьютером.

Нейрокомпьютеры дают стандартный способ решения многих нестандартных задач. И неважно, что специализированная машина лучше решит один класс задач. Важнее, что один нейрокомпьютер решит и эту задачу, и другую, и третью и не надо каждый раз проектировать специализированную ЭВМ, нейрокомпьютер сделает все сам и почти не хуже. 

Вместо программирования обучения. Нейрокомпьютер учится, нужно лишь формировать обучающие множества. Работа программиста заменяется новой работой учителя. Лучше это ли хуже? Не то, ни другое. Программист приказывает машине все детали работы, учитель создает "обучающую среду", к которой приспосабливается нейрокомпьютер. Появляются новые возможности для работы. 

Нейрокомпьютеры эффективны там, где нужен аналог человеческой интуиции, в частности, для распознавания образов, чтения рукописных текстов, подготовки аналитических прогнозов, перевода с одного языка на другой и т.п. Именно для таких задач обычно трудно составить явный алгоритм.