03.02. Извлечение знаний в среде макромедиа с использованием нетбучной техники

Извлечение знаний в среде мультимедиа в конечном счёте сводится к технологиям и средствам, построенным на стратегическом анализе мультимедиа информации по ряду совокупных признаков, как семантических, так и сугубо технологических. Именно по этому, как показано в публикациях и диссертации Д.С. Шемончука, релевантность и пертинентность мультимедиа файлов надо трактовать шире, чем релевантность и пертинентность текстовых файлов, где всё определяет исключительно семантическое соответствие принятым онтологиям. Семантический поиск и извлечение знаний из текстовых массивов ведутся по типу (расширению) и названию файла или папки, а чаще только по идентификационному наименованию файла или по слэнгам, то есть ключевым словам и словосочетаниям в теле текста, подбираемым для запроса пользователем в минимальном количестве слов и виде, отражающем предметную сущность искомой информации. Например, пользователя интересует математическое описание фрейм-анализа, изложенное в автореферате диссертации Д.В. Сошникова. Автореферат этот одинаково быстро и легко находится в Интернет пространстве или в Экстранет пользователя как прямым запросом по точному наименованию файла (если таковое известно, например, выводитя в «Журнал» или в «Избранное» на компьютере пользователя), так поиском по слэнгам в минимальном наборе из трёх (желательно не более) поисковых слов слэнгов «ДИССЕРТАЦИЯ ФРЕЙМЫ СОШНИКОВ». С поиском и обслуживанием мультимедиа файлов дело обстоит сложнее, поскольку кроме семантического соответствия для успешного открытия и использования найденного файла дополнительно необходимо, чтобы файл правильно открывался в цветах, звучании и динамике видео воспроизведения, причём синхронизировано со звучанием. Для этого необходимо, во первых, чтобы необходимые расширения, драйверы и кодеки поддерживались установленными в каркасе компьютера пользователя операционной системой и соответствующими программами и, во вторых, чтобы сжатие и другие обработки файла, а также настройки мультимедиа плееров, дисплеев, средств акустики и т.д. позволяли уверенно и качественно воспроизводить файл. В нетбучных реализациях, в частности, сжатие файла должно быть таким, чтобы получать достаточно высокое качество изображения и синхронизируемого с ним звука, но в пределах технологических возможностей (особенно по производительности и памяти) того или иного устройства нетбучной техники. В значительной мере обеспечивается это соответствующей рационализацией программных средств, используемых в НЕТБУКе (см. рекомендации Части 2 РТМ), и гармонизацией мультимедиа контента (показано далее). Пертинентность и релевантность такого рода поиска и извлечения знаний в среде Макромедиа по совокупным семантико-технологическим признакам с полным основанием определены Д.С. Шемончуком и его коллегами как технические, то есть как техническая релевантность и техническая пертинентность. В образовании к тому же, как показано в диссертационных исследованиях и публикациях Р.Г. Болбакова, эти термины отображают также когнитивность учебной информации, поскольку в отсутствие конитивности извлечение знаний из мультимедиа сред столь же непродуктивно, как и при коллапсах и низком качестве технологического порядка.

Выше, со ссылками на труды А.А. Давыдова было раскрыто авторское (составителей РТМ) понятие макромедиа в образовании. С опорой на публикации этого уважаемого исследователя можно сформулировать основные пути и особенности извлечения знаний в среде макромедиа с ипользованием нетбучной техники в образовательной индустрии. В синергетическом понимании механизмы этого извлечения используют ту или иную стратегию анализа мультимедийной информации, а именно:

• Стратегия редукции. В рамках стратегии редукции осуществляется тотальная текстуализация мультимедийной информации в рамках технологий, свойственных Semantic Web, в частности,  с помощью Collaborative Tagging Systems, когда разнородная мультимедийная информация выражается в виде обобщенных текстовых меток (tags), которые выступают в качестве семантических метаданных (данных о данных). Технология эта более всего перекликается с Онтонет в Макромедиа, которая, впрочем сводит решение задачи к экономии вычислительных ресурсов за счёт формирования Онтологий метаданных в метаданных, обслуживающих так называемый сэндвич ЛИ . Тотальная же визуализация мультимедийной информации может быть реализована, например, с помощью Visual Computing, когда разнородная мультимедийная информация выражается в виде визуальных образов. По наблюдениям аналитиков с течением времени наблюдается следующая последовательность смены использования редукционистской тактики в анализе мультимедийной информации: «Тотальная текстуализация» переход к  «Тотальная визуализация», в частности, при анализе текстовой информации. Вместе с тем, комбинирование Visual analysis и Text Analysis - остается стандартной и широко распространенной процедурой в анализе мультимедийной информации, включая и Макромедиа.

• Стратегия грануляции. В рамках стратегии грануляции осуществляется информационная грануляция (разделение) исходной мультимедийной информации на  неразрывную совокупность частей (информационных гранул мультимедиа), например, в рамках теории нечеткой информационной грануляции Л. Заде. Здесь информационная гранула - это общее понятие, которое обобщает следующие термины: часть, подсистема, подмножество, класс, группа, кластер и т.д. При грануляции мультимедийной информации в качестве информационной гранулы используют  мультимедийный документ или группу мультимедийных документов. Гранула состоит из элементов, при этом, элемент может быть гранулой, а гранула может быть элементом другой гранулы. Объединение элементов в гранулу определяется исходя из сходства элементов, «близости» элементов и т.д. Каждая гранула обладает внутренними, внешними и контекстуальными свойствами. Процесс грануляции представляет собой итеративную алгоритмическую процедуру последовательного выделения частей различного уровня общности и согласования уровней абстракции и редукции при анализе мультимедийной информации. При грануляции используются методы многокритериальной оптимизации. В качестве критериев грануляции используют различные формальные и содержательные критерии, например, оптимизационный принцип минимакса, критерии информационной важности, точности прогнозирования и т.д. В целом, гранулярные вычисления позволяют дать множественное многоуровневое «нечеткое» описание и объяснение мультимедийной информации, которая изменяется с течением времени. В практике составителей настоящего РТМ в реализуемых авторами проектах многоуровневых распределённых портальных образовательных консорциумов наряду с общепринятыми названиями тематических папок и набора папок единой тематики в информационные контейнеры в составе информационного консорциума фигурируют так называемые информационные консисты, то есть объединения папок в папку более высокого уровня по одному единственному объединяющему признаку – общности гранул всех входящих в консист составляющих при едином для всех папок консорциума Feed Atom RSS (см. выше).

• Стратегия компрессии. В рамках стратегии компрессии мультимедийная информация «сжимается», например, с помощью вейвлет-преобразования, для выявления небольшого набора чисел, по которым можно восстановить анализируемую мультимедийную информацию, проводить сравнения и т.д. Наиболее широко метод применяется при анализе, распознавании и извлечении графической информации, цветовой обработке и т.п., но как показывают диссертационные исследования Д.С. Шемончука и О.С. Жигалова, метод этот весьма продуктивен и для видео – аудио мультимедиа.

• Параллельная стратегия. -  Суть этой стратегии состоит в том, чтобы в автоматическом режиме индексировать различные фрагменты мультимедийной информации (числа, текст, фото, видео, аудио), параллельно анализируя каждый выделенный фрагмент с помощью специализированных компьютерных интеллектуальных систем Data Mining, Text Mining, Video Mining, Audio Mining, а затем осуществить интеграцию полученных результатов. В этой связи уместно отметить, что компьютерные интеллектуальные системы Data, Text, Image, Audio, Video Mining предназначены для автоматической «добычи знаний» из больших объемов информации, поступающей в режиме реального времени. Следовательно, перечисленные системы актуальны для Макромедиа, технологии которой предполагают высокие значения интенсивностей и объёмов информации. Параллельная стратегия используется как в рамках одной компьютерной системы High-performance Knowledge Discovery systems, так и на основе  технологии Grid Intelligence, основой которой являются Grid – технологии. В целом, Grid - технология состоит в следующем.  Базы данных, компьютерные системы анализа мультимедийной информации, суперкомпьютеры и пользователи могут располагаться в разных частях национального государства и (или) странах мира и в режиме реального времени совместно решать одну задачу или несколько задач анализа мультимедийной информации. При этом, компьютерная система Grid самостоятельно выбирает одну или несколько компьютерных интеллектуальных систем, например, Data Mining, Text Mining, Image Mining, Video Mining, Audio Mining, Web Mining для проведения параллельного анализа соответствующего аспекта мультимедийной информации, наименее загруженный суперкомпьютер (суперкомпьютеры). После проведения соответствующих анализов, осуществляется автоматическая интеграция частных результатов, в частности, с помощью Logical Mapping Intermedia Synchronization. Совершенно очевидно, что маломощные НЕТБУКи ни малейшем образом не предназначены для участия в такого рода распределённых вычислениях, но отражать полученные Grid системами результаты в виде репликаций и туннелируемых пространств они способны даже на современном уровне их технологического развития. Вероятнее всего, такого рода взаимодействие с активным участие нетбучной техники станет достаточно массовым сначала в социальных сетях, в Интернет телевидении (включая учебное телевидение), а затем уже в корпоративных серверно-сетевых комплексах, поддерживающих образовательную и научную деятельность.

• Целостная стратегия. В рамках целостной стратегии мультимедийная информация рассматривается как единая целостная система, в которой выделяются и анализируются Multimedia Ontology, в частности, Ontology design patterns; Collaborative ontology design; Ontology dynamics; Ontology evaluation and selection;  Automatic ontology construction; Semantic mapping and ontologies и т.д. В качестве иллюстрации, на нижк приведённом рисунке представлен процесс извлечения мультимедийных онтологий из информации в контексте реализации целостной стратегии..

Иллюстрация процесса извлечения мультимедийных онтологий из информации

Из приведённого выше перечня стратегий извлечения знаний из мультимедиа информации и нахождения по семантическим признакам этой информации для нужд образовательной индустрии видно, что одно из центральных мест в стратегических моделях занимают различные разновидности технологий Multimedia Mining («добыча знаний»). Эти разновидности основаны на технологии Intelligent Multimedia Processing и включают в себя Multimedia Content Analysis; Image, Speech and Signal Analysis; Multimedia Pattern Recognition и другие. Технологии Multimedia Mining («добыча знаний») включают в себя следующие основные процедуры:

• Multimedia Content Analysis - Image/Video/Audio/Text Content Analysis and Understanding, Media Assimilation and Fusion, Content-Based Multimedia Retrieval and Browsing, Multimedia Indexing, Multimedia Abstraction and Summarization, Semantic Analysis of Multimedia Data, Statistical Analysis of Multimedia Data.

• Multimedia Content Analysis from feels of Feed Atoms RSS (for information consists & blogs of Macromedia).

• Image, Speech and Signal Analysis - Image and Video Processing and Understanding; Speech and Audio Processing and Analysis; Enhancement, segmentation, filtering; Coding and compression; Separation and Segmentation;  Learning.

• Multimedia Pattern Recognition - Statistical, Syntactic and Structural Pattern Recognition; Machine Learning and Data Mining; Artificial Intelligence and Symbolic Learning; Feature Reduction, Manifold Learning; Classification and Clustering; Support Vector Machines and kernels; Invariances in Recognition и т.д.

В свою очередь все эти и схожие с ними процедуры Multimedia Mining опираются на следующие методы анализа (and Tools):

• Multimedia content analysis and understanding;

• Cross-Modal Pattern Discovery;

• Сonceptual clustering; Association rules;

• Relevance feedback and learning systems;

• Content-based browsing, indexing and retrieval of text, data, images, video and audio;

• 2D/3D feature extraction;

• Advanced descriptors and similarity metrics;

• Segmentation of objects in 2D/3D Space;

• Identification and tracking of regions in scenes;

• Voice/audio assisted video segmentation;

• Analysis for coding efficiency and increased error resilience;

• Analysis and understanding tools for content adaptation;

• Multimedia content adaptation tools, transcoding and transmoding;

• Content summarization, abstraction and personalization strategies и т.д.

Кратко обобщая приведённый выше перечень, можно отметить, что Multimedia Mining  включает в себя Data Mining, Text Mining, Image Mining, Video Mining, Audio Mining, Web Mining. Эти виды Multimedia Mining, в свою очередь, могут быть представлены следующими наборами входящих в них составных частей:

• Data Mining - Artificial neural networks; Bayesian networks; Heuristic methods; Case-based reasoning; Computational models of human learning (Cooperative learning, Unsupervised learning); Optimization methods; Decision and induction methods; Evolutionary computation; Grammatical inference; Incremental and on-line learning; Information retrieval and learning; Knowledge acquisition and learning; Data pre - and post-processing; Data visualization; Statistical pattern recognition and analysis; Bootstrap and randomization; Causal modeling; Decision analysis; Exploratory data analysis; Knowledge-based analysis; Classification, projection, regression, optimization clustering; Data cleaning; Model specification, selection, estimation; Reasoning under uncertainty; Uncertainty and noise in data; Spatial Analysis; Space-Time Analysis; Discrete Events Analysis, Network Analysis; Time series forecasting и т.д.

• Text Mining -  Bayesian Models, Concept Decomposition, Orthogonal Decomposition, Probabilistic Models, Vector Space Models, Latent Semantic Indexing,    Graph-based Models, Text Streaming Models, Clustering, Factor Analysis, Visualization Techniques, Metadata Generation, Information Extraction, Text Classification, Text Purification, Text Segmentation, Text Summarization, Query Structures, Trend Detection, Distributed Storage and Retrieval.

• Audio Mining - Automatic Speech Recognition; Spectral Analysis; Wavelet Analysis; Audio clustering and categorization; Artificial neural networks, Visualization Audio; Natural Language Processing;  Computational Linguistics Methods и т.д.

• Video Mining - Video clustering and categorization, Video based object recognition, Video segmentation and summarization, Video feature extraction and representation, Video indexing and retrieval, Video search engines, Video editing and browsing systems, Visual event and activity detection, Statistical techniques for video analysis, Semantic video content analysis, Video processing for HCI, Video surveillance (person identification, abnormal activity labeling).

• Web Mining - Link Analysis; Visitor Analysis; Web User Transactions Analysis; Association Rules and Sequential Patterns; Pattern tracking analyzes; Web Crawling; Automatic discovery of patterns from one or more Web servers; Аnalysis of weblogs, blogs; Semantic association identification; Discovering social structures and communities; Predicting trends and user behavior; Analysis of dynamic networks; Analysis of folksonomies; Latent Semantic Indexing и т.д.

• Image Mining - Enhancement, Restoration, Segmentation, Mathematical morphology, Color analysis, Texture analysis, Motion analysis, 3D image analysis and 3D computer vision, Tracking, Realtime tracking; Shape representation and matching; Geometrical modeling; Digital curves; Real-time imaging; Image representation and models; Graphics, Virtual Reality; Filtering, Digital filters, Adaptive filters; Wavelets, Wedgelets transforms; Statistical Signal Processing; Time-Frequency Analysis; Blind signal separation (BSS), Blind deconvolution; Image fusion; Spatial Data Modeling;  Watermarking, Encryption, Security; Deformable models; Multi-channel image processing; Nonlinear image processing; Image and video coding, compression; Streaming, transmission, communication; Indexing & Retrieval; Feature extraction; Feature selection; Classification; Clustering; Ensembles and multi-classifiers; Hybrid methods; Syntactical methods; Object recognition; Face recognition and 3D face recognition; Character recognition; Gesture recognition; Image understanding; Machine vision and Computer vision; Statistical methods and Statistical estimation; Image Description and Recognition; Information Analysis and Entropy; Fault detection and diagnosis; Soft Computing techniques (fuzzy logic, fuzzy image processing); Intelligent Analysis; Neural Network Analysis; Global scene classification; Object and events detection; Object class recognition in images.

• Feed Atom RSS Mining (особенно по лентам новостей и обновлений блогов и сайтов) и др.

Разработку компьютерных систем анализа мультимедийной информации осуществляют крупные Интернет-компании и исследовательские центры, такие, как Google Research, выпускающие соответствующий сложный и дорогостоящий программный продукт в обеспечение технологий Multimedia Mining. В той малой части, в которой нетбучная техника может поддерживать эти технологии на «последней мили» конечного пользователя для поддержки мобильных реализаций извлечения знаний в Макромедиа среде составители настоящего РТМ разработали, апробировали, зарегистрировали в Роспатенте соответствующие в виде разделяемых библиотек программные плагины, представленные открытым кодом и описаниями в четвёртой электронной части РТМ3 (на CD-ROM, DVD-ROM). Некоторые из них упорядочивают технические характеристики звука и изображения НЕТБУКов и МИДЛБУКов (см. Вторую часть РТМ) с опорой на проводимые согласно рекомендациям РТМ гармонизацию и нормирование мультимедиа контента, в ом числе по глубине, частоте, дискретизации, мере компрессии и прочее. Реализуемый ими мастеринг учитывает выраженные особенности Макромедиа в части мультимодальности совокупной мультимедиа информации среды Макромедиа в образовании.