Тема 2.4. Статистические оценки количества информации

Вероятностная мера К. Э. Шеннона (Claud.E.Shannon). Энтропия сложной системы, 2-е начало термодинамики, закон Л.Больцмана (Ludwig Boltzmann). Снижение информационной энтропии как мера количества информации. Формулы Шеннона для систем с дискретным и непрерывным числом состояний. Единицы измерения. “Классическая” теория информации Шеннона, ее достоинства и ограничения, области приложения, практические результаты, достигнутые в теории связи, в теории кодирования, в криптографии и криптоанализе.

Негэнтропийный принцип Л. Бриллюэна (Léon Brillouin): мера информации, содержащейся в законах и теориях, роль ошибок измерения в познавательном процессе, применение в точных науках. Критика концепции Бриллюэна (А.М. Хазен [ ?? ])

Тема 2.5. Семантическая теория информации.

Логико-вероятностный подход Р. Карнапа (Rudolf Carnap) и И. Бар-Хиллела (Yehoshua_Bar-Hillel), оценка количества информации в сообщении по степени противоречия априорной гипотезе, недостатки такой оценки.

Обобщение семантической теории на логику высказываний Я. Хинтикка (Jaako_Hintikka). Последующие развития семантической теории в работах Дж. Г. Кемени (J.G. Kemeny). Семантическая мера Ю.А.Шрейдера на базе концепции полиморфизма – т.н. “ситуативно-тезаурусный” подход. “Семиотический” подход Е. К. Войшвилло – т.н. “энтропия проблемы” (семантико-прагматический аспект).

Тема 2.6. Прагматическая теория информация.

Оценки ценности/полезности информации. Категория цели, концепция целесообразности информации А.А. Харкевича.

Обобщенная вероятностно-алгебраическая мера полезности (положительной/ отрицательной) информации М.М. Бонгарда.

Прагматическая модель Д. Харраха (D.Harrah) на основе «программы обработки сообщений» получателем.

Часть 3. Обработка данных, методы фильтрации, преобразование, сжатия и анализа данных

“Классические” методы и алгоритмы преобразования, анализа и сжатия данных

Тема 3.1. Обработка первичных данных. Гармонический (спектральный) анализ сигналов, преобразование Фурье (пф).

Спектральный анализ, прямое (разложение) и обратное (восстановление) преобразования Дж.Фурье (Joseph Fourier), синусоидальные базисные функции. Разновидности ПФ: дискретное (ДПФ), быстрое (БПФ), оконное ПФ (ОПФ) – разновидности окон, зависимость разрешений по времени и по частоте от ширины окна.

Применения преобразований Фурье для предварительной обработки (препроцессинга) исходных экспериментальных данных с целью получить наглядную и информативную картину результатов эксперимента:

обработка сигналов, анализ спектра сигналов;

очистка исходных данных от шумов и случайных искажений;

фильтрация данных в системах анализа и прогноза.

Примеры применения низкочастотных и высокочастотных фильтров.

Органически присущие ПФ ограничения:

а) постоянное для конкретной реализации ПФ разрешение получаемого спектра по осям “частота/время”, обусловленное исходно заданным фиксированным масштабом разложения по базисным функциям;

b) привязка спектра ко времени с помощью ОПФ не позволяет добиться хорошего разрешения как по частоте, так и по отрезку времени окна – следствие принципа неопределенности Гейзенберга (Werner Karl Heisenberg);

b) отсутствие явной привязки частотных компонент спектра сигнала к моментам времени не позволяет получать частотно-временные характеристики сигналов;

c) как следствие, различные сигналы с одинаковым Фурье-спектром (например, стационарный и нестационарный) не различимы (восстанавливаются как стационарный);

e) методы гармонического анализа дают плохие результаты при анализе апериодических сигналов и, особенно, сигналов фрактального типа.

Примечание: присущие ПФ проблемы анализа частотно-временных характеристик сигналов произвольной формы, особенно имеющих участки резких перепадов (фронты) и разрывов, могут быть решены с помощью вейвлет-пребразований (wavelet transform).

Тема 3.2. Методы и алгоритмы сжатия на основе дискретного косинусного преобразования (ДКП)

Принципы дискретного косинусного преобразования ДКП (Discrete Cosine Transform – DCT).

Современные направления развития методов сжатия изображений (новое поколение методов сжатия графических данных)

Тема 3.3. Фрактальная геометрия, основы теории и приложения.

Основы топологии – науки о поверхностях: области исследований в топологии, классификация поверхностей, гипотеза Пуанкаре.

Фракталы, множества Мандельброта, кривая Коха, примеры фигур, дробное пространство Хаусдорфа, приложения концепции фракталов в научных исследованиях.

Тема 3.4. Принципы и алгоритмы фрактального сжатия изображений.

Тема 3.5. Основы теории вейвлет-преобразований.

Исследования, приведшие к изучению вейвлетов (“всплесков” – wavelets), предпосылки появления и направления развития вейвлет-анализа и теории вейвлет-преобразования ВП (WT – Wavelet Transform). Предшествовавшие теории: гармонический анализ, теория фракталов.

Классы решаемых задач:

• обработка экспериментальных данных – цифровая обработка и анализ сигналов (расширенные возможности по сравнению с традиционными методами анализа, такими как преобразование Фурье), фильтрация данных в системах анализа и прогнозирования, анализ нестационарных сигналов, восстановление качества; зашумленных сигналов;

• сжатие и обработка изображений;

• улучшение качества изображений (фильтры);

• распознавание образов;

• синтез акустических сигналов.

Области фундаментальных и прикладных наук и отраслей, в которых находят применения результаты вейвлет-анализа:

математика, физика, акустика, астрофизика, ядерные исследования, сейсмология, геодезия, нейрофизиология, медицина, связь, телекоммуникации, экономика, финансы и др.

Неформальное определение понятий “вейвлет” и “вейвлет-преобразование” на основе идеи многомасштабного анализа (multiscale analysis, multiresolutional analysis) сигналов (или изображений) с целью обнаружения существенных для анализа деталей разного масштаба – от микро до макро уровней. Принцип самоподобия вейвлетов, фрактальная сущность преобразования. Идея вейлет-преобразования с использованием серии вейвлетов, являющихся разномасшабными копиями функции-прототипа (“материнского” вейвлета). Алгоритмы разложения сигнала по базисным функциям путем сдвига вейвлетов по оси времени (пространства) и соответствующие алгоритмы восстановления (фильтры). Результат разномасштабности – наилучшее разрешение по времени на низкочастотных участках сигнала при наилучшем разрешении по частоте на высокочастотных участках сигнала. Сопоставление с результатами гармонического анализа (Фурье).

Разновидности вейвлетов, 1D и 2D-вейвлеты A.Хаара (Alfred Haar). Непрерывное и дискретное ВП.

Ортогональное вейвлет-преобразование для обработки дискретных данных. Метод И.Добеши (Ingrid Daubechies) для построения бесконечных серий ортогональных вейвлетов с конечным числом определяющих коэффициентов (ортонормированный базис). 1D и 2D вейвлеты Добеши [7].

Быстрое дискретное ВП, компрессия по методу нуль-дерева, алгоритм С. Малла (Stéphane Mallat). Оценка сложности алгоритмов разложения/восстановления (cN операций, где с – число коэффициентов, а N – длина выборки). Фильтры и задача их оптимизации.

Применения ВП в задачах сжатия данных с полным восстановлением или с потерями (путем удаления деталей на несущественных масштабах), достижимые при этом степени сжатия.

Перспективные направления развития вейвлет-анализа: би-ортогональные вейвлеты, мультивейвлеты, вейвлет-пакеты, лифтинг и т.д.

Примеры конкретных приложений ВП:

математические задачи (например, решение систем уравнений в частных производных), визуализация графиков исследования магнитного резонанса, обработка и анализ сейсмических сигналов, анализ турбулентностей, обработка различных сигналов (например, электромагнитных, оптических, радиолокационных, акустических, речевых), звуковые синтезаторы (в т.ч. музыкальные), компьютерное зрение, улучшение качества изображений (выделение существенных деталей), сжатие отпечатков пальцев (база данных ФБР, США), широкополосное кодирование сигналов, моделирование и анализ трафика в компьютерных сетях, системы искусственного интеллекта (при калибровке/обучении анализаторов данных, например, нейросетей, выделение характерных особенностей в зашумленных/искаженных данных на их входах), анализ бизнес-информации, анализ состояния и прогнозирования ситуации на фондовых рынках, и др.

Примеры реализация алгоритмов сжатия с примененим ВП:

• вейвлетная компрессия статических изображений – JPEG 2000, DjVU и др.

• вейвлетное преобразование видеопоследовательностей с последующим сжатием,– MPEG-4, Motion Wavelet, 3D Wavelet и др (применение в системах видео-наблюдения).

Программное обеспечение систем вейвлет-анализа:

Пакет MatLab [3 ], библиотека инструментов вейвлет-преобразования WavUtils [10], инструментальные пакеты Scilab [11] и Lastwave [12].

Литература:

1. Добеши И. Десять лекций по вейвлетам. Москва, "РХД", 2001 г. Воробьев В.И.,

2. Грибунин В.Г. Теория и практика вейвлет-преобразования. С.-Петербург, ВУС, 1999 г.

3. Смоленцев Н.К. Основы теории вейвлетов. Вейвлеты в MATLAB. ДМК-Пресс 2005, с.304

4. Mallat S. A Wavelet Tour of Signal Processing, 3rd edition, The Sparse Way. Academic Press, 1999 – p. 637

Интернет-ресурсы:

© 1995 - 2012 BaseGroup Labs:

5. Основы теории вейвлет-преобразования:

http://www.basegroup.ru/library/cleaning/intro-to-wavelets/

6. Непрерывное вейвлет-преобразование в анализе бизнес-информации:

http://www.basegroup.ru/library/cleaning/wavelet_for_bussines/

7. Краткое руководство “Вейвлет своими рукамиЭ:

http://www.basegroup.ru/library/cleaning/making_wavelet/

8. Приложения вейвлет-анализа:

http://www.basegroup.ru/library/cleaning/wavelet_applications/

9. Быстрое преобразование Фурье:

http://www.basegroup.ru/library/cleaning/filteringbase_desc/

Инструментальные пакеты:

10. Библиотека инструментов вейвлет-преобразования WavUtils:

http://www.basegroup.ru/library/cleaning/wavutils_desc/

11. Open source Scilab Software for numerical computation:

http://www.scilab.org/

12. LastWave package (signal processing oriented command language):

http://www.cmap.polytechnique.fr/~bacry/LastWave/

13. A Numerical Tour of Signal Processingby Gabriel Peyré:

http://www.ceremade.dauphine.fr/~peyre/numerical-tour/

http://www.ceremade.dauphine.fr/~peyre/wavelet-tour/numerical-tour/ Открыть в глоссарии   Закрыть

Часть 4. Логические и алгоритмические основы прикладной информатики

Тема 4.1. Элементы алгебры логики, булевы функции многих переменных, базисы, теорема Поста.

-----

Тема 4.2. Основы теории конечных автоматов.

-----

Часть 5. Новые технологические аспекты развития прикладной информатики, расширяющиеся сферы применения.

Тема 5.1. Сети нового поколения (NGN – New Generation Networks), конвергенция инфокоммуникационных систем, тенденции развития.

Мультисервисные сети (МСС). Определение понятия МСС, синонимы (NGN, IC). Базовые понятия МСС, разновидности, предоставляемые услуги и их потребители, виды трафика, приложения, структура МСС, используемые технологии.

Тема 5.2. Фотонные сети (OTN – Optical Transport Networks).

Тема 5.3. Распределенные вычисления в технологиях и научных исследованиях нового поколения, «электронные» области наук (примеры), грид-системы.

Предпосылки появления “электронных наук” (e-Sciences), особенности исследований, объемы данных, понятие “Грид”, разновидности Грид-систем, сферы применения, российские и международные Грид-проекты, системы интерактивного самообучения технологиям Грид. [e-Everything, e-Sciences, Grid computing, Cloud computing,]

Тема 5.4. Облачные вычисления (cloud computing).

Тема 5.5. Компьютерное имитационное моделирование (КИМ), основные концепции, классификация, применение в научных исследованиях и в образовании.

Предпосылки появления области применения систем КИМ (Computer Simulation), платформы КИМ, примеры наиболее популярных (Arena, GPSS, Promodel, Simulink, Anylogic, etc), доминирующие парадигмы КИМ их ориентация на конкретные сферы применения, классификация моделей. Имитационное моделирование как инструмент принятия решений.

Тема 5.6. Сетевые мультимедиа технологии (Networked Multimedia), их применение в науке и образовании (на примере TELEX)

[Назначение, технологии, структура, технические способы доступа, организация взаимодействия с организациями-пользователями и примеры использования]

[VR – Virtual Reality, AR – Augmented Reality, Telepresence, – TELEX]

[Системы виртуальной реальности и среды «погружения”, система TELEX – технические средства, состав и структура системы, примеры применения, приложения в различных областях, перспективы развития]