- •Тема 1. Введение в архитектуру многопроцессорных вычислительных систем
- •Необходимость введение классификации параллельных вычислительных систем. Требования, которым должна удовлетворять классификации.
- •Классификация м. Флинна. Достоинства и недостатки.
- •Компьютеры с разделенной памятью: mpp-системы. Принципиальная схема. Примеры mpp-систем.
- •Компьютеры с общей памятью: smp-системы. Многоядерные системы. Принципиальная схема. Примеры smp-систем.
- •Системы с неоднородным доступом к памяти: ccNuma-системы. Принципиальная схема.
- •Кластерные системы. Кластер игэу. Схема кластера. Основные характеристики.
- •Тема 2. Система программирования mpi
- •Mpi. Характеристика системы. Основные понятия mpi.
- •Константы. Типы. Сообщения, атрибуты сообщения. Структура mpi_Status.
- •Основные функции mpi: mpi_Init(), mpi_Finalize(), mpi_Wtime().
- •Функции работы с коммуникатором: mpi_Comm_size(), mpi_Comm_rank().
- •Функции коллективного взаимодействия процессов: mpi_Bcast(), mpi_Barrier(), mpi_Reduce(),mpi_Allreduce(),(), mpi_Scan(),. Коллективные операции.
- •Функции обмена с блокировкой: mpi_Send(), mpi_Recv(), mpi_Ssent(),mpi_Bsend(), mpi_Rsend(), mpi_Buffer_attach(), mpi_Buffer_detach().
- •Тема 3. Система программирования OpenMp
- •Система программирования OpenMp. Понятие нити. Структура OpenMp-программы. Схема fork/join. Понятие директивы, клаузы. Классы переменных.
- •Директива OpenMp определения параллельной области. Клаузы.
- •Директива для параллельного выполнения циклов. Клаузы.
- •Директива для однократного выполнения участка кода. Клаузы.
- •Директива для параллельного выполнения независимых фрагментов программы. Клаузы.
- •Директива синхронизации.
- •Директива выполнения блока программы нитью-«мастер».
- •Атомарная директива.
- •Директива создания критической секции. Именованная критическая секция.
- •Директивы flush, ordered, threadprivate.
- •Функции OpenMp.
- •Тема 4. Нейрокомпьютерные системы
- •Обучение простейшего персептрона распознаванию двух образов.
- •Отображение
- •Реакция на образ
- •Блок подготовки
- •Блок обучения
- •Блок проверки
- •Функции активации.
- •Топологии нейронных сетей.
- •Алгоритмы обучения. Методы Хебба.
- •Ассоциативная память нейронных сетей.
- •Тема 5. Параллельные вычисления
- •Виды параллелизма.
- •Ускорение вычислений. Основной закон Амдала. Закон Густавсона-Барсиса.
- •Сетевой закон Амдала. Недостатки закона Амдала.
- •Решение уравнения теплопроводности на мвс. Постановка задачи. Расчетные формулы. Параллельный алгоритм. Распределение точек по процессам. Обработка стыков. Ускорение и точность вычислений.
- •Тема 6 Технология cuda.
- •Основные термины: концепция simd, мультипроцессор, устройство (device), хост (host), ядро (kernel). Организация потоков.
- •Архитектура устройства, виды памяти.
- •Расширения языка с. Спецификаторы функций, спецификаторы переменных, добавленные типы.
- •Функции cuda: функция вызова ядра, функции работы с памятью.
- •Функции определения времени вычислений.
- •Пример программы на cuda: решение системы обыкновенных дифференциальных уравнений методом Рунге-Кутта 4.
Б
да
да
4
нет
Отображение
10
Реакция на образ
11
конец
12
нет
Блок подготовки
Блок обучения
Блок проверки
лок-схема
обучения простейшего перцептрона.
Схема искусственного нейрона. Математическая модель искусственного нейрона. Виды искусственных нейронов.
Нейронная сеть - совокупность искусственных нейронов, определенным образом связанных между собой с помощью связей, имеющих весовые коэффициенты.
Схематически искусственный нейрон обозначается:
X1, X2, Xn – совокупность импульсов (входов)
W1, W2, Wn – вес каждого входа
∑ - сумматор (сумма весов, умноженные на входные импульсы)
S – выход сумматора
F – активационная функция
y – выход сети
(1)
Виды нейронов
Различают входные, промежуточные и выходные нейроны. Входные нейроны имеют только
выходы и на них подается образ, информация передается от входа к выходу путем изменения их активации. Промежуточные нейроны составляют основу нейронных сетей, преобразования в них осуществляются по формуле (1). Выходные нейроны: их выходные значения являются ответом сети, преобразования в них осуществляются по формуле (1) и имеют только входные связи. Замечание: возможны случаи, когда выход топологически внутреннего нейрона будет выходом всей сети.
Три вида нейронов:
Входные нейроны — принимают исходный вектор, кодирующий входной сигнал. Как правило, эти нейроны не выполняют вычислительных операций, а просто передают полученный входной сигнал на выход, возможно, усилив или ослабив его;
Выходные нейроны — представляют из себя выходы сети. В выходных нейронах могут производиться какие-либо вычислительные операции;
Промежуточные нейроны — выполняют основные вычислительные операции.
Функции активации.
Линейная функция
В этом случае выходное значение нейронного элемента равняется взвешенной сумме:
где
—
коэффициент наклона прямой.
Изменение порога линейного элемента эквивалентно сдвигу функции активации по оси абсцисс.
Пороговая функция (бинарная)
Функция хорошо изучена, легко программируется, но не позволяет применять дифференциальные методы обучения.
Область определения: (-∞; +∞)
Множество значений: {0,1}.
"Пологая ступенька"
Позволяет линейно переходить из состояния 0 в состояние 1, удобна в использовании, но не позволяет использовать дифференциальные методы обучения.
‘
"
Логистическая
кривая"
При уменьшении a функция становится более пологой и вырождается в прямую y=0,5 при
a=0. При увеличении функция становится более резкой и приближается к виду пороговой функции. Эта функция активации применяется при обучении с помощью дифференциальных методов, так как производная этой функции выражается через нее саму.
Гиперболический тангенс
Применяется при обучении сетей с помощью дифференциальных методов.
Шаговая функция
Удобна, проста, но нельзя применять дифференциальные методы обучения.
Знаковая функция (биполярная пороговая)
Проста, удобна, зависит от знака суммы импульсов, нельзя применять дифференциальные методы обучения.
Гауссова кривая
Применяется в случаях, когда необходимо реагировать на определенный сигнал.
Применяется в сетях с дифференциальными методами обучения.
