
- •Питання:
- •Області застосування і задачі паралельної обробки
- •5. Рівні розпаралелювання
- •Рівень процедур
- •6. Паралельні операції
- •7. Основні принципи паралелізму (розпаралелення)
- •8. Класифікація структур паралельної обробки
- •Тема №2 “Методи оцінки продуктивності паралельних алгоритмів і систем” Питання:
- •2. Фактори, що необхідно враховувати при оцінці продуктивності
- •3. Методи оцінки продуктивності паралельних систем
- •4. Характеристики продуктивності паралельних алгоритмів.
- •Масштабність (Scaleup)
- •Визначення для варіантів програми, що мають різну величину
- •5. Порівняння mimd і simd структур за продуктивністю
- •Висновки
- •2. Прості мережі Петрі
- •3. Розширені мережі Петрі
- •4. Приклади реалізації мереж Петрі
- •Тема 4: Розробка паралельного алгоритму
- •1. Паралелізм даних
- •2. Паралелізм задач
- •3. Етапи розробки паралельного алгоритму
- •1. Паралелізм даних
- •2. Паралелізм задач
- •3. Етапи розробки паралельного алгоритму
- •Тема №5: Структури зв’язку між процесорами
- •2. Шинні мережі
- •3. Мережі з комутаторами
- •4. Структури, що забезпечують зв'язок типу "пункт-пункт"
- •5. Методи комутацій
- •Питання:
- •2. Масивно - паралельні системи (mpp)
- •Симетричні мультипроцесорні системи (smp)
- •Системи з неоднорідним доступом до пам'яті (numa)
- •Паралельні векторні системи (pvp)
- •Кластерні системи
- •Тема №7: Схеми паралельних алгоритмів задач. Питання:
- •1. Схеми алгоритмів задач
- •2. Алгоритми перемноження матриці на матрицю і їх реалізація на структурах типу: кільцева, 2d (решітка), 3d (куб)
- •Схеми алгоритмів задач
- •2. Алгоритми перемноження матриці на матрицю і їх реалізація на структурах типу: кільцева, 2d (решітка), 3d (куб)
- •7. Збір результатів у с
- •2.Scatter b координати 3. Broadcast підматриць a
- •4. Broadcast 5. Обчислення підматриць b добутків (підматриць в c)
- •6. Збір результатів в c
- •2. Scatter b 3. Broadcast підматриць з а
- •4. Broadcast підматриць з у 5. Обчислення добутків підматриць у с)
- •6. Reduce (підсумовування)добутків 7. Gather c (збір результатів)
- •Тема №8: Мови паралельного програмування Питання:
- •2. Класифікація мов і систем паралельного програмування
- •3. Особливості організації паралельної програми
- •4. Технології паралельного програмування Message Passing Interface (mpi)
- •5. Операції обміну повідомленнями
- •Висновки
- •Література
- •Додатки Додаток а
- •Додаток б концепції паралельної обробки Співпрограми
- •Fork (розгалуження, виникнення паралельних процесів) I Join (об’єднання)
- •Процеси
- •Дистанційний виклик
- •Неявна паралельність
- •Проблеми асинхронної паралельності
- •Несумісні дані
- •Втрачена модифікація даних
- •Блокування
- •Балансування завантаження
- •Проблеми синхронної паралельності
- •Індексовані векторні операції
- •Відображення віртуальних процесорів на фізичні процесори
- •Зменшення пропускної спроможності під час підключення периферійної апаратури
- •Ширина частотної смуги комутаційних мереж.
- •Робота в режимі багатьох користувачів і толерантність до помилок.
- •Організація паралельних обчислень Навчальний посібник
- •Розподілені обчислення
- •[Ред.]Список проектів розподілених обрахунків
- •[Ред.]Список українських проектів розподілених обчислень
- •[Ред.]Біологія та медицина
- •[Ред.]Математика та криптографія
- •[Ред.]Природничі науки
- •[Ред.]пз для організації розподілених обчислень
- •[Ред.]Дивіться також
- •[Ред.]Ресурси інтернету
- •Паралельні та розподілені обчислення
- •[Ред.]Симетрична багатопроцесорність
- •[Ред.]Розподілені обчислення
- •[Ред.]Кластерні обчислення
- •[Ред.]Масово паралельні обчислення
- •[Ред.]Обчислення Ґрід
- •[Ред.]Спеціальні паралельні комп'ютери
- •[Ред.]Посилання
- •Основні етапи проектування паралельних та розподілених алгоритмів
- •8.1. Декомпозиція
- •8.2. Зв'язок
- •8.3. Синхронізація
Зменшення пропускної спроможності під час підключення периферійної апаратури
У разі підключення до SIMD- системи периферійної апаратури, наприклад для доступу до великих масивів даних, дуже легко може зменшитись продуктивність з-за швидкості роботи каналів зв’язку.
По-перше, це зв’язок між паралельними процесорними елементами і центральним керуючим комп'ютером (HOST), а по-друге, це підключення периферійної апаратури, такої як дискова пам'ять або графічні дисплеї, які в найпростішому випадку вмикаються безпосередньо в HOST. Вузьке місце під час обміну даними з HOST не може бути ліквідовано SIMD-структурою. Тому прикладні паралельні програми мають будуватися так, щоб вони по можливості не переривалися на послідовний обмін даними з центральним HOST, особливо на запис та читання скалярних масивів даних. Ці операції треба проводити до початку і наприкінці виконання паралельних програм. Вузьке місце під час підключення периферійної апаратури виникає тільки і тому, що між цією апаратурою і паралельними ПЕ стоїть послідовний керуючий комп'ютер. Через нього дані мають проходити покроково, щоб досягти конкретного ПЕ за його адресою. Запобігти цій проблемі можна за допомогою паралельного підключення периферії.
Ширина частотної смуги комутаційних мереж.
Пропускна спроможність комутаційної мережі SIMD- структури значною мірою визначає продуктивність всієї системи. З одного боку, витрати часу на побудову схеми зв’язку і проведення комунікації, а також масиви паралельного обміну даними значно менші, ніж в MIMD – системі. Швидкість виконання локального обміну даними між фізичними сусідніми ПЕ приблизно така сама, як швидкість виконання однієї паралельної операції. З іншого боку, неструктуровані, глобальні операції обміну даними потребують для їхнього проведення значно більше часу. SIMD- системи , що мають локальну та глобальну комутаційні структури, характеризуються також відповідними двома різними величинами ширини смуги частот комутаційних мереж, вплив яких на продуктивність системи залежить від прикладної програми. В деяких програмах із складними структурами зв’язку вплив смуги пропускання комутаційної мережі дуже посилюється і може стати в певних умовах критичним фактором. Тому ширина смуги пропускання має бути якомога більшою.
З огляду на обмежену смугу пропускання глобальної комутаційної мережі, прикладні програми мають відповідати таким вимогам:
- треба уникати тих глобальних операцій обміну даними, без яких можна обійтись, бо вони значно дорожчі за витратами часу, ніж арифметичні команди;
- застосування структурованих топологій зменшує витрати на спілкування ПЕ (навіть аж після трансляції в послідовність обміну даними, що виконуватиметься за кілька кроків)
Арифметико – логічні пристрої паралельних процесорів під час виконання більшості прикладних програм мають задовільну швидкість, порівняно з глобальними комутаційними мережами. Помітно вищу продуктивність всієї паралельної обчислювальної системи, тобто вищу швидкість обчислень, можна забезпечити тільки за рахунок збільшення пропускної спроможності (смуги пропускання) комутаційної мережі.