Исходные данные

Данная работа посвящена автоматическому анализу данных, собранных в рамках второго подхода как результат тестирования коммуникаций многопроцессорной системы с помощью программного средства network_test2.

Средство network_test2 позволяет получить данные по задержкам для конкретных пар процессов при разных длинах сообщений. Результаты таких тестов сохраняются в виде набора матриц задержек для каждой упорядоченной пары процессов. Первый процесс пары – источник, второй – приемник. Для каждой исследованной длины сообщения сохраняется своя матрица. Элемент каждой такой матрицы содержит статистически отобранную информацию о распределении задержки между выбранными процессами. В простейшем случае элемент содержит среднюю величину задержки. В случае подхода на основе сбора трасс такие матрицы называются коммуникационными. Другими словами, анализируемые данные представляют собой трехмерное аналитическое пространство (трехмерный куб данных), определяемое двумя измерениями процессов (источников и приемников) и измерением длин сообщений.

Результатом работы программы network_test2 являются несколько файлов в формате NetCDF [16], которые для каждой упорядоченной пары процессов и каждой длины сообщения хранят следующие числовые характеристики эмпирического распределения задержки: минимальные значения, медианы, средние значения и стандартные отклонения задержек. Каждый файл содержит множество матриц, где каждая матрица соответствует своей длине сообщения. В позиции матрицы содержится числовая характеристика задержки при передаче сообщения от процесса с номером к процессу с номером .

К сожалению, для достаточно большого числа процессов данные результатов теста будут иметь большой объем, так как размер матриц пропорционален квадрату числа процессов, участвовавших в тесте. Для размеров тестов с числом процессов, сопоставимым с суммарным числом ядер многопроцессорного комплекса, имеем объемы, которыми достаточно сложно оперировать. Например, система BlueGene/P на факультете ВМК имеет 8 192 процессорных ядер [17], что дает 67 108 864 чисел с плавающей точкой, то есть 512 Мб занимает только одна коммуникационная матрица (8 байт на элемент).

Представляется естественным попытаться сократить размер указанных трехмерных описаний. Таким образом, ставится задача агрегирования и последующей аппроксимации исходных данных. Существует множество подходов к решению указанной задачи, однако в данной работе из-за большого объема данных авторы вынуждены отдать предпочтение быстрым алгоритмам.

Одним из путей сокращения описания является нахождение групп схожих значений в результатах тестирования. В работе для решения данной задачи применяется кластерный анализ.

Рис. 1. Данные задержек для «Ломоносова», 500 процессов, длина сообщения 0 Байт: a) Гистограмма распределения значений задержек; b) Картограмма матрицы задержек

Рис. 2. Данные задержек для «Ломоносова», 500 процессов, длина сообщения 8000 Байт: a) Гистограмма распределения значений задержек; b) Картограмма матрицы задержек

Рис. 3. Данные задержек для Bluegene/P, 128 процессов, длина сообщения 0 Байт: a) Гистограмма распределения значений задержек; b) Картограмма матрицы задержек