Системное программное обеспечение. Учебно-методическое пособие

котором размещается исполняемая программа (сегмент text), статически распределённая память (сегменты data и BSS), стек (сегмент Stack) и оставшаяся часть - область динамической памяти.

Рис. 14. Виртуальное адресное пространства процесса в системе GNU/Linux (в архитектуре Intel IA32)

Последнюю область адресного пространства процесса условно можно разделить на две подобласти – brk/sbrk (начинается с младших адресов и увеличивается вверх) и область mmap (начинается со старших адресов и увеличивается вниз). Подобласть brk/sbrk используется только для динамического выделения памяти выполняющейся программе. Подобласть mmap предназначена для отображения в памяти файлов (в том числе разделяемых библиотек) и обеспечения связывания адресных пространств процессов (разделяемая память). Отображение файлов в виртуальной памяти процесса по сути является буферизованным чтением/записью конкретного файла с произвольным доступом. С применением специального файла (/dev/zero) такой способ доступа к памяти позволяет использовать это адресное пространство как дополнение к подобласти brk/sbrk.

Библиотека GLIBC использует область brk/sbrk в однопоточных приложениях для выделения блоков небольшого размера. В многопоточных приложениях для блоков небольших размеров в каждой нити в подобласти mmap выделяется свое пространство (в библиотеке оно называется arena), работа с которым аналогична работе с областью brk/sbrk. Память для «больших» блоков выделяется библиотекой в подобласти mmap.

В заголовке блока указывается размер предыдущего блока и размер текущего блока. После пользовательского блока также хранится размер текущего блока. Очевидно, что два последовательных блока пересекаются по первому полю заголовка и полю завершения. Пример использования этих полей приведен ниже (см. рис. 16).

Размер пользовательской области блока выравнивается по размеру страницы памяти.

5. Конфигурирование подсистемы динамического управления памятью

Поведение функции malloc может быть настроено с помощью нескольких переменных (см. Табл. 2).

Табл. 2. Переменные, управляющие поведением функций динамического выделения памяти

Изменить значения этих переменных можно с помощью функции mallopt (см. рис. 17). Вывести статистическую информацию о подсистеме памяти можно с помощью функций malloc_stats и mallinfo. Журнал вызова функций динамического выделения памяти можно получить с помощью функции mtrace.

#include <malloc.h> #include <stdlib.h>

int main (void){ int i;

mallopt (M_MMAP_THRESHOLD, 900*1024);

for (i = 0; i < 1000; i ++) malloc (i*1024);

malloc_stats(); return (0);

}

Рис. 17. Настройка подсистемы выделения динамической памяти

6. Алгоритмы поиска свободных блоков памяти

Основная проблема реализации функций динамического управления памяти заключается обеспечении эффективного поиска свободных блоков. Очевидно, что чем дольше происходит выделение памяти, тем больше накладных расходов в процессе исполнения приложения.

В библиотеке GLIBC все свободные блоки помещаются в пакеты согласно их размеру. Всего поддерживается 64 пакета с блоками размером от 1 до 8 байт, 32 пакета с блоками от 9 до 64 байт, 16 пакетов с блоками от 65 до 512 байт, 8 пакетов с блоками до 4096 байт, 4 пакета с блоками до 32768 байт, 2 пакета с блоками до 262144 байт и 1 пакет с блоками больше 262144 байт.

Внутри каждого пакета блоки размещены в двунаправленном списке. Для хранения списка используется пользовательское пространство блоков (адреса следующего и предыдущего блока хранятся в пользовательском пространстве блока). Блоки размером до 4096 байт в своих списках никак не сортируются, а остальные блоки отсортированы по убыванию.

Для поиска необходимого блока используется алгоритм «Наилучший подходящий», суть которого заключается в том, что среди имеющихся свободных блоков находится тот, размер которого максимально приближен к требуемому размеру блока (с учетом размеров служебной информации и выравнивания размера блока).

Если найден блок большего размера, чем это необходимо, и оставшейся части достаточно для того, чтобы создать свободный блок минимального и большего размера, то найденный блок делится на две части: свободный блок и выделенный блок. Свободный блок вновь помещается в соответствующий пакет, а выделенный блок возвращается пользователю.

7. Перехват вызовов функций динамического управления памятью

Пользователю функций динамического распределения памяти в библиотеке GLIBC предоставлена возможность перехвата вызовов этих функций (см. рис. 18). Эта возможность обычно используется для отладки приложений и анализа качества их работы с динамической памятью.

#include <malloc.h>

static void *(*old_malloc_hook) (size_t, const void *); static void (*old_free_hook) (void *, const void *);

static void * my_malloc_hook (size_t size, const void *caller){

static void my_free_hook (void * ptr, const void * caller){ __free_hook = old_free_hook;

free(ptr);

old_free_hook = __free_hook; __free_hook = my_free_hook;

}

static void my_init_hook (void){ old_malloc_hook = __malloc_hook;

old_free_hook = __free_hook; __malloc_hook = my_malloc_hook; __free_hook = my_free_hook;

}

void (* volatile __malloc_initialize_hook) (void) = my_init_hook;

int main (void) { char *p;

p = malloc (10); free (p); return 0;

}

Рис. 18. Перехват вызовов функций динамического распределения памяти

РАЗДЕЛЯЕМЫЕ БИБЛИОТЕКИ

1. Динамические и статические библиотеки функций

Отладка программного обеспечения – трудоемкий и длительный процесс. Для упрощения этого процесса программное обеспечение обычно делится на логически оконченные блоки – функции, каждый из которых тестируется отдельно и независимо. Кроме того, такой подход позволяет разделить процесс разработки программного обеспечения между несколькими исполнителями.

Функции, отвечающие за выполнение логически связанных действий, объединяются в библиотеки. Например, библиотеки обработки изображений, стандартная библиотека функция языка Си и т.п. Очевидно, что при разработке нового программного обеспечения могут использоваться ранее подготовленные библиотеки функций. Тем самым уменьшается время, требуемое для разработки программного обеспечения.

Библиотеки функций в зависимости от способа их использования в процессе выполнения программного обеспечения можно разделить на два класса – статические и динамические. Статические библиотеки функций полностью включаются в исполняемый файл и загружаются в оперативную память в процессе загрузки программы на исполнение. При этом если несколько программ используют одну и ту же библиотеку и эти программы одновременно исполняются на ЭВМ, то в памяти ЭВМ будут находиться несколько одинаковых копий функций. Динамические библиотеки функций загружаются в память ЭВМ по мере необходимости и могут разделяться (одновременно использоваться) несколькими выполняющимися программами. Такой способ использования библиотек функций позволяет избежать нерационального использования памяти ЭВМ.

Работа с динамическими библиотеками требует выполнения двух операций: загрузки библиотеки в память ЭВМ и связывание функций (т.е. определения их адресов в памяти). В зависимости от способа реализации этих операций работу с динамическими библиотеками можно разделить на два типа:

динамическая компоновка и динамическая загрузка. В первом случае операции загрузки и связывания выполняются «автоматически» (т.е. за их выполнение несет ответственность системное программное обеспечение), а во втором случае эти операции закладываются в программу в процессе её разработки (ответственность за выполнение операция несет разработчик программного обеспечения).

2. Динамическая загрузка функций

Динамическая загрузка библиотек осуществляется с помощью специальных системных вызовов, которые размещены в библиотеке функций dl (см. Рис. 19).

#include <dlfcn.h>

void *dlopen(const char *filename, int flag); char *dlerror(void);

void *dlsym(void *handle, const char *symbol); int dlclose(void *handle);

Рис. 19. Функции динамический загрузки библиотек

Функция dlopen загружает динамическую библиотеку в память ЭВМ. В результате функция возвращает указатель на дескриптор открытой библиотеки (специальная структура, описывающая динамически разделяемый объект в памяти процесса). Используя этот дескприптор, пользователь может осуществить динамическое связывание функций. Файл, в которой находится динамическая библиотека, указывается первым параметром функции. Вторым параметром указывается режим выполнения связывания имен функций. В случае если в динамической библиотеке есть связи с другими библиотеками, то они загружаются рекурсивно.

Файл динамической библиотеки может быть указан в абсолютном и относительном виде. При использовании относительного имени поиск файла осуществляется в следующем порядке:

o для исполняемых файлов, записанных в формате ELF – если в исполняемом файле указаны пути, в которых необходимо искать динамические библиотеки, то файл ищется в них;

o проверяется содержимое переменной среды окружения LD_LIBRARY_PATH, в которой через двоеточие указываются каталоги для поиска динамических библиотек;

oиспользуется содержимое файла /etc/ld.so.cache (о формировании этого файла будет сказано ниже);

o библиотека ищется в каталогах /lib и /usr/lib.

Если в качестве первого параметра указан NULL, то возвращается дескриптор, содержащий указатель на исполняемый процесс (т.е. в качестве динамической библиотеки будет использован исполняемый файл процесса).

После того как библиотека будет загружена в память, системное программное обеспечение должно подготовиться для поиска в ней функций. Сделать это можно в двух режимах – сразу найти все имена функций библиотеки и их адреса в памяти (режим RTLD_NOW) или по мере вызова функции динамического связывания (RTLD_LAZY). Режим поиска сразу всех функций может быть также задан с применением переменной среды окружения LD_BIND_NOW, задав ей непустое значение. Дополнительно к режимам поиска имен функций могут быть заданы опции (через операцию бинарного сложения):

o RTLD_GLOBAL – использовать имена из этой библиотеки для разрешения имен из библиотек, загружаемых после указанной;

oRTLD_LOCAL – использовать имен из этой библиотеки только для ней. Этот режим используется «по умолчанию».

o RTLD_NODELETE – не выгружать библиотеку при вызове функции dlclose();

o RTLD_NOLOAD – не загружать библиотеку. Используется для отладки.

Связывание функций (получение адреса функции) осуществляется с помощью вызова dlsym, которому в качестве первого параметра передается указатель на дескриптор, а вторым параметром строка, содержащая имя требуемой функции. Если функция найдена, то возвращается указатель на неё, иначе NULL.

В ситуации, когда несколько динамических библиотек используют функции с одинаковыми именами, необходимо обеспечить механизм поиска нужной функции. Для этого в функции dlsym могут использоваться специальные дескрипторы – RTLD_NEXT и RTLD_DEFAULT. Первый дескриптор позволяет продолжить поиск требуемой функции в библиотеках, загруженных следующими по списку. Второй вызов ищет требуемую функцию в самой ранней загруженной библиотеке.

Функция dlclose закрывает динамическую библиотеку и при необходимости выгружает её из памяти ЭВМ.

Некоторым динамическим библиотекам необходимо выполнить какие-то действия перед началом или по окончании их использования. Для реализации этих механизмов используются специальные функции (см. рис. 20 и рис. 21): _init() и _fini(), а также конструктор __attribute ((constructor)) и деструктор библиотеки __attribute ((destructor)).

При компиляции разделяемой библиотеки следует помнить о том (см. рис. 22), что она должна быть скомпилирована в адресно-независимой форме (опция – fPIC), а линковка должна пройти без сборки исполняемого файла (опция – shared). Чтобы линковщик все функции программы подготовил для динамического использования необходимо использовать опцию – rdynamic.

Рис. 20. Пример использования динамической библиотеки функций

#include <stdio.h> #include <stdlib.h> #define __USE_GNU #include <dlfcn.h>

static void * (*real_malloc) (size_t); static int (*fu) (void);

void * malloc (size_t size){

if (size > 100) { (*fu)(); return (NULL); } return (*real_malloc)(size);

}

static void __malloc_init (void) __attribute__ ((constructor)); static void __malloc_init (void){

void * ptr;

ptr = dlopen (NULL, RTLD_LAZY); if (ptr == NULL) abort();

real_malloc = dlsym (RTLD_NEXT, "malloc"); fu = dlsym (ptr, "func");

if (NULL == real_malloc || NULL == fs){

fprintf (stderr, "Error in `dlsym`: %s\n", dlerror ()); return;

}

}

Рис. 21. Пример динамической библиотеки функций

$ gcc -fPIC -shared -o malloc.so malloc.c –ldl $ gcc prog.c -o prog -rdynamic

$ ./prog

Результат выделения = удача

$ LD_PRELOAD="./malloc.so" ./prog func!!!!

Результат выделения = отказ

$

Рис. 22. Компиляция динамической библиотеки и запуск программы с её использованием

3. Динамическая компоновка приложений

Автоматизация использования динамических библиотек заключается в использовании специальной программы, которая запускается сразу после загрузки исполняемого кода в память ЭВМ и выполняет открытие всех необходимых динамических библиотек и связывание всех используемых в программе функций. Такая программа в линуксе называется ld.so (или ldlinux.so).

Следует напомнить, что каждая динамическая библиотека имеет свое внутреннее имя, задаваемой опцией – soname линковщика!

Поиск динамических библиотек программой ld.so осуществляется в следующем порядке: