- •Содержание
- •1 Введение 5
- •2 Управление процессами 88
- •3 Реализация межпроцессного взаимодействия в ос Unix 116
- •4 Файловые системы 156
- •4.1 Основные концепции 156
- •5 Управление оперативной памятью 187
- •6 Управление внешними устройствами 202
- •1Введение
- •Пакетная обработка заданий.
- •Развитие языков и систем программирования.
- •Этапы эволюции.
- •1.1Основы архитектуры вычислительной системы
- •1.1.1Структура вс
- •Структура вычислительной системы.
- •1.1.2Аппаратный уровень вс
- •1.1.3Управление физическими ресурсами вс
- •Пример зависимости от драйвера.
- •1.1.4Управление логическими/виртуальными ресурсами
- •1.1.5Системы программирования
- •Этапы проектирования.
- •Кодирование.
- •Тестирование.
- •Каскадная модель.
- •Каскадная итерационная модель.
- •Спиральная модель.
- •1.1.6Прикладные системы
- •Первый этап развития прикладных систем.
- •Второй этап развития прикладных систем.
- •Третий этап развития прикладных систем.
- •Пакет программ Microsoft Office.
- •Пакет MathCad.
- •Система BaaN.
- •1.1.7Выводы, литература
- •Структура организации вычислительной системы.
- •1.2Основы компьютерной архитектуры
- •1.2.1Структура, основные компоненты
- •Структура компьютера фон Неймана.
- •Базовая архитектура современных компьютеров.
- •1.2.2Оперативное запоминающее устройство
- •Ячейка памяти.
- •Контроль четности.
- •Озу без расслоения памяти — один контроллер на все банки.
- •Озу с расслоением памяти — каждый банк обслуживает отдельный контроллер.
- •1.2.3Центральный процессор
- •Структура организации центрального процессора.
- •1.2.3.1Регистровая память
- •1.2.3.2Устройство управления. Арифметико-логическое устройство
- •1.2.3.3Кэш-память
- •Общая схема работы кэШа.
- •1.2.3.4Аппарат прерываний
- •Использование иерархической модели регистров прерывания.
- •Использование вектора прерываний.
- •Этап программной обработки прерываний.
- •1.2.4Внешние устройства
- •Внешние устройства.
- •1.2.4.1Внешние запоминающие устройства
- •Магнитная лента.
- •Принцип устройства магнитного диска.
- •Принцип устройства магнитного барабана.
- •Принцип устройства памяти на магнитных доменах.
- •1.2.4.2Модели синхронизации при обмене с внешними устройствами
- •Синхронная и асинхронная работа с ву.
- •1.2.4.3Потоки данных. Организация управления внешними устройствами
- •Непосредственное управление центральным процессором внешнего устройства.
- •Синхронное/асинхронное управление внешними устройствами с использованием контроллеров внешних устройств.
- •Использование контроллера прямого доступа к памяти (dma) или процессора (канала) ввода-вывода при обмене.
- •1.2.5Иерархия памяти
- •Иерархия памяти.
- •1.2.6Аппаратная поддержка операционной системы и систем программирования
- •1.2.6.1Требования к аппаратуре для поддержки мультипрограммного режима
- •Мультипрограммный режим.
- •1.2.6.2Проблемы, возникающие при исполнении программ
- •Вложенные обращения к подпрограммам.
- •Перемещаемость программы по озу.
- •Фрагментация памяти.
- •1.2.6.3Регистровые окна
- •Регистровые окна.
- •Регистровые окна. Вход и выход из подпрограммы.
- •1.2.6.4Системный стек
- •Системный стек.
- •1.2.6.5Виртуальная память
- •Страничная организация памяти.
- •Страничная организация памяти. Преобразование виртуального адреса в физический.
- •Страничная организация памяти. Схема преобразования адресов.
- •1.2.7Многомашинные, многопроцессорные ассоциации
- •Классификация мкмд.
- •Numa-система.
- •1.2.8Терминальные комплексы (тк)
- •Терминальные комплексы.
- •1.2.9Компьютерные сети
- •Компьютерные сети.
- •1.2.10Организация сетевого взаимодействия. Эталонная модель iso/osi
- •Модель организации взаимодействия в сети iso/osi.
- •Логическое взаимодействие сетевых устройств по I-ому протоколу.
- •1.2.11Семейство протоколов tcp/ip. Соответствие модели iso/osi
- •Семейство протоколов tcp/ip.
- •Взаимодействие между уровнями протоколов tcp/ip.
- •Система адресации протокола ip.
- •Маршрутизация дейтаграмм.
- •1.3Основы архитектуры операционных систем
- •1.3.1Структура ос
- •Структурная организация ос.
- •Структура ос с монолитным ядром.
- •Структура ос с микроядерной архитектурой.
- •1.3.2Логические функции ос
- •1.3.3Типы операционных систем
- •Структура сетевой ос.
- •Структура распределенной ос.
- •2Управление процессами
- •2.1Основные концепции
- •2.1.1Модели операционных систем
- •2.1.2Типы процессов
- •Типы процессов: однонитевая (а) и многонитевая (б) организации.
- •2.1.3Контекст процесса
- •2.2Реализация процессов в ос Unix
- •2.2.1Процесс ос Unix
- •Разделение сегмента кода.
- •2.2.2Базовые средства управления процессами в ос Unix
- •Пример использования системного вызова fork().
- •Пример использования системного вызова execl().
- •Пример использования схемы fork-exec.
- •2.2.3Жизненный цикл процесса. Состояния процесса
- •Жизненный цикл процессов.
- •2.2.4Формирование процессов 0 и 1
- •Формирование нулевого и первого процессов.
- •Инициализация системы.
- •2.3Планирование
- •2.4Взаимодействие процессов
- •2.4.1Разделяемые ресурсы и синхронизация доступа к ним
- •Гонка процессов.
- •Пример тупиковой ситуации (deadlock).
- •2.4.2Способы организации взаимного исключения
- •Пример двоичного семафора.
- •2.4.3Классические задачи синхронизации процессов
- •Обещающие философы.
- •3Реализация межпроцессного взаимодействия в ос Unix
- •3.1Базовые средства реализации взаимодействия процессов в ос Unix
- •Способы организации взаимодействия процессов.
- •3.1.1Сигналы
- •3.1.2Неименованные каналы
- •3.1.3Именованные каналы
- •3.1.4Модель межпроцессного взаимодействия «главный–подчиненный»
- •Общая схема трассировки процессов.
- •3.2Система межпроцессного взаимодействия ipc (Inter-Process Communication)
- •3.2.1Очередь сообщений ipc
- •Очередь сообщений ipc.
- •0666 Определяет права доступа */
- •3.2.2Разделяемая память ipc
- •3.2.3Массив семафоров ipc
- •Int val; /* значение одного семафора */
- •3.3Сокеты — унифицированный интерфейс программирования распределенных систем
- •4Файловые системы
- •4.1Основные концепции
- •4.1.1Структурная организация файлов
- •4.1.2Атрибуты файлов
- •4.1.3Основные правила работы с файлами. Типовые программные интерфейсы
- •Модель одноуровневой файловой системы.
- •Модель двухуровневой файловой системы.
- •Модель иерархической файловой системы.
- •4.1.4Подходы в практической реализации файловой системы
- •Структура «системного» диска.
- •4.1.5Модели реализации файлов
- •Модель непрерывных файлов.
- •Модель файлов, имеющих организацию связанного списка.
- •4.1.6Модели реализации каталогов
- •Модели организации каталогов.
- •4.1.7Соответствие имени файла и его содержимого
- •Пример жесткой связи.
- •Пример символической связи.
- •4.1.8Координация использования пространства внешней памяти
- •4.1.9Квотирование пространства файловой системы
- •Квотирование пространства файловой системы.
- •4.1.10Надежность файловой системы
- •4.1.11Проверка целостности файловой системы
- •Проверка целостности файловой системы. Непротиворечивость файловой системы соблюдена.
- •Проверка целостности файловой системы. Зафиксирована пропажа блока.
- •Проверка целостности файловой системы. Зафиксировано дублирование свободного блока.
- •Проверка целостности файловой системы. Зафиксировано дублирование занятого блока.
- •Проверка целостности файловой системы. Контроль жестких связей.
- •4.2Примеры реализаций файловых систем
- •4.2.1Организация файловой системы ос Unix. Виды файлов. Права доступа
- •4.2.2Логическая структура каталогов
- •Логическая структура каталогов.
- •4.2.3Внутренняя организация файловой системы: модель версии System V
- •Структура файловой системы версии System V.
- •4.2.3.1Работа с массивами номеров свободных блоков
- •Работа с массивами номеров свободных блоков.
- •4.2.3.2Работа с массивом свободных индексных дескрипторов
- •4.2.3.3Индексные дескрипторы. Адресация блоков файла
- •Индексные дескрипторы.
- •Адресация блоков файла.
- •4.2.3.4Файл-каталог
- •Файл-каталог.
- •Установление связей.
- •4.2.3.5Достоинства и недостатки файловой системы модели System V
- •4.2.4Внутренняя организация файловой системы: модель версии Fast File System (ffs) bsd
- •Структура файловой системы версии ffs bsd.
- •4.2.4.1Стратегии размещения
- •Стратегия размещения последовательных блоков файлов.
- •4.2.4.2Внутренняя организация блоков
- •Внутренняя организация блоков (блоки выровнены по кратности).
- •4.2.4.3Выделение пространства для файла
- •Выделение пространства для файла.
- •4.2.4.4Структура каталога ffs
- •Структура каталога ffs bsd.
- •4.2.4.5Блокировка доступа к содержимому файла
- •5Управление оперативной памятью
- •5.1Одиночное непрерывное распределение
- •Одиночное непрерывное распределение.
- •5.2Распределение неперемещаемыми разделами
- •Распределение неперемещаемыми разделами.
- •5.3Распределение перемещаемыми разделами
- •Распределение перемещаемыми разделами.
- •5.4Страничное распределение
- •Страничное распределение.
- •Иерархическая организация таблицы страниц.
- •Использование хеш-таблиц.
- •Инвертированные таблицы страниц.
- •Замещение страниц. Алгоритм «Часы».
- •5.5Сегментное распределение
- •Сегментное распределение.
- •5.6Сегментно-страничное распределение
- •Сегментно-страничное распределение. Упрощенная модель Intel.
- •6Управление внешними устройствами
- •6.1Общие концепции
- •6.1.1Архитектура организации управления внешними устройствами
- •Модели управления внешними устройствами: непосредственное (а), синхронное/асинхронное (б), с использованием контроллера прямого доступа или процессора (канала) ввода-вывода.
- •6.1.2Программное управление внешними устройствами
- •Иерархия архитектуры программного управления внешними устройствами.
- •6.1.3Планирование дисковых обменов
- •Планирование дисковых обменов. Модель fifo.
- •Планирование дисковых обменов. Модель lifo.
- •Планирование дисковых обменов. Модель sstf.
- •Планирование дисковых обменов. Модель scan.
- •Планирование дисковых обменов. Модель c-scan.
- •6.1.4Raid-системы. Уровни raid
- •Raid 2. Избыточность с кодами Хэмминга (Hamming, исправляет одинарные и выявляет двойные ошибки).
- •Raid 3. Четность с чередующимися битами.
- •Raid 5. Распределенная четность (циклическое распределение четности).
- •6.2Работа с внешними устройствами в ос Unix
- •6.2.1Файлы устройств, драйверы
- •6.2.2Системные таблицы драйверов устройств
- •6.2.3Ситуации, вызывающие обращение к функциям драйвера
- •6.2.4Включение, удаление драйверов из системы
- •6.2.5Организация обмена данными с файлами
- •Организация обмена данными с файлами.
- •6.2.6Буферизация при блок-ориентированном обмене
- •6.2.7Борьба со сбоями
Иерархическая организация таблицы страниц.
Используя данный подход, может оказаться, что всю таблицу страниц хранить в памяти вовсе необязательно: из-за принципа локализации будет достаточно хранить сравнительно небольшую «внешнюю» таблицу групп страниц и некоторые таблицы второго уровня (они также имеют незначительные размеры), все необходимые таблицы второго уровня можно подкачивать по мере надобности.
Подобные рассуждения можно распространить на больше число уровней иерархии, но, начиная с некоторого момента, эффективность системы начинает сильно падать с ростом числа уровней иерархии (из-за различных накладных расходов), поэтому обычно число уровней ограничено четырьмя.
Существует иное решение, позволяющее также обойти проблему большого размера таблицы страниц, которое основано на использовании хеширования (использования т.н. хеш-таблиц), базирующееся, в свою очередь, на использовании хеш-функции, или функции расстановки (Рис. 128.). Эти функции используются в следующей задаче: пускай имеется некоторое множество значений, которое необходимо каким-то образом отобразить на множество фиксированного размера. Для осуществления этого отображения используют функцию, которая по входному значению определяет номер позиции (номер кластера, куда должно попасть это значение). Но эта функция имеет свои особенности: при ее использовании возможны коллизии, связанные с тем, что различные значения могут оказаться в одном и том же кластере.
Использование хеш-таблиц.
Модель преобразования адресов, основанная на хешировании, достаточно проста. Из виртуального адреса аппаратно извлекается номер виртуальной страницы, который подается на вход некоторой хеш-функции, отображающей значение на аппаратную таблицу (т.н. хеш-таблицу) фиксированного размера. Каждая запись в данной таблице хранит начало списка коллизий, где каждый элемент списка является парой: номер виртуальной страницы — соответствующий ему номер физической страницы. Итак, перебирая соответствующий список коллизии, можно найти номер исходной виртуальной страницы и соответствующий номер физической страницы. Подобное решение имеет свои достоинства и недостатки: в частности, возникают проблемы с перемещением списков коллизий.
Еще одним решением, позволяющим снизить размер таблицы страниц, является модель использования т.н. инвертированных таблиц страниц (Рис. 129.). Главной сложностью данного решения является требование к процессору на аппаратном уровне работать с идентификаторами процессов (их PID). Примерами таких процессоров могут служить процессоры из линеек SPARC и PowerPC.
Инвертированные таблицы страниц.
В этой модели виртуальный адрес трактуется как тройка значений: PID процесса, номер виртуальной страницы и смещение в этой странице. При таком подходе используется единственная таблица страниц для всей системы, и каждая строка данной таблицы соответствует физической страницы (с номером, равным номеру этой строки). При этом каждая запись данной таблицы содержит информацию о том, какому процессу принадлежит данная физическая страница, а также какая виртуальная страница этого процесса размещена в данной физической странице. Итак, имея пару PID процесса и номер виртуальной странице, производится поиск ее в таблице страниц, и по смещению найденного результата определяется номер физической страницы.
К достоинствам данной модели можно отнести наличие единственной таблицы страниц, обновление которой при смене контекстам сравнительно нетрудоемкое: операционная система производит обновление тех строк таблицы, для которых в соответствующие физические страницы происходит загрузка процесса. Отметим, что «тонким местом» данной модели является организация поиска в таблице. Если будет использоваться прямой поиск, то это приведет к существенным накладным расходам. Для оптимизации этого момента возможно надстройка над этим решением более интеллектуальных моделей — например, модели хеширования и/или использования TLB-таблиц.
Революционным достоинством страничной организации памяти стало то, что исполняемый в системе процесс может использовать очень незначительную часть физического ресурса памяти, а все остальные его страницы могут размещаться во внешней памяти (быть откачанными). Очевидно, что и страничная организация памяти имеет свои недостатки: в частности, это проблема фрагментации внутри страницы. В связи с использованием страничной организации памяти встает еще одна проблема — это проблема выбора той страницы, которая должна быть откачана во внешнюю память при необходимости загрузить какую-то страницу из внешней памяти. Эта задача имеет множество решений, некоторые из которых будут освещены ниже.
Первым рассмотрим алгоритм NRU (Not Recently Used — не использовавшийся в последнее время). Этот алгоритм основан на том, что с любой страницей ассоциируются два признака, один из которых отвечает за обращение на чтение или запись к странице (R-признак), а второй — за модификацию страницы (M-признак), когда в страницу что-то записывается. Значение этих признаков устанавливается аппаратно. Имеется также возможность посредством обращения к операционной системе обнулять эти признаки.
Итак, алгоритм NRU действует по следующему принципу. Изначально для всех страниц процесса признаки R и M обнуляются. По таймеру или по возникновению некоторых событий в системе происходит программное обнуление всех R-признаков. Когда системе требуется выбрать какую-то страницу для откачки из оперативной памяти, она поступает следующим образом. Все страницы, принадлежащие данному процессу, делятся на 4 категории в зависимости от значения признаков R и M.
Класс 0: R = 0, M = 0. Это те страницы, в которых не происходило обращение в последнее время и в которых не сделано ни одно изменение.
Класс 1: R = 0, M = 1. Это те страницы, к которым в последний период не было обращений (поскольку программно обнулен R-признак), но в этой странице в свое время произошло изменение.
Класс 2: R = 1, M = 0. Это те страницы, из которых за последний таймаут читалась информация.
Класс 3: R = 1, M = 1. Это те страницы, к которым за последнее время были обращения, в т.ч. обращения на запись, т.е. это активно используемые страницы.
Соответственно, алгоритм предлагает выбирать страницу для откачивания случайным способом из непустого класса с минимальным номером.
Следующий алгоритм, который мы рассмотрим, — это алгоритм FIFO. Если в системе реализован этот алгоритм, то тогда при загрузке очередной страницы в память операционная система фиксирует время этой загрузки. Соответственно, данный алгоритм предполагает откачку той страницы, которая наиболее долго располагается в ОЗУ.
Очевидно, что данная стратегия зачастую оказывается неэффективной, поскольку возможна откачка интенсивно используемой страницы. Поэтому существует целый ряд модификаций алгоритма FIFO, нацеленных на сглаживание обозначенной проблемы.
Модифицированный алгоритм может иметь следующий вид. Выбирается самая «старая» страница, затем система проверяет значение признака доступа к этой странице (R-признак). Если R = 0, то эта страница откачивается. Если же R = 1, то этот признак обнуляется, а также переопределяется время загрузки данной страницы текущим временем (иными словами, данная страница перемещается в конец очереди), после чего алгоритм начинает свою работу с начала.
Данный алгоритм имеет недостатки, связанные с ростом накладных расходов при перемещении страниц по очереди. Поэтому этот алгоритм получил свое развитие, в частности, в виде алгоритма «Часы».
Алгоритм «Часы» подразумевает, что все страницы образуют циклический список (Рис. 130.). Имеется некоторый маркер, ссылающийся на некоторую страницу в списке, и этот маркер может перемещаться, например, только по часовой стрелке.
Функционирование алгоритма достаточно просто: если значение R-признака в обозреваемой маркером странице равно нулю, то эта страница выгружается, а на ее место помещается новая страница, после чего маркер сдвигается. Если же R = 1, то этот признак обнуляется, а маркер сдвигается на следующую позицию.
