- •Введение
- •Основные понятия и определения
- •1.1. Типы данных
- •1.1.1. Понятие типа данных
- •1.1.2. Внутреннее представление базовых типов в оперативной памяти
- •1.1.3. Внутреннее представление структурированных типов данных
- •1.1.4. Статическое и динамическое выделение памяти
- •1.2. Абстрактные типы данных (атд)
- •1.2.1. Понятие атд
- •1.2.2. Спецификация и реализация атд
- •1.3. Структуры данных
- •1.3.1. Понятие структуры данных
- •1.3.2. Структуры хранения — непрерывная и ссылочная
- •1.3.3. Классификация структур данных
- •1.4. Понятие алгоритма
- •1.5. Введение в анализ алгоритмов
- •1.5.1. Вычислительные модели
- •1.5.2. Показатели эффективности алгоритма
- •1.5.3. Постановка задачи анализа алгоритмов
- •1.5.4. Время работы алгоритма
- •Время выполнения в худшем и среднем случае
- •1.5.5. Асимптотические оценки сложности алгоритмов
- •Точная асимптотическая оценка θ
- •Верхняя асимптотическая оценка о
- •Нижняя асимптотическая оценка ω
- •Наиболее часто встречающиеся асимптотические оценки
- •1.6. Анализ рекурсивных алгоритмов
- •1.6.1. Рекурсия и итерация
- •1.6.2. Пример анализа рекурсивного алгоритма
- •1.7. Первые примеры
- •1.7.1. Введение в «длинную» арифметику
- •1.7.2. Примеры рекурсивных алгоритмов
- •1.7.3. Поразрядные операции. Реализация атд «Множество»
- •2. Линейные структуры данных
- •2.1. Атд "Стек", "Очередь", "Дек"
- •2.1.1. Функциональная спецификация стека
- •2.1.2. Функциональная спецификация очереди
- •2.1.3. Деки
- •2.1.4. Общие замечания по реализации атд
- •2.2. Реализация стеков
- •2.2.1. Непрерывная реализация стека с помощью массива
- •2.2.2. Ссылочная реализация стека в динамической памяти
- •2.2.3. Примеры программ с использованием стеков
- •2.3. Реализация очередей
- •2.3.2. Непрерывная реализация очереди с помощью массива
- •2.3.2. Ссылочная реализация очереди в динамической памяти
- •2.3.3. Ссылочная реализация очереди с помощью циклического списка
- •2.3.4. Очереди с приоритетами
- •2.3.5. Пример программы с использованием очереди
- •2.4. Списки как абстрактные типы данных
- •2.4.1. Модель списка с выделенным текущим элементом
- •Операции над списками
- •2.4.2. Однонаправленный список (список л1)
- •2.4.3. Двунаправленный список (список л2)
- •2.4.4. Циклический (кольцевой) список
- •2.5. Реализация списков с выделенным текущим элементом
- •2.5.1. Однонаправленные списки Ссылочная реализация в динамической памяти на основе указателей
- •2.5.2. Двусвязные списки
- •2.5.3. Кольцевые списки
- •2.5.4. Примеры программ, использующих списки Очередь с приоритетами на основе линейного списка
- •2.6. Рекурсивная обработка линейных списков
- •2.6.1. Модель списка при рекурсивном подходе
- •2.6.2. Реализация линейного списка при рекурсивном подходе
- •3. Иерархические структуры данных
- •3.1. Иерархические списки
- •3.1.1 Иерархические списки как атд
- •3.1.2. Реализация иерархических списков
- •3.2. Деревья и леса
- •3.2.1. Определения
- •3.2. Способы представления деревьев
- •3.2.3. Терминология деревьев
- •3.2.4. Упорядоченные деревья и леса. Связь с иерархическими списками
- •3.3. Бинарные деревья
- •3.3.1. Определение. Представления бинарных деревьев
- •3.3.2. Математические свойства и специальные виды бинарных деревьев
- •Вырожденные бинарные деревья
- •Полные бинарные деревья
- •Бинарные деревья минимальной высоты с произвольным числом узлов
- •Почти полные бинарные деревья
- •Идеально сбалансированные бинарные деревья
- •Расширенные бинарные деревья
- •3.4. Деревья как атд
- •Атд «Дерево» и «Лес»
- •Атд «Бинарное дерево»
- •3.5. Соответствие между упорядоченным лесом, бинарным деревом и иерархическим списком
- •3.5.1. Каноническое соответствие между бинарным деревом и упорядоченным лесом
- •3.5.2. Взаимосвязь бинарных деревьев и иерархических списков
- •3.6. Ссылочная реализация бинарных деревьев
- •3.6.1. Ссылочная реализация бинарного дерева на основе указателей
- •3.6.2. Ссылочная реализация на основе массива
- •3.6.3. Пример — построение дерева турнира
- •3.7. Обходы бинарных деревьев и леса
- •3.7.1. Понятие обхода. Виды обходов
- •3.7.2. Пример обходов — дерево-формула
- •3.7.3. Рекурсивные функции обхода бинарных деревьев
- •3.7.3. Нерекурсивные функции обхода бинарных деревьев
- •Прямой порядок обхода (клп)
- •Центрированный порядок обхода (лкп)
- •Обратный порядок обхода (лпк)
- •Обход в ширину
- •3.7.4. Обходы леса
- •3.7.5. Прошитые деревья
- •3.8. Применение деревьев для кодирования информации — деревья Хаффмана
- •3.8.2. Задача сжатия информации. Коды Хаффмана
- •4. Сортировка и родственные задачи
- •4.1. Общие сведения
- •4.1.1. Постановка задачи
- •4.1.2. Характеристики и классификация алгоритмов сортировки
- •4.2. Простые методы сортировки
- •4.2.1. Сортировка выбором
- •4.2.2. Сортировка алгоритмом пузырька
- •4.2.3.Сортировка простыми вставками.
- •4.3. Быстрые способы сортировки, основанные на сравнении
- •4.3.1. Пирамидальная сортировка. Очереди с приоритетами на основе пирамиды
- •Первая фаза сортировки пирамидой
- •Вторая фаза сортировки пирамидой
- •Анализ алгоритма сортировки пирамидой
- •Реализация очереди с приоритетами на базе пирамиды
- •4.3.2. Сортировка слиянием
- •Анализ алгоритма сортировки слиянием
- •4.3.3. Быстрая сортировка Хоара
- •Анализ алгоритма быстрой сортировки
- •4.3.4. Сортировка Шелла
- •4.3.5. Нижняя оценка для алгоритмов сортировки, основанных на сравнениях
- •4.4. Сортировка за линейное время
- •4.4.1. Сортировка подсчетом
- •4.4.2. Распределяющая сортировка от младшего разряда к старшему
- •4.4.3. Распределяющая сортировка от старшего разряда к младшему
- •5. Структуры и алгоритмы для поиска данных
- •5.1. Общие сведения
- •5.1.1. Постановка задачи поиска
- •5.1.2. Структуры для поддержки поиска
- •5.1.3. Соглашения по программному интерфейсу
- •5.2. Последовательный (линейный) поиск
- •5.3. Бинарный поиск в упорядоченном массиве
- •5.4. Бинарные деревья поиска
- •5.4.1. Анализ алгоритмов поиска, вставки и удаления Поиск
- •Вставка
- •Удаление
- •5.4.3. Реализация бинарного дерева поиска
- •5.5. Сбалансированные деревья
- •Определение и свойства авл-деревьев
- •Вращения
- •Алгоритмы вставки и удаления
- •Реализация рекурсивного алгоритма вставки в авл-дерево
- •5.5.2. Сильноветвящиеся деревья
- •Бинарные представления сильноветвящихся деревьев
- •5.5.3. Рандомизированные деревья поиска
- •5.6. Структуры данных, основанные на хеш-таблицах
- •5.6.2. Выбор хеш-функций и оценка их эффективности
- •Модульное хеширование (метод деления)
- •Мультипликативный метод
- •Метод середины квадрата
- •5.6.2. Метод цепочек
- •5.6.3. Хеширование с открытой адресацией
- •5.6.4. Пример решения задачи поиска с использованием хеш-таблицы
4. Сортировка и родственные задачи
4.1. Общие сведения
4.1.1. Постановка задачи
Линейные и иерархические структуры данных находят применение при решении разнообразных прикладных задач, имеющих практическое значение. Выше уже было рассмотрено применение деревьев для решения задачи кодирования информации. Далее рассмотрим такие тесно связанные между собой задачи, как сортировка и поиск данных, которые занимают большую часть компьютерного времени в современных информационных системах. Хотя сортировка носит вспомогательный характер по отношению к другим задачам обработки данных, именно с нее удобно начать изучение материала, поскольку алгоритмы сортировки часто являются основой для других алгоритмов. Да они и сами по себе интересны.
Пусть имеется некоторая последовательность элементов произвольного типа (массив или связный список). Сортировкой называется расположение элементов этой последовательности согласно определённому линейному отношению порядка. Наиболее привычным является отношение "", в этом случае говорят о сортировке по возрастанию (более строго — по неубыванию). Отношения сравнения определены для большинства стандартных типов. При определении своего собственного типа пользователь может определить для него и операции сравнения и, таким образом, получает возможность отсортировать данные этого типа.
Сортировка имеет очень много применений, перечислим лишь некоторые из них:
для выполнения быстрого поиска данных в отсортированной последовательности;
для группировки элементов по некоторому признаку (например, если отсортировать список товаров по стране изготовления, то можно быстро подсчитать количество товаров, которые поставляет каждая из стран, их среднюю цену и т.д.)
для эффективного поиска общих элементов двух или более последовательностей и др.
Обычно предполагается, что элементы сортируемой последовательности представляют собой записи, а упорядочение осуществляется по значениям одного из полей. Это поле называется ключом (key), а остальные поля называются связанными данными (satellite data). Такой подход к сортировке является обычным в базах данных, где данные естественно представлены в виде записей (например, данные о студентах или преподавателях).
4.1.2. Характеристики и классификация алгоритмов сортировки
Сортировка называется устойчивой, если после её выполнения записи с одинаковыми ключами располагаются друг относительно друга в том же порядке, что и до сортировки.
Например, рассмотрим следующую последовательность записей:
<6,'E'>, <2,'B'>, <1,'A'>, <3,'C'>, <1,'D'>.
Пусть ключами будут первые элементы записей. Устойчивый алгоритм сортировки на выходе даст нам последовательность
<1,'A'>, <1,'D'>, <2,'B'>, <3,'C'>, <6,'E'>,
в которой относительный порядок записей <1,'A'> и <1,'D'> остался без изменения. Для неустойчивого алгоритма сортировки также допустим и другой результат:
<1,'D'>, <1,'A'>, <2,'B'>, <3,'C'>, <6,'E'>,
где эти элементы поменялись местами.
Если требуется отсортировать последовательность по составному ключу (т.е. состоящему из нескольких полей), то можно для этого, используя устойчивый алгоритм, последовательно выполнить сортировку по составляющим ключа, взятым в обратном порядке.
Например, чтобы отсортировать последовательность записей вида <имя, фамилия> по фамилии, а записи с одинаковыми фамилиями - ещё и по имени, можно сначала выполнить устойчивую сортировку по имени, а затем - по фамилии:
Исходная последовательность |
Последовательность после сортировки по имени |
Последовательность после сортировки по фамилии |
Васильев Сергей Петров Иван Васильев Иван |
Петров Иван Васильев Иван Васильев Сергей |
Васильев Иван Васильев Сергей Петров Иван |
Важной характеристикой алгоритма сортировки является объём дополнительной памяти, которую он использует при своей работе. Для сортировок, которые использует не более чем константное количество дополнительной памяти, иногда используют термин “in-place”.
Некоторые авторы рассматривают такую характеристику алгоритмов сортировки, как естественность поведения, показывающую, зависит ли существенно число операций алгоритма от степени неупорядоченности исходной последовательности. Считается, что алгоритм ведёт себя более естественно, если почти отсортированную последовательность он "досортировывает" быстрее, чем произвольную.
Выделяют внутреннюю и внешнюю сортировки. При внутренней сортировке все сортируемые данные помещаются в оперативную память компьютера. Внешняя сортировка используется, когда объём данных слишком большой и они не помещается целиком в оперативную память (время сортировки в этом случае существенно зависит от числа операций обмена с внешней памятью, и алгоритмы строятся с учетом этого). Внешняя сортировка подробно рассматривается в главе 6.
Имеется очень много различных алгоритмов сортировки, они используют различные идеи. Приведем примерную классификацию методов сортировки (рис. 4.1).
Рис.4.1. Классификация методов сортировки
В данной главе рассмотрим наиболее распространенные способы, охватив практически все направления данной классификации.
Предметом данной главы является анализ алгоритмов сортировки, которые фактически не зависят от типа сортируемых данных, поэтому с целью упрощения и повышения наглядности программного кода будем считать, что сортируется массив целых чисел. На практике это довольно распространенный случай. Можно представить, что целые числа — ключи записей, и при желании любую из приводимых функций легко переработать так, чтобы она сортировала массив записей по значениям одного из полей.
Также приведенные в данной главе алгоритмы с небольшими изменениями могут быть использованы для связных списков.
Начнем с самых простых методов.
