Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

00-tech-book

.pdf
Скачиваний:
40
Добавлен:
10.02.2016
Размер:
7.86 Mб
Скачать

СОДЕРЖАНИЕ

 

Модуль 1. Резервное копирование.

 

Копирование данных с продакшен-сервера на backup-сервер

............................................7

Перекрестное копирование данных...................................................................................................

7

Системы хранения данных ......................................................................................................................

8

Другие носители данных ..........................................................................................................................

9

Виды бекапа....................................................................................................................................................

9

Схемы ротации бекапов..........................................................................................................................

10

Методы резервирования баз данных...............................................................................................

10

RAID – Redundant Array of Independent Disks ................................................................................

11

Типы RAID-массивов..................................................................................................................................

11

Уровни RAID-массивов.............................................................................................................................

12

RAID 0 (Striped Disk Array without Fault Tolerance) .......................................................................

12

RAID 1 (Mirroring & Duplexing) ..............................................................................................................

12

RAID 5 (Independent Data Disks with Distributed Parity Blocks)...............................................

13

RAID 1+0 (Very High Reliability with High Performance)..............................................................

13

RAID 5+0 (High I/O Rates & Data Transfer Performance)...............................................................

14

Storage Area Network ................................................................................................................................

14

Network Attached Storage .......................................................................................................................

15

Direct Attached Storage ............................................................................................................................

16

Самописный скрипт использующий атрибут mtime файлов.................................................

17

Rsync.................................................................................................................................................................

19

Зеркалируем разделы..............................................................................................................................

21

Amanda............................................................................................................................................................

22

Модуль 2. Сетевой интерфейс Linux.

 

Какие файлы влияют на работу сетевого интерфейса..............................................................

30

DHCP iface ......................................................................................................................................................

31

Loopback iface ..............................................................................................................................................

32

Custom iface...................................................................................................................................................

32

Практика.........................................................................................................................................................

33

Маршрутизация..........................................................................................................................................

35

Прописываем маршруты........................................................................................................................

36

Про шлюз........................................................................................................................................................

38

Полезные ключи netstat..........................................................................................................................

38

NMAP................................................................................................................................................................

40

tcpdump..........................................................................................................................................................

41

1

Модуль 3. TFTP.

 

Установка

42

Работа с TFTP

42

Типы пакета

43

Режимы передачи

43

Коды ошибок

43

Клиент tftp

44

Модуль 4. NFS.

 

Установка

45

Настройка

46

Опции конфигурационного файла

47

Дополнительная информация

48

Модуль 5. Install-сервер.

 

Принцип работы

49

DHCP

50

TFTP

51

Syslinux

51

NFS

51

Создаем структуру tftp-сервера добавляем контент на сервер

52

Устанавливаем ОС по сети

52

Автоматизация установки с помощью Kickstart

53

Диагностика..................................................................................................................................................

55

Модуль 6. Виртуализация Xen.

 

Что это такое ?

56

Зачем это нужно ?

56

Типы виртуализации

56

Архитектура Xen

58

Причины по которым стоит использовать виртуализацию.

58

Настраиваем сервер виртуализации

58

Установка Xen

59

Создание новых виртуальных машин в Xen

60

Работа с виртуальными машинами

61

Производительность виртуальных машин

62

2

Модуль 7. Subversion.

 

Архитектура Subversion ..........................................................................................................................

63

Протоколы работы с SVN........................................................................................................................

64

Способы хранения данных ....................................................................................................................

64

Компоненты Subversion...........................................................................................................................

64

Проблема одновременной работы с файлами.............................................................................

64

Рабочий цикл................................................................................................................................................

66

Установка .......................................................................................................................................................

66

Работаем с репозиторием......................................................................................................................

66

Получение копии репозитария с удаленного сервера где у вас есть аккаунт ..............

68

Ограничение доступа...............................................................................................................................

69

Работа через Proxy.....................................................................................................................................

72

Модуль 8. Apache.

 

Об Apache ......................................................................................................................................................

73

Установка .......................................................................................................................................................

73

Настройка......................................................................................................................................................

74

Добавляем виртуальный хост ..............................................................................................................

82

Возможные опции в директиве Options..........................................................................................

84

Определение возможных директив в .htaccess ...........................................................................

85

Аутентификация на сайте.......................................................................................................................

86

Включение SSL.............................................................................................................................................

87

Server-status и server-info........................................................................................................................

90

SSI.......................................................................................................................................................................

91

Использование mod_rewrite.................................................................................................................

91

Регулярные выражения mod_rewrite и флаги ..............................................................................

93

Коды веб-сервера ......................................................................................................................................

94

Модуль 9. SAMBA.

 

Что такое SAMBA и зачем она нужна ?...........................................................................................

104

Возможности SAMBA .............................................................................................................................

104

Установка ....................................................................................................................................................

104

Типы аутентификации ...........................................................................................................................

104

Ключевые файлы .....................................................................................................................................

105

Структура конфигурационного файла ..........................................................................................

106

Пример конфигурационного файла...............................................................................................

106

Описание конфигурационного файла...........................................................................................

107

SWAT – веб-интерфейс к SAMBA.......................................................................................................

111

3

Модуль 10. DHCPD.

 

 

 

Принцип работы

 

 

 

 

 

 

 

112

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Установка DHCPD

 

 

 

 

 

 

 

113

 

 

 

 

 

 

 

 

 

 

 

 

 

Настройка DHCPD

 

 

 

 

 

 

 

 

 

 

 

113

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Описание опций из dhcpd.conf

 

 

 

114

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Секции-объявления

 

 

 

 

 

 

 

116

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Типы пакетов протокола DHCP

 

 

 

 

119

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Используемые порты

 

 

 

 

 

 

 

 

 

119

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

DHCP-клиент

 

 

 

 

 

 

 

 

 

 

 

 

 

 

119

 

 

 

Модуль 11. MySQL.

 

 

 

Принц

 

ип работы

 

 

 

 

 

 

 

 

 

 

 

121

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пример роли MySQL в информационном пространстве

 

 

 

 

122

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Типы данных

 

 

 

 

 

 

 

 

 

 

 

 

122

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Сколько нужно места под хранение типа данных ?

 

 

 

 

 

124

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Практика

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

125

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Файл как источник запросов

 

 

 

 

 

 

 

 

 

 

130

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пользователи и привелегии

 

 

 

 

 

 

 

 

 

 

 

132

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Саммари по командам и принципу работы

 

 

 

 

 

 

 

 

 

 

 

133

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Конфигурационный файл my.cnf

 

 

 

 

 

 

 

 

 

134

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Забытый пароль администратора

 

 

 

 

 

 

 

136

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Резервное копирование

 

 

 

 

 

 

 

 

 

 

 

 

 

136

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Проверка целостности таблиц с помощью myisamchk

 

 

 

 

 

137

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Самма

 

ри по myisamchk

 

 

 

 

 

 

 

 

 

 

 

 

 

138

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Модуль 12. Мониторинг.

 

 

 

О Nagios

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

139

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Установка и настройка Nagios

 

 

 

 

 

 

 

 

 

 

 

 

 

 

140

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Добавление хостов и сервисов на мониторинг

 

 

 

 

 

 

 

166

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг различных параметров сервера

 

 

 

 

 

 

 

 

 

 

167

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг свободного места

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

167

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Защита системы от пользовательских процессов

 

 

 

 

 

 

 

168

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг S.M.A.R.T. - параметров жесткого диска

 

 

 

 

 

 

 

168

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг сетевых портов в Linux

 

 

 

 

 

 

 

 

 

 

 

 

 

 

169

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг открытых файлов и сокетов

 

 

 

 

 

 

 

 

 

 

 

 

169

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг запущенных процессов

 

 

 

 

 

 

 

 

 

 

 

 

 

170

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг системных ресурсов

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

170

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг свободного места в разделах

 

 

 

 

 

 

 

 

 

 

 

 

 

 

170

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

подсистемы в реальном времени

 

 

 

 

 

 

 

 

 

Мониторинг сетевой

 

 

 

 

 

 

 

 

 

 

 

171

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Мониторинг работы DNS-сервера в реальном времени

 

 

 

 

 

171

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4

Мониторинг соединений proftpd в реальном времени........................................................

172

Статистика по виртуальной памяти................................................................................................

172

Статистика по процессору и устройствам ввода-вывода.....................................................

172

Модуль 13. DNS.

 

Установка ....................................................................................................................................................

173

Инструменты .............................................................................................................................................

173

Базовые понятия .....................................................................................................................................

174

Правила построения DNS-системы ................................................................................................

174

Режимы работы ДНС-серверов.........................................................................................................

175

Типы ответов DNS-серверов ..............................................................................................................

177

Виды запросов к DNS-серверу..........................................................................................................

177

Способы копирования зоны с master-сервера .........................................................................

177

Виды записей.............................................................................................................................................

179

Структура конфигурационного файла ..........................................................................................

181

Настройка...................................................................................................................................................

182

Опции конфигурационного файла..................................................................................................

186

Slave-сервер...............................................................................................................................................

187

Записи в /etc/resolv.conf.......................................................................................................................

190

Статистика работы .................................................................................................................................

190

Модуль 14. Nginx.

 

Что такое Nginx ?......................................................................................................................................

192

Преимущества Nginx .............................................................................................................................

192

Варианты использования Nginx.......................................................................................................

192

Установка EPEL..........................................................................................................................................

193

Ставим EPEL-пакет...................................................................................................................................

193

Установка Nginx с поддержкой PHP. Настраиваем связку Nginx + FastCGI...................

194

Конфигурирование Nginx + FastCGI................................................................................................

195

Понижаем нагрузку на основной веб-сервер. Установка

 

Nginx как Frontend к Apache...............................................................................................................

198

Установка mod_rpaf ...............................................................................................................................

201

Включение SSL..........................................................................................................................................

202

Использование двух версий PHP в Nginx одновременно....................................................

203

Примеры производительности с Nginx и без него..................................................................

204

Описание директив конфигурационного файла......................................................................

205

Модуль 15. Postfix.

 

Установка и настройка..........................................................................................................................

210

Postfix ............................................................................................................................................................

210

5

MySQL

216

Dovecot

217

Clamd

220

ClamSMTP

221

Spamassassin

221

Postfixadmin

224

Squirrelmail

225

Описание конфигурационных файлов

226

Postfix

226

Dovecot........................................................................................................................................................

229

Clamd

230

Clamsmtp

231

Spamassassin

232

Модуль 16. OpenVPN.

 

Об OpenVPN

234

Установка Linux VPN-сервера

234

Настройка Linux VPN-сервера

235

Linux VPN-клиент

240

Windows VPN-клиент

242

Добавление клиентов

243

Таблица предназначения ключей и сертификатов

243

Конфигурационный файл openvpn.conf на Linux VPN-сервере

243

Конфигурационный файл client.conf на Linux-клиентах

246

Конфигурационный файл client.ovpn на Windows-клиенте

247

Модуль 17. Отказоустойчивый кластер.

 

Что такое кластер ?

248

Принцип работы нашего кластера

248

DRBD

249

Программы входщие в состав пакета DRBD

250

Heartbeat

251

Именование серверов

251

Установка ПО

251

Настройка DRBD

252

Настройка Heartbeat

257

Установка Apache

259

6

Модуль 1. Резервное копирование

Процедура бекапа или резервного копирования очень проста, но может

стать большой головной болью если её не делать. Бизнес многих компаний

напрямую зависит от манипуляций с информацией которая хранится на

серверах. Базы данных, репозитории исходных кодов, веб-проекты и т.д. Все это нужно ежедневно сохранять на резервные носители информации.

Вслучае потери информации и её невозможности восстановить компания может понести большие убытки.

Вэтом модуле мы рассмотрим несколько вариантов резервного копирования, от самописных скриптов до промышленных решений и получим необходимую теорию.

Во первых, есть несколько схем резервного копирования.

Копирование данных с продакшен-сервера на backup-сервер

Продакшен-сервер – это рабочий сервер, который выполняет какие либо сервисы для пользователей.

backup-сервер – это сервер на который копируется контент с продакшенсервера. Единственное предназначение такого сервера – хранить данные с других серверов. Обычно сам он никаких сервисов не выполняет. Главное требование – большое дисковое пространство. Скорость дисковых накопителей особого значения не имеет, так как доступ к данным не частый

– записать бекап на диск и считать его в случае необходимости.

Минус этого решения – необходимость в отдельном сервере под backup`ы а это дополнительные затраты. Маленькие и средние компании обычно пытаются сэкономить деньги на покупке вспомогательного оборудования.

Перекрестное копирование данных

Когда два или более продакшен серверов копируют друг на друга свои данные. В случае когда на продакшен серверах есть достаточное количество дискового пространства для хранение данных с других серверов, их можно использовать как backup-серверы. Мы копируем данные с сервера server1 на server2 а данные с server2 на server1.

Плюс – экономим деньги на оборудование. Как я писал выше маленькие и средние организации могут не выделить деньги на вспомогательное оборудование, даже если это необходимо под резервные копии. В таком случае вам может помочь такой способ бекапа.

Модуль 1. Резервное копирование.

 

7

 

 

 

Системы хранения данных

“Классические” сервера для хранения бекапов хороши при относительно небольших объемах. Сейчас это несколько сотен гигабайт. Когда же объемы гораздо больше на помощь приходят СХД, Системы Хранения Данных.

Дисковые массивы

По сути такой же сервер, но спроектирован специально под хранение данных. Имеет много HDD большего размера.

Дисковый массив Sun Storage J4500. Масштабируемость – от 24 до 192 Тб Поддерживаемые ОС: Solaris, RedHat, Suse, Windows

Ленточные накопители

Они же стримеры. Данные как и в случае с ленточными библиотеками записываются на специальные картриджи. Как правило, картридж – это магнитная лента в пластиковом корпусе.

Ленточный накопитель HP StorageWorks DAT 160 SAS.

Картридж для HP StorageWorks DAT 160 SAS. 160 Гб.

8

 

Модуль 1. Резервное копирование.

 

 

 

Ленточные библиотеки

Предназначены для автоматизированного резервного копирования данных. Одновременное использование нескольких лентопротяжных механизмов увеличивает производительность библиотеки и сокращает время, необходимое для записи и чтения резервных копий.

Одно из самых серьезных решений SUN. Ленточная библиотека Sun StorageTek SL8500. До 56 петабайт данных. До 70 тысяч картриджей.

Другие носители данных

optical disc (CD-R/RW, DVD-R/RW);

flash-накопители;

ZIP, Jaz, MO драйвы.

Виды бекапа

Полное – все файлы и каталоги которые мы хотим сохранять на отдельном носителе.

Инкрементальное – копируем только то, что изменилось с момента последнего резервного копирования. Полного или инкрементального.

Дифференциальное – копируем только то, что изменялось с момента последнего ПОЛНОГО бекапа.

Пофайловый метод – копируем нужные файлы в индивидуальном порядке.

Дублирование диска – метод при котором мы делаем полный снимок диска.

Например утилитой dd.

Модуль 1. Резервное копирование.

 

9

 

 

 

Схемы ротации бекапов

Ротация – это политика по которой делается резервное копирование. Как часто мы будем делать бекап, как долго мы будем хранить резервные копии. Все это описывается политикой ротации.

Одноразовое копирование – администратор делает копирование вручную. Обычно делается полный бекап данных.

Простая ротация – подразумевается, что некий набор носителей используется циклически.Кпримеру5 ленточныхносителейнакаждыйденьнедели.Впятницу мы делаем полный бекап данных а в остальные дни недели инкрементальный.

“Дед, отец, сын” (GFS) – имеет иерархическую структуру ротации. Используется три набора носителей. Раз в неделю делается полной бекап данных. В остальные дни недели – инкрементальный. Раз в месяц делается еще один полный бекап системы. Набор носителей для ежедневного инкрементального копирования – сын, набор для еженедельного полного бекапа – отец, набор для ежемесячного полного бекапа – дед.

“Ханойская башня” – название пошло от древней китайской игры. Смысл игры заключается в следующем. Есть три стержня и какой-то набор дисков. Диски нужно перемещать со стержня на стержень, но так, чтобы каждый новый диск ложился на диск большего диаметра.

Такой метод бекапа достаточно сложен и практически не применяется в настоящее время.

“10 наборов” – метод рассчитан на 10 наборов носителей. Период из 40 недель делится на десять циклов. В течение цикла за каждым набором закреплен один день недели. По прошествии четырехнедельного цикла осуществляется сдвиг номера набора. То есть в первом цикле за понедельник отвечал набор N1, за вторник N2, за среду N3 и т.д. Во втором цикле за понедельник будет отвечать набор N2, за вторник N3, за среду N4 и т.д. Такая схема позволяет равномерно распределить нагрузку между носителями но из-за своей сложности практически не используется.

Методы резервирования баз данных

hot backup – горячий бекап базы данных. Это когда резервная копия делается при включенном сервере БД.

cold backup – холодный бекап базы данных. Это когда сервер БД нужно выключить чтобы сделать резервную копию.

 

10

 

Модуль 1. Резервное копирование.