В этом примере видно, что таблица очищается и затем стабильно растет примерно на 5 МБ в час. Для большей наглядности на график можно наложить размер самой таблицы (рис. 4.9):

Рис. 4.9.Таблицы с наибольшим изменением размеров,включая актуальный размер

Размещение объектов в файловой системе

Внекоторыхслучаяхприходитсяобращатьсякфизическомууровнюхранениятаблицииндексов,для чего необходимо найти физическое размещение объектов в файловой системе.Часто это бывает нужно в задачах анализа повреждений и восстановления данных. Для этого предназначено несколько функций:

•pg_relation_filenode — принимает идентификатор OID или имя объекта и возвращает номер так называемого файлового узла (filenode), который связан с указанным объектом. Файловым узлом называется основной компонент имени файла, используемого для хранения данных. Для большинства таблиц этот номер совпадает со значением pg_class.relfilenode, но для некоторых системных каталогов это значение равно нулю, и, чтобы узнать действительное значение, нужно использовать эту функцию. Если указанное отношение не хранится на диске, как, например, представления, данная функция возвращает NULL;

•pg_relation_filepath — возвращает путь к файлу отношения относительно основного каталога данных;

•pg_filenode_relation—является функцией,обратной pg_relation_filenode,и использует-

сядляпоискатаблицпономеруфайловогоузла(взятогоизименифайла).Онавозвращает идентификатор OID отношения по заданному OIDтабличного пространства и файловому узлу. Для таблицы в табличном пространстве по умолчанию в первом параметре можно передать ноль.

124Глава 4. Базы данных

Помимообъектов,занятыхвхранениипользовательскихданных,естьидругиеобъектыСУБД, которыетакжехранятсянадискеипринекоторыхобстоятельствахмогутзаниматьзначительный объем.Для их просмотра и анализа также есть набор функций:

•pg_ls_logdir—содержимое каталога,где хранится журнал сообщений СУБД;

•pg_ls_waldir—содержимое каталога pg_wal,где хранятся сегменты WAL-журнала;

•pg_ls_archive_statusdir—содержимое каталога pg_wal/archive_status,где хранятся статусы архивирования отдельных WAL-сегментов;

•pg_ls_tmpdir—содержимое каталога,используемого для хранения временных файлов;

•pg_ls_logicalmapdir—содержимое каталога pg_logical/mappings;

•pg_ls_logicalsnapdir—содержимое каталога pg_logical/snapshots;

•pg_ls_replslotdir—содержимое отдельного каталога слота репликации в pg_replslot;

•pg_ls_dir — универсальная команда для вывода содержимого любого каталога (включая и те,что находятся за пределами основного каталога данных).

Наиболее универсальной из всех перечисленных в этом списке функций является pg_ls_dir. Функция выводит имена всех файлов и каталогов в указанном каталоге и,следовательно,позволяет просматривать любые каталоги на сервере, где запущена СУБД, включая и системные (в рамках прав доступа пользователя,под которым запущена СУБД):

# SELECT pg_ls_dir('/'); pg_ls_dir

----------------------------

lib opt bin run etc var tmp srv mnt media usr dev sbin proc root home sys

docker-entrypoint-initdb.d

.dockerenv

Хоть pg_ls_dir и является универсальной, остальными функциями пользоваться удобнее, поскольку не требуется запоминатьточное расположение каталогов.

Следующая не менее интересная функция—это pg_read_file.Функция читаетуказанныйтекстовый файл и возвращает его содержимое. В примере ниже мы просто выводим результат, но его, конечно, можно передать другой функции для дальнейшей обработки. В качестве дополнительныхпараметровможнозадаватьсмещениеидлинудляболееточногоуказаниядиапазона чтения.

# SELECT pg_read_file('/etc/os-release'); pg_read_file

------------------------------------------------------------------------

BUG_REPORT_URL="https://gitlab.alpinelinux.org/alpine/aports/-/issues"+

Прочитанное содержимое обрабатывается в кодировке базы данных, и, если символы оказываются недопустимыми для этой кодировки, возникает ошибка. В качестве обхода этой проблемы можно использовать функцию pg_read_binary_file, которая также предназначена для чтения, но читает произвольные двоичные данные и возвращает результат в значении типа bytea,а не text и, следовательно,обходитпроверки кодировки.В сочетании с convert_from эту функцию можно применять для чтения текста в указанной кодировке и преобразования в кодировку базы данных:

# SELECT convert_from(pg_read_binary_file('file_in_utf8.txt'), 'UTF8');

Следующая функция, заслуживающая особого внимания, — pg_stat_file, которая выводит атрибуты указанного объекта файловой системы:

•размер в байтах;

•время последнего обращения (atime,access time);

•время последнего изменения (mtime,modification time);

•время последнего изменения состояния (ctime,change time),только в Unix-системах;

•время создания (creation time),только в Windows;

•флаг,указывающий,что объект является каталогом.

Суммируем все сказанное выше: имея доступ к перечисленным функциям, можно прочитать содержимое любого каталога и файла в пределах прав пользователя, от имени которого запущена СУБД. По умолчанию доступ к функциям ограничен; при необходимости выдачи прав на эти функции риски безопасности следует серьезно взвесить и учесть.

Содержимое каталога с журналами сообщений СУБД. Функция pg_ls_logdir позволяет вывести содержимоекаталогасжурналамиСУБД.Расположениекаталогазависитотнастроекконфигурации; использование функции позволяет сразу показать его содержимое в виде списка файлов и их атрибутов. Это довольно удобно, учитывая, что быстро определить, как и куда СУБД

126Глава 4. Базы данных

пишет журнал сообщений, — задача не совсем тривиальная, и ответ к тому же зависит от версии системы.

Функция выводит имя, размер и время последнего изменения (mtime) всех файлов (за исключением скрытых и специальных) в каталоге журналов сообщений СУБД. С точки зрения мониторинга можно получить полный объем,занимаемый журналами на диске:

#SELECT sum(size) FROM pg_ls_logdir(); sum

---------

1863443

Функцияможетвывестиошибку,еслиподсистемасборажурналоввыключена(logging_collector = off) и каталога,указанного в log_directory,не существует.С некоторыми настройками журналы сообщений могут занимать много места,и,более того,они могут располагаться в каталоге кластера баз данных. Если журналы заполнят все свободное место в файловой системе, они станут причиной аварийной остановки СУБД.

По умолчаниюдоступ к функции pg_ls_logdir имеюттолько суперпользователи и члены группы pg_monitor,право на ее выполнение можно дать и другим пользователям.

Вывод содержимого каталога с WAL-журналами. Следующий каталог, не относящийся напря-

мую к пользовательским данным,но при этом имеющийтенденцию занимать много места,— это каталогWAL-журнала pg_wal.Обычно этоткаталогразмещается в основном каталоге кластера баз данных, но нередко его выносят наружу, а в самом каталоге кластера создают символическую ссылку.Делается это по соображениям производительности и использования места. ДлявыводасодержимогокаталогаWALприменяетсяфункцияpg_ls_waldir.Функциявыводит имя,размер и время последнего изменения всех обычных файлов.Файлы с именами,начинающимися сточки,каталоги и другие специальные файлы не выводятся.По умолчаниюдоступ кэтойфункцииимеютсуперпользователиичленыгруппыpg_monitor,правонаеевыполнение можно дать другим пользователям.

При настроенном архивировании WAL-журнала в каталоге pg_wal создается каталог archive_status, который хранит статусы архивирования всех сегментов (требующих архивирования). Для получения его содержимого используется функция pg_ls_archive_statusdir, которая также выводит имя, размер и время последнего изменения всех обычных файлов в каталоге (файлы с именами, начинающимися с точки, каталоги и другие специальные файлы не выводятся).

По умолчанию доступ к этой функции имеют только суперпользователи и члены группы pg_monitor,но право на ее выполнение можно дать и другим пользователям.

Обе функции — pg_ls_waldir и pg_ls_archive_statusdir — могут использоваться в целях мониторинга для получения информации о размере каталогов и очереди архивирования. Более подробно эта тема рассмотрена в главе 7,посвященной мониторингу репликации.

Вывод содержимого каталогов с временными файлами. Следующая функция предназначена для вывода содержимого каталогов с временными файлами. Функция pg_ls_tmpdir выводит имя, размер и время последнего изменения всех обычных файлов в каталоге для временных объектов. Таких каталогов может быть несколько, размещаются они в каталогах табличных пространств. Функция учитывает эту особенность и в качестве аргумента может принимать имя конкретного табличного пространства (если имя не указано, используется pg_default). Файлы с именами, начинающимися с точки, каталоги и другие специальные файлы не выводятся. По умолчанию доступ к функции имеют только суперпользователи и члены группы pg_monitor,но право на ее выполнение можно дать и другим пользователям.

Функция pg_ls_tmpdir может применяться в мониторинге для отслеживания временных файлов, однако есть несколько подходов и особенностей, которые следует учитывать. Более подробно тема мониторинга временных файлов рассмотрена в главе 5, посвященной вводувыводу.

Прочие функции для вывода содержимого каталогов. Следующие функции относятся к выводу содержимого каталогов, задействованных в репликации и логическом декодировании (которое используется в логической репликации). Все следующие функции выводят имя, размер

ивремя последнего изменения всех обычных файлов в целевых каталогах:

•pg_ls_logicalmapdir выводит содержимое pg_logical/mappings;

•pg_ls_logicalsnapdir выводит содержимое pg_logical/snapshots;

128 Глава 4. Базы данных

• pg_ls_replslotdirвыводитсодержимоеpg_replslot/slot_name,гдеslot_name—этоимякон-

кретного слота репликации.

Перечисленныефункциимогутприменятьсядлямониторингаприиспользованиилогической репликации или слотов репликации.Как обычно,файлы с именами,начинающимися с точки, каталоги и другие специальные файлы не выводятся.По умолчанию доступ к функции имеют только суперпользователи и члены группы pg_monitor,но право на ее выполнение можнодать и другим пользователям.

Резюме

•СУБД представляет множество абстракций для организации и хранения данных.

•Кластер баз данных—это единый и неделимый набор баз данных.

•Кластер баз данных, табличные пространства, таблицы и индексы являются каталогами и файлами в файловой системе.

•Базы данных являются изолированными друг отдруга «контейнерами».

•Схемы являются пространствами имен для группировки объектов.

•Таблицы состоят из основного хранилища данных и вспомогательных служебных слоев.

•Таблицы имеют страничную организацию с фиксированным размером блока.

•TOAST-таблицы являются дополнительными к основным таблицам и предназначены для хранения больших значений.

•В каталоге кластера баз данных есть множество служебных каталогов,не связанных с хранением пользовательских данных.

•СУБД предоставляет администратору набор функций для работы с ее объектами.

•Статистика использованиятаблиц и индексов позволяетпосмотреть на рабочую нагрузку еще с одной стороны.

•В рабочей нагрузке могут возникать ошибки и нежелательные события.

•Размер—важная характеристика объектов СУБД.