9.5. Представление pg_stat_progress_copy

# SELECT a.pid,

now() - a.xact_start AS xact_age, p.datname,

p.relid::regclass AS relation, p.index_relid::regclass AS index,

a.state, a.wait_event_type ||'.'|| a.wait_event AS wait_event, p.phase,

p.current_locker_pid AS locker_pid, p.lockers_total ||'/'|| p.lockers_done AS lockers, pg_size_pretty(p.blocks_total * (

SELECT current_setting('block_size')::int)) AS size_total, round(100 * p.blocks_done /

greatest(p.blocks_total, 1), 2) AS "size_done,%", p.tuples_total,

round(100 * p.tuples_done /

greatest(p.tuples_total, 1), 2) AS "tuples_done,%", p.partitions_total ||'/'|| round(100 * p.partitions_done /

greatest(p.partitions_total, 1), 2) AS "parts_total/done,%", a.query

FROM pg_stat_progress_create_index p

INNER JOIN pg_stat_activity a ON p.pid = a.pid

9.5. Представление pg_stat_progress_copy

Представление pg_stat_progress_copy используется для отслеживания команд COPY1, которые нужныдля загрузки и выгрузкиданных,втом числе и с помощью утилитpg_dump и pg_restore.

1 www.postgresql.org/docs/current/sql-copy.html

232Глава 9. Ход выполнения операций

На больших объемах данных и при недостаточных ресурсах команда может выполняться продолжительное время и влиять на производительность конкурентных запросов.

Каждая строка в представлении описывает выполнение отдельной команды и содержит следующую информацию:

•pid—идентификатор процесса в операционной системе;

•datid,datname—идентификатор и имя базы данных,к которой выполнено подключение;

•relid—идентификатор таблицы,с которой происходит работа;

•command—выполняемая команда,COPY TO или COPY FROM;

•type — метод ввод-вывода, который используется при работе с данными: FILE, PROGRAM,

PIPE(для COPYFROMSTDINи COPYTOSTDOUT) или CALLBACKв случае начальной синхронизации таблицы при логической репликации;

•bytes_processed—общее число байтов,обработанных командой;

•bytes_total—размер исходного файла в байтах в случае выполнения COPY FROM.Значение может быть равно нулю,когда размер определить нельзя;

•tuples_processed—общее число строк,обработанных командой COPY;

•tuples_excluded—общее количество строк,отброшенных указанным условием WHERE.

Для большей информативности следует соединить представление с pg_stat_activity, добавить размер таблицы с помощью вызова pg_relation_size и применить прием оценки прогресса,характерный только для команд COPY.

# SELECT a.pid,

a.state, a.wait_event_type ||'.'|| a.wait_event AS wait_event, now() - a.xact_start AS xact_age,

p.datname, p.relid::regclass AS relation, pg_size_pretty(pg_relation_size(p.relid)) AS table_size_total, c.reltuples::bigint AS table_tuples_total, p.tuples_processed,

p.tuples_excluded,

pg_size_pretty(p.bytes_total) AS source_file_total, pg_size_pretty(p.bytes_processed) AS processed, CASE WHEN p.command = 'COPY FROM'

THEN round(100 * p.bytes_processed / greatest(p.bytes_total, 1), 2)

ELSE round(100 * p.tuples_processed / greatest(c.reltuples::bigint, p.tuples_processed), 2) END AS "done,%",

p.command || ' ' || p.type AS command, a.query

FROM pg_stat_progress_copy p

LEFT JOIN pg_class c ON p.relid = c.oid

INNER JOIN pg_stat_activity a ON p.pid = a.pid ORDER BY now() - a.xact_start DESC;

Команда COPY имеет два режима работы — загрузка (COPY FROM) и выгрузка (COPY TO); в выводе для удобства режим объединен с указанием источника данных. Оценка выполненной работы (поле done,%) также учитывает оба режима.

Для оценки загрузки можно обойтись полями самого представления: bytes_total показывает размер исходного файла, из которого выполняется загрузка, а bytes_processed — количество байтов, прочитанных командой COPY. Следовательно, процент выполненной работы определяется отношением прочитанного объема к общему.

С оценкой выгрузки дело обстоит чуть сложнее: представление данных в СУБД отличается от формата выгрузки (не говоря уже отом,что и в СУБД данные могут по-разному сжиматься, иформатоввыгрузкисуществуетнесколько),поэтомуитоговыйфайлбудетиметьсовершенно другой размер, чем исходная таблица. В показанном запросе оценка вычисляется как отношение количества обработанных строк tuples_processed к общему количеству строк таблицы из поля pg_class.reltuples. Однако в этом способе тоже есть недостаток: pg_class.reltuples обновляется после очистки, и, если она выполнялась достаточно давно, значение не будет соответствовать действительности и оценка окажется неточной. Но опыт показывает, что такая оценка все равно получается более точной, чем оценка на основе bytes_processed и размера таблицы.

Запрос к pg_stat_progress_copy следует выполнить в одном сеансе с помощью метакоманды \watch 1,а в другом—запустить выполнение команды COPY или pg_dump:

# pg_dump -U postgres -t pgbench_accounts pgbench >/dev/null

В сеансе с запросом к pg_stat_progress_copy можно увидеть примерно следующее:

В приведенном примеретаблица pgbench_accountsкопируется командой COPYTOчерез конвейер на стандартный вывод (stdout). Выгрузка длится уже 18 секунд и завершена на 87%. Кроме того,приведена дополнительная информация о состоянии процесса.

•СУБД располагает ограниченным набором представлений для отслеживания выполнения продолжительных команд.

•Представленияотслеживанияходавыполненияненакапливаютстатистикуипоказывают текущее состояние процессов.

•pg_stat_progress_vacuum используется для отслеживания операций очистки.

•pg_stat_progress_analyzeиспользуетсядляотслеживаниясборастатистики,необходимой планировщику.

•pg_stat_progress_basebackup используется для отслеживания резервного копирования.

•pg_stat_progress_cluster используется для отслеживания команд CLUSTER и VACUUM FULL.

•pg_stat_progress_create_index используется для отслеживания команд CREATE INDEX и REINDEX.

•pg_stat_progress_copy используется для отслеживания команд COPY.

•Соединение представлений с pg_stat_activity и pg_locks повышает информативность.

Приложение

Тестовое окружение

В этом приложении содержится руководство по запуску и использованию тестового окружения. Это окружение необязательно для понимания книги, но может быть полезно в процессе прочтения.В окружении можно воспроизвести все приводимые в книге примеры и поставить любые эксперименты,связанные с мониторингом.

Общая информация

Окружение представляет собой установку на основе docker-контейнеров. В состав установки входят:

•Кластер потоковой репликации PostgreSQL из двух узлов. Кластер необходим для демонстрации средств и способов мониторинга репликации.

•Экспортер метрик pgSCV. Это агент мониторинга, собирающий статистику с узлов PostgreSQL и предоставляющий ее в формате Prometheus.Агент мониторинга является экспериментальным продуктом и не рекомендуется для производственного применения.

•Система мониторинга на основе Victoriametrics и Vmagent.Система мониторинга собирает метрики с агента pgSCV и хранит их в течение двух дней.

•Приложения на основе утилиты pgbench, создающие рабочую нагрузку. В установке запущено несколько экземпляров pgbench, задача которых — создавать постоянную динамическую нагрузку на кластер PostgreSQL.

•Система визуализации Grafana. Используется как фронтенд для системы мониторинга и позволяет создавать самые разные графики с богатой настраиваемостью.

Зависимости

Убедитесь, что в системе, где будет запускаться тестовое окружение, установлены следующие инструменты:

•Docker-compose версии 1.29.2;

•Docker Engine версии 20.10.12;

•GNU Make версии 4.2.1.

236Приложение.Тестовое окружение

Работа тестового окружения с более старыми версиями не гарантируется.

Установку docker-compose можно выполнить по официальной инструкции, находящейся поадресуdocs.docker.com/compose/install/.DockerEngineтакжеустанавливаетсяпоофициальной инструкции: docs.docker.com/engine/install/#server. Пакет GNU Make может быть установ-

лен пакетным менеджером из официального репозитория пакетов для вашей операционной системы.

Когда все зависимости установлены,можно перейти к запуску окружения.

Запуск окружения

Работа с базовыми командами доступна через Makefile, но пользователь может выполнять и другие команды,напрямую вызывая утилиты docker и docker-compose.

Выполните следующие команды, чтобы перейти в каталог тестового окружения и затем посмотреть справку по доступным целям make:

$ git clone https://github.com/lesovsky/postgresql-monitoring-book.git $ cd postgresql-monitoring-book/playground

$ make help

Makefile available targets:

Цели make предоставляют короткий способ запуска и остановки тестового окружения и подключения к службам в контейнерах. Это будет необходимо для дальнейшей работы. При выполнениицелейвсамойпервойстрокебудетвыводитьсякоманда,которуюможновыполнить без использования Makefile.

Запустите тестовое приложение:

$ make up

При первом запуске выполняются сборка контейнеров, инициализация служб и загрузка данных в тестовую базу (~300 МБ).Процедура может занять некоторое время,оно зависит от производительности устройства.

Общая проверка работоспособности

После инициализации следуетпроверитьготовностьокружения к работе.Первымделом необходимо выяснить общее состояние контейнеров и сервисов:

Все контейнеры должны быть в состоянии running (поле STATUS). Обе службы БД должны показывать готовность принимать клиентские подключения. Репликация между узлами также должна работать.Проверить журнал сообщений основного узла можно так:

$ make primary/logs

...

primary_1 | 2022-03-03 08:57:44 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432 primary_1 | 2022-03-03 08:57:44 UTC [1] LOG: listening on IPv6 address "::", port 5432

primary_1 | 2022-03-03 08:57:44 UTC [1] LOG: listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432" primary_1 | 2022-03-03 08:57:44 UTC [63] LOG: database system was shut down at 2022-03-03 08:57:44 UTC primary_1 | 2022-03-03 08:57:44 UTC [1] LOG: database system is ready to accept connections

Аналогичный способ для резервного узла:

$ make standby/logs

...

standby_1 | 2022-03-03 08:57:50 UTC [24] LOG: consistent recovery state reached at 0/11000100 standby_1 | 2022-03-03 08:57:50 UTC [1] LOG: database system is ready to accept read-only connections

standby_1 | 2022-03-03 08:57:50 UTC [28] LOG: started streaming WAL from primary at 0/12000000 on timeline 1

Теперь в качестве проверки работоспособности начнем сеанс с основным узлом кластера:

$ make primary/psql psql (15.0)

Type "help" for help.

postgres=#

В открывшемся сеансе мы можем отправлять SQL-запросы к серверу:

postgres=# SELECT * FROM pg_stat_activity;

...

postgres=# SELECT * FROM pg_stat_replication;

...

Ответы на запросы будутвыводиться втабличном представлении.До прочтения книги можно невникатьвсмыслзапросовиихрезультат,ноименнотакбудетпроисходитьработасостатистикой — нужно будет написать SQL-запрос к нужному представлению, отправить его серверу и получить результат в виде таблицы,содержащий несколько строк (а иногда—ни одной).

В книге все запросы выполняются на основном узле,если это специально не оговорено.

Grafana

Фронтенд Grafana доступен по адресу 127.0.0.1:3000. Логин и пароль для входа не требуются. Для построения графиков можно использовать режим Explore или создать отдельный набор панелей и добавлять панели с графиками в него.

Остановка и удаление

Для остановки тестового окружения выполните следующую команду:

$ make down

Если тестовое окружение больше не нужно, можно остановить его и удалить все связанные с ним компоненты:

$ make destroy