Arhitektūra

pg_basebackup praksē: pilnas un inkrementālas PostgreSQL rezerves kopijas

pg_basebackup ir rezerves kopēšanas rīks, kas nāk kopā ar PostgreSQL, un kopš 17. versijas tas prot veidot arī inkrementālas kopijas. Lūk, kā to pareizi palaist, pārbaudīt rezultātu, atjaunot un neļaut tam traucēt vairāku terabaitu primāro serveri.

· 14 min lasīšanai · AG Data komanda

pg_basebackup izveido strādājoša PostgreSQL klastera fizisku kopiju pa replikācijas protokolu, neapturot serveri un netraucējot citus klientus. Tas ir pamats atjaunošanai uz laika punktu, jaunu replikas izveidei un, kopš PostgreSQL 17, inkrementālām kopijām. To ir arī viegli palaist tā, ka viss izskatās kārtībā līdz dienai, kad jāatjauno.

Kas ir pg_basebackup un kas tas nav

pg_basebackup kopē visa klastera datu failus: katru datubāzi, katru tabulu telpu (tablespace), kā arī WAL, kas vajadzīgs, lai kopija būtu konsekventa. Dokumentācijā skaidri teikts, ka ar to nevar kopēt vienu datubāzi vai vienu tabulu (pg_basebackup). Ja vajag tieši to, izmantojiet loģisko dump un vispirms izlasiet mūsu piezīmes par pg_dump lielām datubāzēm.

Kompromiss ir vienkāršs. Lielā datubāzē fiziska kopija atjaunojas daudz ātrāk nekā loģisks dump, jo nekas nav jāievieto no jauna un indeksi nav jāpārbūvē. Taču to var atjaunot tikai tajā pašā PostgreSQL galvenajā versijā, un līdzi tiek pārnests bloat un viss pārējais kopā ar datiem.

Priekšnosacījumi

-- on the server
CREATE ROLE replicator WITH LOGIN REPLICATION PASSWORD '...';

# pg_hba.conf: replication connections are matched by the keyword "replication"
host  replication  replicator  10.0.0.0/24  scram-sha-256

Saprātīga pilnās kopijas komanda

pg_basebackup -h db1 -U replicator \
  -D /backups/full-2026-11-17 \
  -F t -Z zstd -X stream \
  -P -v -l "nightly full"

Ko dara katra daļa, saskaņā ar dokumentāciju:

Divas opcijas prasa apzinātu izvēli, nevis kopēšanu no piemēra:

Veidojat repliku? Pievienojiet -R. Tas izveido standby.signal un pievieno savienojuma iestatījumus failam postgresql.auto.conf, tāpēc kopija startē kā kopētā servera standby.

Pārbaudiet katru kopiju ar pg_verifybackup

Pēc noklusējuma pg_basebackup raksta backup_manifest ar CRC32C kontrolsummu katram failam. pg_verifybackup nolasa šo manifestu un pārbauda, vai katrs gaidītais fails ir vietā ar pareizu izmēru un kontrolsummu, un plain formāta kopijām ar pg_waldump parsē atjaunošanai vajadzīgo WAL.

# plain format: checks files, checksums and the WAL needed for recovery
pg_verifybackup /backups/full-plain

# tar format: WAL parsing is not supported, so skip it
pg_verifybackup -F t -n /backups/full-2026-11-17

Tas atklāj nepilnīgas kopijas, trūkstošus failus un bitu bojājumus kopiju diskā. Dokumentācija godīgi norāda robežu: tas nevar atrast katru problēmu, ar ko saskartos strādājošs serveris, tāpēc tas neaizstāj testa atjaunošanu. CRC32C ir ātrs, bet nav noturīgs pret apzinātu viltošanu; ja tas ir svarīgi, izvēlieties SHA algoritmu un glabājiet manifestu atsevišķi.

Inkrementālās kopijas PostgreSQL 17 un jaunākās versijās

Kopš PostgreSQL 17 pg_basebackup var izveidot inkrementālu kopiju, kurā ir tikai bloki, kas mainījušies kopš iepriekšējās kopijas. Tam vajadzīgs WAL summarizer, kas pēc noklusējuma ir izslēgts (WAL iestatījumi):

# postgresql.conf or server command line, not per session
wal_level = replica          # summarize_wal does not work with minimal
summarize_wal = on           # default off
wal_summary_keep_time = 10d  # the default

# Sunday: full backup
pg_basebackup -h db1 -U replicator -D /backups/full -c fast

# Monday: incremental against Sunday's manifest
pg_basebackup -h db1 -U replicator -D /backups/incr1 \
  --incremental=/backups/full/backup_manifest

# Tuesday: incremental against Monday
pg_basebackup -h db1 -U replicator -D /backups/incr2 \
  --incremental=/backups/incr1/backup_manifest

Serveris nosaka mainītos blokus pēc WAL kopsavilkumiem direktorijā pg_wal/summaries. Šiem kopsavilkumiem jāaptver katrs LSN no atsauces kopijas sākuma līdz jaunās kopijas sākumam, citādi inkrementālā kopija neizdodas (nepārtraukta arhivēšana). Kopsavilkumi tiek dzēsti pēc wal_summary_keep_time, pēc noklusējuma 10 dienām, tāpēc par to vecāka atsauces kopija var vairs nederēt par bāzi. Turiet pilno kopiju ciklu krietni šī loga robežās vai palieliniet to.

Inkrementālu kopiju nevar palaist tieši. pg_combinebackup no ķēdes, kas norādīta no vecākās uz jaunāko, atjauno sintētisku pilnu kopiju:

# oldest first, newest last; -o is required
pg_combinebackup /backups/full /backups/incr1 /backups/incr2 \
  -o /restore/pgdata

# same file system with reflink support: near-instant copy
pg_combinebackup --clone /backups/full /backups/incr1 /backups/incr2 -o /restore/pgdata

Ķēde ir tik stipra, cik tās vājākais posms. Izdzēsiet vienu agrāku kopiju, un katra inkrementālā kopija pēc tās vairs nav atjaunojama. pg_combinebackup pārbauda, vai kopijas veido derīgu ķēdi, nevis to, vai katra ir vesela, tāpēc palaidiet pg_verifybackup arī katrai daļai.

pg_basebackup kopijas atjaunošana

  1. Apturiet serveri un, ja vieta ļauj, pārvietojiet veco datu direktoriju malā, nevis dzēsiet.
  2. Izveidojiet tukšu datu direktoriju ar pareizu īpašnieku un tiesībām 0700.
  3. Tar formātam izpakojiet tajā base.tar, katras tabulu telpas tar tās vietā un pg_wal.tar direktorijā pg_wal/. Inkrementālām ķēdēm tā vietā palaidiet pg_combinebackup jaunajā direktorijā.
  4. Atjaunošanai uz "kopijas beigām" vienkārši startējiet serveri: tas atskaņos iekļauto WAL līdz konsekventam stāvoklim.
  5. Atjaunošanai uz vēlāku brīdi pievienojiet recovery.signal, restore_command un atjaunošanas mērķi. Pilna procedūra ir mūsu PostgreSQL atjaunošanas uz laika punktu ceļvedī.

pg_basebackup lielās datubāzēs

Viss iepriekš minētais strādā 20 GB testa instancē. Pie vairākiem terabaitiem dažas lietas mainās, un tieši tās izraisa reālus incidentus:

Galvenās atziņas

PostgreSQL pg_basebackup Rezerves kopijas Inkrementālā kopija
Sadarbība ar mums

Neesat drošs, ka kopijas atjaunosies?

Mēs projektējam un testējam PostgreSQL rezerves kopēšanu un atjaunošanu datubāzēm no dažiem simtiem gigabaitu līdz daudziem terabaitiem, ieskaitot reālas atjaunošanas mācības ar izmērītu atjaunošanas laiku.

Sazināties Vairāk no emuāra