pg_basebackup izveido strādājoša PostgreSQL klastera fizisku kopiju pa replikācijas protokolu, neapturot serveri un netraucējot citus klientus. Tas ir pamats atjaunošanai uz laika punktu, jaunu replikas izveidei un, kopš PostgreSQL 17, inkrementālām kopijām. To ir arī viegli palaist tā, ka viss izskatās kārtībā līdz dienai, kad jāatjauno.
Kas ir pg_basebackup un kas tas nav
pg_basebackup kopē visa klastera datu failus: katru datubāzi, katru tabulu telpu (tablespace), kā arī WAL, kas vajadzīgs, lai kopija būtu konsekventa. Dokumentācijā skaidri teikts, ka ar to nevar kopēt vienu datubāzi vai vienu tabulu (pg_basebackup). Ja vajag tieši to, izmantojiet loģisko dump un vispirms izlasiet mūsu piezīmes par pg_dump lielām datubāzēm.
Kompromiss ir vienkāršs. Lielā datubāzē fiziska kopija atjaunojas daudz ātrāk nekā loģisks dump, jo nekas nav jāievieto no jauna un indeksi nav jāpārbūvē. Taču to var atjaunot tikai tajā pašā PostgreSQL galvenajā versijā, un līdzi tiek pārnests bloat un viss pārējais kopā ar datiem.
Priekšnosacījumi
- Loma ar atribūtu
REPLICATIONvai superlietotājs. - Rinda
pg_hba.conf, kas atļauj replikācijas savienojumu no kopēšanas hosta. - Pietiekams
max_wal_senders. Noklusējums ir 10 (replikācijas iestatījumi). Noklusējuma straumēšanas režīmā pg_basebackup atver divus replikācijas savienojumus, vienu datiem un vienu WAL, tāpēc noslogotā klasterī ar vairākām replikām tie var beigties.
-- on the server
CREATE ROLE replicator WITH LOGIN REPLICATION PASSWORD '...';
# pg_hba.conf: replication connections are matched by the keyword "replication"
host replication replicator 10.0.0.0/24 scram-sha-256
Saprātīga pilnās kopijas komanda
pg_basebackup -h db1 -U replicator \
-D /backups/full-2026-11-17 \
-F t -Z zstd -X stream \
-P -v -l "nightly full"
Ko dara katra daļa, saskaņā ar dokumentāciju:
-Dir obligāts. Direktorija tiek izveidota, ja tās nav, un tai jābūt tukšai, ja tā eksistē.-F traksta tar failus:base.tar, pa vienam tar katrai papildu tabulu telpai ar tās OID nosaukumā unpg_wal.tarstraumētajam WAL. Noklusējums ir plain formāts, gatava lietošanai datu direktorija.-Z zstdpēc noklusējuma saspiež klienta pusē;-Z server-zstdpārnes darbu uz serveri un ietaupa tīkla joslu. Plain formāts atļauj tikai servera puses saspiešanu. Viena nianse: ar straumētu WALpg_wal.tartiek saspiests tikai ar klienta puses gzip, nevis ar zstd vai lz4.-X streamir noklusējums. WAL tiek straumēts kopēšanas laikā, un PostgreSQL 10 un jaunākās versijās automātiski tiek izmantots pagaidu replikācijas slots, lai primārais serveris neizmestu WAL, kas kopijai vēl vajadzīgs. Kamēr WAL ir iekļauts, serveri uz kopijas var palaist vispār bez WAL arhīva.-liestata etiķeti, kas nonāk rezerves kopijas vēstures failā jūsu WAL arhīvā.
Divas opcijas prasa apzinātu izvēli, nevis kopēšanu no piemēra:
-c fastpret noklusējumaspread. Arspreadkopija gaida parastu, izkliedētu checkpoint, tāpēc sākumā tā var izskatīties dīka vairākas minūtes.fastsākas uzreiz, bet izsauc tūlītēju checkpoint, kas rakstīšanas noslogotā serverī ir I/O uzliesmojums. Nakts darbiem mēs paturamspread; situācijā "kopija vajadzīga tagad" lietojamfast.-X fetchsavāc WAL tikai beigās. Ja vajadzīgie segmenti tikmēr ir pārstrādāti, dokumentācija tieši saka, ka kopija neizdosies un būs nelietojama. Jawal_keep_sizeir noklusējuma 0, palieciet piestream.
-R. Tas izveido standby.signal un pievieno savienojuma iestatījumus failam postgresql.auto.conf, tāpēc kopija startē kā kopētā servera standby.Pārbaudiet katru kopiju ar pg_verifybackup
Pēc noklusējuma pg_basebackup raksta backup_manifest ar CRC32C kontrolsummu katram failam. pg_verifybackup nolasa šo manifestu un pārbauda, vai katrs gaidītais fails ir vietā ar pareizu izmēru un kontrolsummu, un plain formāta kopijām ar pg_waldump parsē atjaunošanai vajadzīgo WAL.
# plain format: checks files, checksums and the WAL needed for recovery
pg_verifybackup /backups/full-plain
# tar format: WAL parsing is not supported, so skip it
pg_verifybackup -F t -n /backups/full-2026-11-17
Tas atklāj nepilnīgas kopijas, trūkstošus failus un bitu bojājumus kopiju diskā. Dokumentācija godīgi norāda robežu: tas nevar atrast katru problēmu, ar ko saskartos strādājošs serveris, tāpēc tas neaizstāj testa atjaunošanu. CRC32C ir ātrs, bet nav noturīgs pret apzinātu viltošanu; ja tas ir svarīgi, izvēlieties SHA algoritmu un glabājiet manifestu atsevišķi.
Inkrementālās kopijas PostgreSQL 17 un jaunākās versijās
Kopš PostgreSQL 17 pg_basebackup var izveidot inkrementālu kopiju, kurā ir tikai bloki, kas mainījušies kopš iepriekšējās kopijas. Tam vajadzīgs WAL summarizer, kas pēc noklusējuma ir izslēgts (WAL iestatījumi):
# postgresql.conf or server command line, not per session
wal_level = replica # summarize_wal does not work with minimal
summarize_wal = on # default off
wal_summary_keep_time = 10d # the default
# Sunday: full backup
pg_basebackup -h db1 -U replicator -D /backups/full -c fast
# Monday: incremental against Sunday's manifest
pg_basebackup -h db1 -U replicator -D /backups/incr1 \
--incremental=/backups/full/backup_manifest
# Tuesday: incremental against Monday
pg_basebackup -h db1 -U replicator -D /backups/incr2 \
--incremental=/backups/incr1/backup_manifest
Serveris nosaka mainītos blokus pēc WAL kopsavilkumiem direktorijā pg_wal/summaries. Šiem kopsavilkumiem jāaptver katrs LSN no atsauces kopijas sākuma līdz jaunās kopijas sākumam, citādi inkrementālā kopija neizdodas (nepārtraukta arhivēšana). Kopsavilkumi tiek dzēsti pēc wal_summary_keep_time, pēc noklusējuma 10 dienām, tāpēc par to vecāka atsauces kopija var vairs nederēt par bāzi. Turiet pilno kopiju ciklu krietni šī loga robežās vai palieliniet to.
Inkrementālu kopiju nevar palaist tieši. pg_combinebackup no ķēdes, kas norādīta no vecākās uz jaunāko, atjauno sintētisku pilnu kopiju:
# oldest first, newest last; -o is required
pg_combinebackup /backups/full /backups/incr1 /backups/incr2 \
-o /restore/pgdata
# same file system with reflink support: near-instant copy
pg_combinebackup --clone /backups/full /backups/incr1 /backups/incr2 -o /restore/pgdata
Ķēde ir tik stipra, cik tās vājākais posms. Izdzēsiet vienu agrāku kopiju, un katra inkrementālā kopija pēc tās vairs nav atjaunojama. pg_combinebackup pārbauda, vai kopijas veido derīgu ķēdi, nevis to, vai katra ir vesela, tāpēc palaidiet pg_verifybackup arī katrai daļai.
pg_basebackup kopijas atjaunošana
- Apturiet serveri un, ja vieta ļauj, pārvietojiet veco datu direktoriju malā, nevis dzēsiet.
- Izveidojiet tukšu datu direktoriju ar pareizu īpašnieku un tiesībām
0700. - Tar formātam izpakojiet tajā
base.tar, katras tabulu telpas tar tās vietā unpg_wal.tardirektorijāpg_wal/. Inkrementālām ķēdēm tā vietā palaidiet pg_combinebackup jaunajā direktorijā. - Atjaunošanai uz "kopijas beigām" vienkārši startējiet serveri: tas atskaņos iekļauto WAL līdz konsekventam stāvoklim.
- Atjaunošanai uz vēlāku brīdi pievienojiet
recovery.signal,restore_commandun atjaunošanas mērķi. Pilna procedūra ir mūsu PostgreSQL atjaunošanas uz laika punktu ceļvedī.
pg_basebackup lielās datubāzēs
Viss iepriekš minētais strādā 20 GB testa instancē. Pie vairākiem terabaitiem dažas lietas mainās, un tieši tās izraisa reālus incidentus:
- Ilgums un WAL aizturēšana. Vairāku terabaitu kopēšana ilgst stundas. Visu šo laiku pagaidu slots tur WAL primārajā serverī. Ja
max_slot_wal_keep_sizeir noklusējuma -1, ierobežojuma nav, tāpēc rakstīšanas noslogotā sistēmāpg_walvar izaugt par simtiem gigabaitu. Paredziet tam disku vai iestatiet ierobežojumu un pieņemiet, ka pārāk lēna kopija tiks anulēta, nevis piepildīs disku. - Caurlaidspēja. Mūsu pieredzē viena pg_basebackup palaišana parasti atduras pret vienas plūsmas caurlaidspēju ilgi pirms krātuve ir piesātināta. Izmēriet to vienreiz uz produkcijas izmēra datiem un pārrēķiniet: ja pilna kopija aizņem deviņas stundas, katru nakti pilnas kopijas ir slikts plāns. Ļoti lieliem klasteriem bieži labāk der rīki ar paralēlu pārsūtīšanu, piemēram, pgBackRest.
- Slodze uz primāro serveri.
--max-rate(no 32 kB/s līdz 1024 MB/s) ierobežo pārsūtīšanu, lai kopija neatņemtu resursus produkcijas lasīšanai. Servera puses saspiešana apmaina tīklu pret primārā servera CPU, tāpēc izlemiet, kura no tiem jums trūkst vairāk. - Kopējiet no standby. Tas noņem lasīšanas slodzi no primārā servera. Dokumentētie nosacījumi:
full_page_writesprimārajā serverī, replikāciju atļaujošspg_hba.confstandby serverī un apziņa, ka, ja standby kopēšanas laikā tiek paaugstināts, kopija neizdodas. - Inkrementālās kopijas maina aprēķinu. Ikdienas inkrementālās kopijas var krasi samazināt pārsūtīšanu un krātuvi datubāzē, kur lielākā daļa datu ir "auksti". Taču pg_combinebackup vajag vietu pilna izmēra rezultātam;
--clonevai--linktajā pašā failu sistēmā novērš lielāko daļu kopēšanas. - Svarīgākais skaitlis ir atjaunošanas laiks. Izmēriet to: izpakošana, apvienošana, WAL atskaņošana. Kopija, kuru nekad neesat atjaunojis pilnā izmērā, ir cerība, nevis atjaunošanas plāns.
Galvenās atziņas
- pg_basebackup kopē visu klasteri; atsevišķām datubāzēm lietojiet pg_dump.
- Paturiet noklusējuma
-X stream;-c fastvaispreadizvēlieties apzināti. - Pēc katras kopijas palaidiet pg_verifybackup un tik un tā veiciet testa atjaunošanu.
- PostgreSQL 17+ inkrementālām kopijām vajag
summarize_wal = on, nepārtrauktu ķēdi un pg_combinebackup atjaunošanai. - Terabaitu mērogā plānojiet stundām ilgu WAL aizturēšanu, ierobežojiet ar
--max-rate, apsveriet standby kā avotu un izmēriet reālo atjaunošanas laiku.