PostgreSQL loģiskā replikācija straumē rindu izmaiņas (ievietošanu, atjaunināšanu, dzēšanu, truncate) no publikācijas vienā serverī uz abonementu citā, tabulu pa tabulai. Atšķirībā no fiziskās straumēšanas replikācijas abās pusēs var būt dažādas galvenās versijas un dažādas shēmas, un tieši tāpēc tas ir standarta rīks atjauninājumiem un migrācijām ar gandrīz nulles dīkstāvi.
Kad to lietot un kad ne
Lietojiet loģisko replikāciju, lai pārietu uz jaunu galveno versiju vai jaunu aparatūru ar īsu pārslēgšanos, lai replicētu tabulu apakškopu atskaišu datubāzē vai lai apvienotu vairākas datubāzes. Nelietojiet to kā augstas pieejamības repliku: fiziskā replikācija kopē visu, ieskaitot DDL un sekvences, un tai ir vienkāršāka pārslēgšanās. Pārslēgšanās pusi aplūkojam rakstā par PostgreSQL migrācijām bez dīkstāves; šis raksts ir par to, kā pareizi iestatīt pašu replikāciju.
1. solis: publicētājs
# publisher postgresql.conf (restart required)
wal_level = logical
-- publisher: a role for the subscriber and a publication
CREATE ROLE repl_sub WITH LOGIN REPLICATION PASSWORD '...';
GRANT SELECT ON ALL TABLES IN SCHEMA public TO repl_sub;
CREATE PUBLICATION app_pub FOR TABLE orders, customers, order_items;
-- or: FOR TABLES IN SCHEMA public / FOR ALL TABLES
-- tables without a primary key cannot replicate UPDATE/DELETE
SELECT c.relname
FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r' AND n.nspname = 'public'
AND NOT EXISTS (SELECT 1 FROM pg_index i WHERE i.indrelid = c.oid AND i.indisprimary);
wal_leveljābūtlogical, un to var iestatīt tikai servera startā, tāpēc ieplānojiet restartu.max_replication_slotsjāaptver katrs abonements plus rezerve tabulu sinhronizācijai, unmax_wal_sendersjābūt vismaz tikpat plus jūsu fiziskās replikas (konfigurācijas iestatījumi).- Pēc noklusējuma publikācija replicē visus četrus operāciju tipus.
publishto var ierobežot, bet tikai turpmākajām izmaiņām, ne sākotnējai kopēšanai.
REPLICA IDENTITY FULL ir dokumentētais rezerves variants, bet bez piemērota indeksa abonentā katra izmaiņa var nozīmēt ļoti neefektīvu meklēšanu.2. solis: abonents
# copy the schema first: DDL is not replicated
pg_dump --schema-only -h old-db -d app | psql -h new-db -d app
-- subscriber
CREATE SUBSCRIPTION app_sub
CONNECTION 'host=old-db dbname=app user=repl_sub password=...'
PUBLICATION app_pub;
-- defaults: copy_data = true, create_slot = true, enabled = true
- Shēmai jābūt izveidotai vispirms. DDL netiek replicēts, ne tagad, ne vēlāk.
CREATE SUBSCRIPTIONpēc noklusējuma izveido replikācijas slotu publicētājā, un tādā gadījumā to nevar izpildīt transakcijas blokā (CREATE SUBSCRIPTION).copy_data = truenokopē esošās rindas pirms izmaiņu straumēšanas. Lietojietfalsetikai tad, ja dati jau ir vietā un konsekventi.- PostgreSQL 18
streamingnoklusējums mainījās nooffuzparallel, tāpēc lielas nepabeigtas transakcijas var piemērot paralēlie darbinieki (PostgreSQL 18 laidiena piezīmes). - Abonentam vajag pietiekamu darbinieku jaudu:
max_logical_replication_workers(noklusējums 4) aptver apply, paralēlos apply un tabulu sinhronizācijas darbiniekus. PostgreSQL 18 abonementu limits irmax_active_replication_origins; agrākās versijās tam izmantojamax_replication_slots.
Ko loģiskā replikācija nekopē
Tie ir uzskaitīti ierobežojumu lapā, un katrs no tiem kaut kur ir izraisījis neizdevušos pārslēgšanos:
- DDL. Kolonna, kas pievienota publicētājā, bet ne abonentā, aptur replikāciju ar kļūdām, līdz salabojat shēmu. Papildinošas izmaiņas vispirms piemērojiet abonentā.
- Sekvences. Rindas pienāk ar saviem ID, bet abonenta sekvences joprojām stāv sākuma vērtībās. Pirms rakstīšanas pārslēgšanas pabīdiet tās uz priekšu:
-- before cutover: move every sequence past the replicated data SELECT setval('orders_id_seq', (SELECT max(id) FROM orders) + 1000); - Lielie objekti. Netiek replicēti, un nav cita risinājuma kā glabāt datus parastās tabulās.
- Skati, materializētie skati, ārējās tabulas. Publicēt var tikai tabulas, ieskaitot partīcijās sadalītas tabulas.
- TRUNCATE pāri ārējām atslēgām. Tas strādā, ja visas skartās tabulas ir vienā abonementā, un neizdodas abonentā, ja dažas no tām nav.
Konflikti un kā tikt vaļā
Abonents piemēro izmaiņas kā parastu DML. Ja izmaiņa pārkāpj unikalitātes ierobežojumu, piemēram, tāpēc, ka kāds rakstīja tieši abonentā, apply darbinieks apstājas ar kļūdu, piemēram, conflict=insert_exists abonenta žurnālā, un replikācija gaida, līdz to atrisināsiet (konflikti). Trūkstoša rinda UPDATE vai DELETE neaptur replikāciju: izmaiņa tiek izlaista un PostgreSQL 18 tiek ierakstīta žurnālā un uzskaitīta pg_stat_subscription_stats.
Tīrs risinājums ir izlabot datus abonentā. Rupjš risinājums ir izlaist neizdevušos transakciju:
-- the finish LSN comes from the conflict message in the subscriber log
ALTER SUBSCRIPTION app_sub SKIP (lsn = '0/14C0378');
Izlaišana atmet visu transakciju, ieskaitot izmaiņas, kurām ar konfliktu nebija nekāda sakara, tāpēc abonents var vairs nesakrist ar publicētāju. Ar streaming = parallel beigu LSN var neparādīties žurnālā; dokumentācija iesaka pārslēgt streaming uz on vai off un atkārtot kļūdu, lai to iegūtu.
Uzraudzība: sāpes rada slots
-- publisher: how much WAL each slot is holding back
SELECT slot_name, active,
pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) AS retained
FROM pg_replication_slots
WHERE slot_type = 'logical';
-- subscriber: workers, initial sync state, errors and conflicts
SELECT * FROM pg_stat_subscription;
SELECT srrelid::regclass, srsubstate FROM pg_subscription_rel WHERE srsubstate <> 'r';
SELECT subname, apply_error_count, sync_error_count FROM pg_stat_subscription_stats;
Loģiskais slots patur katru WAL segmentu, ko abonents nav apstiprinājis. Ja abonents ir izslēgts, atspējots vai iestrēdzis konfliktā, WAL krājas publicētājā. max_slot_wal_keep_size noklusējums ir -1, kas nozīmē bez ierobežojuma (replikācijas iestatījumi). PostgreSQL 18 pievieno idle_replication_slot_timeout, lai anulētu slotus, kas paliek neaktīvi, bet pēc noklusējuma tas ir izslēgts (0). Brīdinājumus iestatiet uz aizturēto WAL katram slotam, nevis tikai uz abonenta nobīdi; nobīdes pusi aplūko mūsu PostgreSQL replikācijas nobīdes ceļvedis.
Kad esat pabeiguši, DROP SUBSCRIPTION dzēš arī slotu publicētājā. Ja publicētājs nav sasniedzams, komanda neizdodas; tad atspējojiet abonementu, iestatiet slot_name = NONE, dzēsiet to un bāreņa slotu publicētājā noņemiet ar roku (DROP SUBSCRIPTION). Aizmirsti sloti no pamestiem testiem ir klasisks pilna diska cēlonis.
Loģiskā replikācija lielās datubāzēs
10 GB testa datubāzē sākotnējā kopēšana aizņem sekundes, un nekas no turpmāk minētā nav svarīgs. Vairāku terabaitu produkcijas datubāzē tas ir viss projekts:
- Sākotnējā kopēšana ilgst stundas vai dienas. Katru tabulu kopē tabulu sinhronizācijas darbinieks, un publicētājs patur tikmēr radīto WAL. Rakstīšanas noslogotā sistēmā tie var būt simtiem gigabaitu. Paredziet publicētāja disku visam kopēšanas logam un pievienojiet tabulas pa partijām ar
ALTER PUBLICATION ... ADD TABLEunALTER SUBSCRIPTION ... REFRESH PUBLICATION, nevis visas uzreiz. - Izlaidiet kopēšanu, kur varat. PostgreSQL 17 pievienoja
pg_createsubscriber, kas pārvērš fizisku standby par loģisku abonentu, tāpēc terabaiti nav jākopē rindu pa rindai (PostgreSQL 17 laidiena piezīmes). - Slodze uz publicētāju. Mūsu pieredzē lielas tabulas sākotnējā kopēšana ir ilga secīga lasīšana un ilgi strādājoša transakcija publicētājā, kas arī aizkavē vacuum. Ieplānojiet to ārpus maksimuma stundām un sekojiet bloat karstajās tabulās.
- Indeksi abonentā. Izplatīta pieeja ir sekundāros indeksus veidot pēc sākotnējās kopēšanas, lai to paātrinātu, bet replica identity indeksam jābūt pirms straumēšanas sākuma, citādi katrs UPDATE un DELETE pārvēršas dārgā meklēšanā.
- Lielas transakcijas. Viens pakešdarbs, kas skar 50 miljonus rindu, kļūst par vienu milzīgu transakciju, kas jādekodē un jāpiemēro. Migrācijas logā sadaliet šādus darbus daļās.
- Izmēģiniet pārslēgšanos. Apturiet rakstīšanu, sagaidiet, kad aizturētais WAL sasniedz nulli, sinhronizējiet sekvences, pārslēdziet lietojumprogrammu un vispirms to visu nomēriet uz produkcijas izmēra kopijas.
Galvenās atziņas
- Iestatiet
wal_level = logical(restarts), izveidojiet publikāciju, nokopējiet shēmu, tad izveidojiet abonementu. - Katrai publicētai tabulai vajag primāro atslēgu vai piemērotu replica identity, citādi UPDATE un DELETE neizdodas publicētājā.
- DDL, sekvences un lielie objekti netiek replicēti; sinhronizējiet sekvences pirms pārslēgšanās.
- Konflikti aptur replikāciju; labojiet datus vai uzmanīgi lietojiet
ALTER SUBSCRIPTION ... SKIP. - Uzraugiet katra loģiskā slota aizturēto WAL un dzēsiet slotus, kurus vairs nelietojat.
- Lielās datubāzēs paredziet disku sākotnējās kopēšanas logam, pievienojiet tabulas pa partijām un apsveriet
pg_createsubscriber.