Arhitektūra

PostgreSQL loģiskā replikācija: iestatīšana, slazdi un uzraudzība

Loģiskā replikācija ir veids, kā atjaunināt PostgreSQL ar dažu minūšu dīkstāvi, sadalīt datubāzi vai barot atskaišu serveri. Tas ir arī veids, kā piepildīt primārā servera disku ar WAL. Lūk, strādājoša iestatīšana, ierobežojumi, kas sāpīgi iekož, un kam sekot lielās datubāzēs.

· 13 min lasīšanai · AG Data komanda

PostgreSQL loģiskā replikācija straumē rindu izmaiņas (ievietošanu, atjaunināšanu, dzēšanu, truncate) no publikācijas vienā serverī uz abonementu citā, tabulu pa tabulai. Atšķirībā no fiziskās straumēšanas replikācijas abās pusēs var būt dažādas galvenās versijas un dažādas shēmas, un tieši tāpēc tas ir standarta rīks atjauninājumiem un migrācijām ar gandrīz nulles dīkstāvi.

Kad to lietot un kad ne

Lietojiet loģisko replikāciju, lai pārietu uz jaunu galveno versiju vai jaunu aparatūru ar īsu pārslēgšanos, lai replicētu tabulu apakškopu atskaišu datubāzē vai lai apvienotu vairākas datubāzes. Nelietojiet to kā augstas pieejamības repliku: fiziskā replikācija kopē visu, ieskaitot DDL un sekvences, un tai ir vienkāršāka pārslēgšanās. Pārslēgšanās pusi aplūkojam rakstā par PostgreSQL migrācijām bez dīkstāves; šis raksts ir par to, kā pareizi iestatīt pašu replikāciju.

1. solis: publicētājs

# publisher postgresql.conf (restart required)
wal_level = logical

-- publisher: a role for the subscriber and a publication
CREATE ROLE repl_sub WITH LOGIN REPLICATION PASSWORD '...';
GRANT SELECT ON ALL TABLES IN SCHEMA public TO repl_sub;

CREATE PUBLICATION app_pub FOR TABLE orders, customers, order_items;
-- or: FOR TABLES IN SCHEMA public   /   FOR ALL TABLES

-- tables without a primary key cannot replicate UPDATE/DELETE
SELECT c.relname
FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r' AND n.nspname = 'public'
  AND NOT EXISTS (SELECT 1 FROM pg_index i WHERE i.indrelid = c.oid AND i.indisprimary);
Replica identity ir pirmais, kas salūzt. UPDATE un DELETE vajag veidu, kā atrast rindu abonentā: pēc noklusējuma primāro atslēgu vai piemērotu unikālu indeksu. Ja tabulai bez izmantojamas identitātes publikācijā, kas replicē atjauninājumus, šie atjauninājumi neizdodas publicētājā, tātad kļūdas saņem jūsu lietojumprogramma, ne tikai replika (publikāciju dokumentācija). REPLICA IDENTITY FULL ir dokumentētais rezerves variants, bet bez piemērota indeksa abonentā katra izmaiņa var nozīmēt ļoti neefektīvu meklēšanu.

2. solis: abonents

# copy the schema first: DDL is not replicated
pg_dump --schema-only -h old-db -d app | psql -h new-db -d app

-- subscriber
CREATE SUBSCRIPTION app_sub
  CONNECTION 'host=old-db dbname=app user=repl_sub password=...'
  PUBLICATION app_pub;
-- defaults: copy_data = true, create_slot = true, enabled = true

Ko loģiskā replikācija nekopē

Tie ir uzskaitīti ierobežojumu lapā, un katrs no tiem kaut kur ir izraisījis neizdevušos pārslēgšanos:

Konflikti un kā tikt vaļā

Abonents piemēro izmaiņas kā parastu DML. Ja izmaiņa pārkāpj unikalitātes ierobežojumu, piemēram, tāpēc, ka kāds rakstīja tieši abonentā, apply darbinieks apstājas ar kļūdu, piemēram, conflict=insert_exists abonenta žurnālā, un replikācija gaida, līdz to atrisināsiet (konflikti). Trūkstoša rinda UPDATE vai DELETE neaptur replikāciju: izmaiņa tiek izlaista un PostgreSQL 18 tiek ierakstīta žurnālā un uzskaitīta pg_stat_subscription_stats.

Tīrs risinājums ir izlabot datus abonentā. Rupjš risinājums ir izlaist neizdevušos transakciju:

-- the finish LSN comes from the conflict message in the subscriber log
ALTER SUBSCRIPTION app_sub SKIP (lsn = '0/14C0378');

Izlaišana atmet visu transakciju, ieskaitot izmaiņas, kurām ar konfliktu nebija nekāda sakara, tāpēc abonents var vairs nesakrist ar publicētāju. Ar streaming = parallel beigu LSN var neparādīties žurnālā; dokumentācija iesaka pārslēgt streaming uz on vai off un atkārtot kļūdu, lai to iegūtu.

Uzraudzība: sāpes rada slots

-- publisher: how much WAL each slot is holding back
SELECT slot_name, active,
       pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) AS retained
FROM pg_replication_slots
WHERE slot_type = 'logical';

-- subscriber: workers, initial sync state, errors and conflicts
SELECT * FROM pg_stat_subscription;
SELECT srrelid::regclass, srsubstate FROM pg_subscription_rel WHERE srsubstate <> 'r';
SELECT subname, apply_error_count, sync_error_count FROM pg_stat_subscription_stats;

Loģiskais slots patur katru WAL segmentu, ko abonents nav apstiprinājis. Ja abonents ir izslēgts, atspējots vai iestrēdzis konfliktā, WAL krājas publicētājā. max_slot_wal_keep_size noklusējums ir -1, kas nozīmē bez ierobežojuma (replikācijas iestatījumi). PostgreSQL 18 pievieno idle_replication_slot_timeout, lai anulētu slotus, kas paliek neaktīvi, bet pēc noklusējuma tas ir izslēgts (0). Brīdinājumus iestatiet uz aizturēto WAL katram slotam, nevis tikai uz abonenta nobīdi; nobīdes pusi aplūko mūsu PostgreSQL replikācijas nobīdes ceļvedis.

Kad esat pabeiguši, DROP SUBSCRIPTION dzēš arī slotu publicētājā. Ja publicētājs nav sasniedzams, komanda neizdodas; tad atspējojiet abonementu, iestatiet slot_name = NONE, dzēsiet to un bāreņa slotu publicētājā noņemiet ar roku (DROP SUBSCRIPTION). Aizmirsti sloti no pamestiem testiem ir klasisks pilna diska cēlonis.

Loģiskā replikācija lielās datubāzēs

10 GB testa datubāzē sākotnējā kopēšana aizņem sekundes, un nekas no turpmāk minētā nav svarīgs. Vairāku terabaitu produkcijas datubāzē tas ir viss projekts:

Galvenās atziņas

PostgreSQL Loģiskā replikācija Migrācijas Replikācija
Sadarbība ar mums

Plānojat pārslēgšanos ar loģisko replikāciju?

Mēs veicam PostgreSQL atjauninājumus un migrācijas ar loģisko replikāciju daudzu terabaitu produkcijas datubāzēs, ieskaitot slotu uzraudzību, sekvenču sinhronizāciju un pārslēgšanās plānu.

Sazināties Vairāk no emuāra