MySQL Group Replication ir iebūvēts veids, kā darbināt MySQL kā sevi atjaunojošu klasteri: dalībnieki vienojas par katru transakciju ar Paxos tipa grupas protokolu, kritušu primāro serveri automātiski aizstāj cits, un neviens ārējs rīks nelemj, kurš ir galvenais. InnoDB Cluster ir tas pats dzinējs kopā ar MySQL Shell administrēšanai un MySQL Router klientu maršrutēšanai.
Tas darbojas labi, taču ir mazāk piedodošs nekā klasiskā asinhronā replikācija. Lielas transakcijas, lēni tīkli un tabulas bez primārās atslēgas, kas agrāk netraucēja, tagad izraisa atcelšanu (rollback), izslēgtus dalībniekus vai bremzētu primāro serveri. Šajā rokasgrāmatā ir viss, kas jāzina, pirms to liekat produkcijas slodzes priekšā.
Ko jūs patiesībā iegūstat
- Pēc noklusējuma viens primārais.
group_replication_single_primary_modepēc noklusējuma irON: viens dalībnieks pieņem rakstīšanu, pārējie ir tikai lasāmi sekundārie, un, ja tas krīt, tiek ievēlēts jauns primārais (Group Replication mainīgie). Pastāv arī multi-primary režīms, bet tam ir papildu ierobežojumi: nav kaskādes ārējo atslēgu, navSERIALIZABLE, un vienlaicīgs DDL un DML uz to pašu objektu no dažādiem dalībniekiem nav atbalstīts (ierobežojumi). Ja nav ļoti konkrēta iemesla, palieciet pie viena primārā. - Vienošanās par secību, nevis tūlītēja izpilde. Commit prasa grupas vienošanos, taču sekundārie transakciju izpilda pēc tam. Ar veco
EVENTUALlīmeni lasīšana sekundārajā vai tikko ievēlētajā primārajā var atgriezt novecojušas vērtības. - Vairākums vai nekas. Grupa no
n = 2f + 1dalībniekiem izturfkļūmes: 3 dalībnieki iztur 1, 5 iztur 2. Četri dalībnieki joprojām iztur tikai vienu, tāpēc pāra skaits neko nedod (kļūmju noturība). Maksimālais grupas izmērs ir 9.
Prasības, kas sāp esošās datubāzēs
Jauna instalācija lielāko daļu prasību izpilda uzreiz. Lietotnes datubāze, kas augusi desmit gadus, parasti ne (Group Replication prasības):
- Tikai InnoDB. Citi dzinēji, arī
MEMORY, var izraisīt kļūdas. Konvertējiet tos un bloķējiet jaunus ardisabled_storage_engines. - Katrai tabulai vajag primāro atslēgu vai unikālu atslēgu bez NULL. Group Replication to izmanto, lai noteiktu, kuras rindas katra transakcija skāra. Vispirms atrodiet pārkāpējus:
-- Tables without a primary key block Group Replication SELECT t.table_schema, t.table_name FROM information_schema.tables t LEFT JOIN information_schema.table_constraints c ON c.table_schema = t.table_schema AND c.table_name = t.table_name AND c.constraint_type = 'PRIMARY KEY' WHERE t.table_type = 'BASE TABLE' AND c.constraint_name IS NULL AND t.table_schema NOT IN ('mysql', 'sys', 'information_schema', 'performance_schema'); - GTID ieslēgti.
gtid_mode=ONunenforce_gtid_consistency=ONnav noklusējums. Esošā replikācijas vidē GTID ieslēgšana ir atsevišķa neliela migrācija. - Vienādi
lower_case_table_namesundefault_table_encryptionvisos dalībniekos. - Nav globālo replikācijas filtru. Filtrēšana dažos dalībniekos sagrautu vienošanos.
[mysqld]
server_id = 1 # unique per member
gtid_mode = ON # not the default
enforce_gtid_consistency = ON # not the default
disabled_storage_engines = "MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"
# binlog, log_replica_updates and ROW format are already defaults in 8.4
MySQL 8.4 binārā žurnalēšana, log_replica_updates un rindu formāta žurnalēšana jau ir ieslēgtas pēc noklusējuma. Arī daudzpavedienu izpildītājs (applier) ir ieslēgts pēc noklusējuma ar 4 pavedieniem, un tam vajag replica_preserve_commit_order=ON.
Izvēlieties konsekvences līmeni apzināti
8.4 versijā noklusējuma group_replication_consistency ir BEFORE_ON_PRIMARY_FAILOVER: pēc pārslēgšanās jaunās transakcijas jaunajā primārajā gaida, līdz tas izpildījis vecā primārā uzkrājumu, tāpēc klienti tūlīt pēc pārslēgšanās nelasa vecas vērtības (konsekvences garantijas). Cena ir pauze pārslēgšanās laikā, kas aug līdz ar uzkrājumu. Citi līmeņi:
EVENTUAL: nekas negaida; ātrākais, bet iespējama novecojusi lasīšana sekundārajos un pēc pārslēgšanās.BEFORE: transakcija gaida, līdz visas iepriekšējās transakcijas izpildītas lokāli. Noder sesijai, kurai no sekundārā jāizlasa savi ieraksti.AFTER: lasīšanas/rakstīšanas transakcija gaida, līdz tās izmaiņas izpildītas visos pārējos dalībniekos. Noderīgi grupām ar pārsvarā lasīšanu, dārgi rakstīšanas slodzei.BEFORE_AND_AFTER: abi kopā, ar lielāko aizturi.
Mainīgo var iestatīt katrai sesijai, tāpēc atstājiet globālo noklusējumu un paaugstiniet to tikai koda ceļiem, kam tas vajadzīgs.
Noklusējumi, kurus vērts mainīt
Pēc noklusējuma dalībnieks, kas pēc tīkla sadalīšanās nonāk mazākumā, gaida mūžīgi: group_replication_unreachable_majority_timeout noklusējums ir 0. Tas neko nevar apstiprināt (commit), tāpēc dati ir drošībā, bet klienti, kas joprojām tam pieslēgti, karājas. Ar ierobežotu taimautu kļūme kļūst redzama: kad tas beidzas, mazākuma neapstiprinātās transakcijas tiek atceltas, dalībnieks pāriet stāvoklī ERROR, mēģina pievienoties atpakaļ super read only režīmā un, ja neizdodas, izpilda group_replication_exit_state_action (noklusējums OFFLINE_MODE):
-- A member cut off in a minority gives up after 30 s
SET PERSIST group_replication_unreachable_majority_timeout = 30;
-- after failed rejoin attempts it follows this action (already the default)
SET PERSIST group_replication_exit_state_action = 'OFFLINE_MODE';
Aizdomās turētu dalībnieku pēc noklusējuma izslēdz 5 sekundes pēc sākotnējā 5 sekunžu noteikšanas perioda (group_replication_member_expel_timeout), un tas mēģina pievienoties atpakaļ 3 reizes (group_replication_autorejoin_tries). Tīklos ar īslaicīgiem traucējumiem lielāks izslēgšanas taimauts samazina liekas izslēgšanas, bet palēnina kļūmju apstrādi. Izvēlieties vērtību pēc sava tīkla, nevis pēc bloga ieraksta, arī mūsējā.
dba.checkInstanceConfiguration(), dba.configureInstance()), izveido grupu un pievieno dalībniekus. MySQL Router, kas inicializēts (bootstrap) pret klasteri, pēc noklusējuma sūta klasiskā protokola lasīšanas/rakstīšanas trafiku uz portu 6446 un tikai lasīšanas trafiku uz 6447 (Router inicializēšana), un pēc pārslēgšanās seko primārajam. Izmantojiet tos, ja vien nav iemesla to nedarīt; no rokām būvētas grupas ir vieta, no kurienes nāk lielākā daļa dīvaino incidentu, ko redzam.Monitorings, kam ir nozīme
SELECT member_host, member_state, member_role
FROM performance_schema.replication_group_members;
SELECT member_id,
count_transactions_in_queue, -- waiting for certification
count_transactions_remote_in_applier_queue, -- certified, waiting to apply
count_conflicts_detected
FROM performance_schema.replication_group_member_stats;
member_statevisur jābūtONLINE.RECOVERINGnozīmē, ka dalībnieks vēl panāk pārējos,UNREACHABLEnozīmē, ka kļūmju noteikšana to tur aizdomās, unERRORnozīmē, ka tas pārtrauca dalību pēc izpildes vai atjaunošanas kļūdas (replication_group_members).- Izpildes rinda (
count_transactions_remote_in_applier_queue) ir Group Replication versija repliku aizturei. Cēloņi un risinājumi lielā mērā sakrīt ar klasisko replikāciju; skatiet mūsu rokasgrāmatu par MySQL replikācijas aizturi. - Konflikti (
count_conflicts_detected) viena primārā režīmā jātur tuvu nullei. Augošs skaits norāda uz multi-primary rakstīšanu tajās pašās rindās (dalībnieku statistika).
Lielās datubāzēs
Group Replication uzvedas vienādi uz 10 GB un 10 TB, bet rezerves pazūd. Lūk, kas sāp mērogā:
- Transakcijas izmēra limits.
group_replication_transaction_size_limitnoklusējums ir 150 000 000 baitu, aptuveni 143 MB. Lielākas transakcijas tiek atceltas. Pagājušā gada rinduDELETEvai lielsLOAD DATA, kas asinhronajā replikācijā strādāja, tagad neizdodas. Sadaliet tos mazās daļās. - Lieli ziņojumi noved pie dalībnieku izslēgšanas. Rokasgrāmata brīdina: ja transakcijas ziņojumu nevar nokopēt starp dalībniekiem 5 sekunžu logā, dalībniekus var turēt aizdomās un izslēgt tikai tāpēc, ka tie ir aizņemti. Limita palielināšana bez izslēgšanas taimauta palielināšanas to pasliktina.
- Plūsmas kontrole bremzē primāro. Kad sertificēšanas vai izpildes rinda jebkurā dalībniekā pārsniedz 25 000 transakciju (noklusējuma sliekšņi), plūsmas kontrole bremzē rakstītājus. Viens sekundārais uz lēnākiem diskiem vai viens, kas atkārto garu
ALTER TABLE, palēnina commit visai lietotnei. Mūsu pieredzē tas ir biežākais pieteikums "datubāze kļuva lēna pēc pārejas uz InnoDB Cluster". - Dalībnieka pievienošana nozīmē visa kopēšanu. Pievienojamais dalībnieks atjaunojas no donora binārā žurnāla vai ar clone spraudni, ja starpība ir liela vai vajadzīgie binlogi jau dzēsti (izkliedētā atjaunošana). Bez clone spraudņa, ja binlogu vairs nav, rezerves varianta nav. Daudzu terabaitu datu kopā klonēšana ir pilna kopija pa tīklu, tāpēc plānojiet joslas platumu, donora I/O un stundas, ko tas aizņem, un nesāciet to slodzes pīķī.
- Attālums maksā commit laiku. Rokasgrāmata saka, ka Group Replication paredzēts dalībniekiem, kas atrodas ļoti tuvu viens otram, un gan aizture, gan joslas platums ietekmē stabilitāti. Mūsu pieredzē katrs commit maksā vismaz vienu turp-atpakaļ ceļu līdz vairākumam, tāpēc dalībnieks citā reģionā pievieno šo aizturi katrai rakstīšanai. Turiet vienu grupu vienā reģionā (izkliedētu pa zonām) un katastrofu atjaunošanai starp klasteriem izmantojiet asinhrono replikāciju; kompromisi aprakstīti mūsu mācībās no mākoņa zonu kļūmēm.
- Gap locks un
LOCK TABLESsertificēšanai nav redzami. Lietotnes, kas koordinācijai paļaujas uzGET_LOCK()vai tabulu bloķēšanu, jāpārskata, īpaši multi-primary režīmā. - Trenējiet pārslēgšanos ar īstiem datiem. Nogaliniet primāro reālistiskas rakstīšanas slodzes laikā un izmēriet, cik ilgi lietotne redz kļūdas un cik ilgi
BEFORE_ON_PRIMARY_FAILOVERaiztur jaunās transakcijas. Skaitļi no tukša testa klastera neko nepasaka par noslogotu 5 TB klasteri.
Galvenās atziņas
- Group Replication vienojas par commit secību vairākumā; sekundārie izmaiņas joprojām izpilda pēc tam.
- Darbiniet nepāra skaitu dalībnieku, parasti 3 vai 5, vienā reģionā; maksimums ir 9.
- Pirms migrācijas salabojiet tabulas bez primārās atslēgas, ne-InnoDB tabulas un GTID iestatījumus.
- Noklusējuma konsekvence 8.4 ir
BEFORE_ON_PRIMARY_FAILOVER; paaugstiniet to sesijas līmenī tikai tur, kur vajag. - Iestatiet ierobežotu
group_replication_unreachable_majority_timeout; noklusējums 0 gaida mūžīgi. - Lielos datos sadaliet rakstīšanu zem 143 MB limita, sekojiet plūsmas kontroles rindām, uzstādiet clone spraudni un plānojiet dalībnieku pievienošanu.