Redis Sentinel ir iebūvētā augstas pieejamības sistēma Redis, kas nedarbojas Cluster režīmā. Sentinel procesu grupa uzrauga master un tā replikas, vienojas, kad master nav pieejams, paaugstina repliku un pasaka klientiem, kur ir jaunais master. Tas strādā labi, bet lielākā daļa ar to saistīto avāriju, ko redzam, rodas no uzstādījumiem, kas nekad nav testēti ar īstu atteici.
Ko Sentinel dara un ko nedara
Saskaņā ar Sentinel dokumentāciju Sentinel veic četrus darbus: uzraudzību, paziņojumus, automātisku pārslēgšanos un konfigurācijas nodrošināšanu, tāpēc klienti jautā Sentinel pašreizējā master adresi, nevis to iekodē. Tas nesadala datus un nemērogo rakstīšanu; tam vajag Redis Cluster. Un tas nepadara replikāciju sinhronu, kas ir ļoti svarīgi tālāk.
Minimāla konfigurācija, kas tiešām ir izturīga
# sentinel.conf, identical on three independent hosts
port 26379
sentinel monitor mymaster 10.0.1.10 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
sentinel parallel-syncs mymaster 1
sentinel auth-pass mymaster <redis-password>
# start it (either form works)
redis-sentinel /etc/redis/sentinel.conf
redis-server /etc/redis/sentinel.conf --sentinel
- Trīs Sentinel uz trim neatkarīgām mašīnām. Dokumentācija ir skaidra: izturīgam uzstādījumam vajag vismaz trīs, izvietotus uz hostiem, kas atsakās neatkarīgi. Divi Sentinel nekad nav derīgs uzstādījums, jo pārslēgšanās prasa vairākumu.
- Ports 26379 ir noklusējums, un tam jābūt sasniedzamam starp visiem Sentinel, citādi tie nevar vienoties un pārslēgšanās nekad nenotiek.
- Konfigurācijas failam jābūt rakstāmam. Bez tā Sentinel atsakās startēt, un tas pats pārraksta failu katru reizi, kad mainās tā stāvoklis, tāpēc mūsu pieredzē konfigurācijas pārvaldnieki, kas to pārraksta, var klusi atcelt pārslēgšanās rezultātu.
down-after-millisecondsir laiks, cik ilgi instancei jāneatbild uz PING (vai jāatbild ar kļūdām), lai Sentinel to uzskatītu par nepieejamu.parallel-syncsnosaka, cik replikas vienlaikus tiek pārvirzītas uz jauno master.- Ja Redis ir
requirepass, Sentinel vajagsentinel auth-pass, un replikām vajagmasterauth. Iestatiet abus katrā mezglā, jo jebkurš no tiem var kļūt par master.
Kvorums nav vairākums
Šī ir visvairāk pārprastā Sentinel daļa. Pēdējais sentinel monitor arguments ir kvorums: Sentinel skaits, kam jāvienojas, ka master nav sasniedzams. To izmanto tikai atteices noteikšanai.
- Viens Sentinel, kas nesaņem atbildes, atzīmē master kā SDOWN (subjektīvi nepieejams). Tas viens pats nekad neizraisa pārslēgšanos.
- Kad vismaz kvorums Sentinel ziņo par SDOWN, master kļūst ODOWN (objektīvi nepieejams), un tiek ierosināta pārslēgšanās.
- Lai to tiešām veiktu, pārslēgšanu vadošajam Sentinel jāsaņem atļauja no visu Sentinel vairākuma (vai vairāk, ja kvorums ir lielāks par vairākumu). Tātad ar 5 Sentinel un kvorumu 2 divi var ierosināt pārslēgšanos, bet trim tā jāatļauj.
Sekas: Sentinel nekad nepārslēdzas nodalījumā, kurā ir tikai Sentinel mazākums. Katra atļautā pārslēgšanās saņem unikālu konfigurācijas epohu, tāpēc, nodalījumiem savienojoties, uzvar jaunākā konfigurācija. SENTINEL CKQUORUM pārbauda, vai pašreizējie Sentinel var sasniegt gan kvorumu, gan vairākumu; palaidiet to pēc katras izmaiņas.
redis-cli -p 26379 SENTINEL get-master-addr-by-name mymaster
redis-cli -p 26379 SENTINEL ckquorum mymaster
redis-cli -p 26379 SENTINEL replicas mymaster
redis-cli -p 26379 SENTINEL sentinels mymaster
redis-cli -p 26379 INFO sentinel # sentinel_tilt:0 is what you want
Kā Sentinel pazaudē apstiprinātus ierakstus
Dokumentācija par to runā godīgi: tā kā Redis replicē asinhroni, Sentinel nevar garantēt, ka apstiprināti ieraksti pārdzīvos atteici. Klasisks gadījums ir tīkla nodalījums, kas izolē veco master kopā ar dažiem klientiem. Vairākuma puse paaugstina repliku; klienti, kas palikuši pie vecā master, turpina tajā rakstīt; kad nodalījums savienojas, vecais master kļūst par jaunā repliku, un šie ieraksti tiek atmesti.
Šo logu nevar novērst, bet to var ierobežot:
# redis.conf on the master (and on replicas, which may become master)
min-replicas-to-write 1
min-replicas-max-lag 10
Ar šiem iestatījumiem master pārstāj pieņemt rakstīšanu, ja neviena replika nav apstiprinājusi 10 sekunžu laikā. Kompromiss ir skaidrs: ja visas replikas nav pieejamas, arī master atsaka rakstīšanu. Kešatmiņai tā bieži ir nepareiza izvēle; datiem, kas jums svarīgi, parasti pareiza. Kopā ar saprātīgu noturību (skatiet mūsu RDB un AOF salīdzinājumu) tas pārvērš "daži ieraksti pazuduši" par "pazudušas ne vairāk kā dažas sekundes ierakstu".
Docker, NAT un hostu nosaukumi
- Sentinel atrod viens otru ar hello ziņojumiem, kuros paziņo savu IP un portu. Ar pārkartotiem portiem (Docker portu pāradresācija, NAT) tie paziņo adreses, kuras neviens nevar sasniegt. Lietojiet
sentinel announce-ipunsentinel announce-portvai hosta tīklu. - Replikas tiek atrastas no master
INFOizvades. Ja šīs adreses nav sasniedzamas, Sentinel neredz derīgas replikas un nekad nevar pārslēgties. Dokumentācijas risinājums Redis instancēm Docker vidē ir kartēt portus 1:1 vai lietot hosta tīklu. - Lai IP vietā lietotu DNS nosaukumus, ieslēdziet
resolve-hostnames, unannounce-hostnames, ja vēlaties, lai Sentinel klientiem dod nosaukumus, piemēram, TLS sertifikātu pārbaudei. Ne katra klienta bibliotēka šeit gaida nosaukumus.
Ekspluatācijas detaļas, kas iekož vēlāk
- Sentinel nekad neaizmirst. Noņemti Sentinel un mirušas replikas paliek katra Sentinel stāvoklī. Pēc apturēšanas nosūtiet
SENTINEL RESET mymasterkatram atlikušajam Sentinel, vienam pēc otra ar vismaz 30 sekunžu starplaiku, un arSENTINEL MASTERpārbaudiet, vai tie vienojas par skaitu. - TILT režīms. Sentinel ir atkarīgs no sistēmas pulksteņa. Ja tas redz negatīvu vai negaidīti lielu laika lēcienu (2 sekundes vai vairāk), tas ieiet TILT režīmā, turpina uzraudzīt, bet nerīkojas, un iziet pēc 30 sekundēm normālas darbības. To var izraisīt ļoti pārslogotas VM un pulksteņa lēcieni;
INFO sentinelrādasentinel_tilt. replica-priority 0nozīmē, ka replika nekad netiek paaugstināta; noderīgi rezerves vai analītikas replikai citā reģionā. Ja iestatāt prioritātes, iestatiet tās katrā mezglā, ieskaitot pašreizējo master.- Testējiet.
SENTINEL FAILOVER mymasterpiespiež pārslēgšanos, nejautājot citiem Sentinel. Palaidiet to apkopes logā un vērojiet, ko dara jūsu lietojumprogramma, ne tikai Redis.
Sentinel ar lielām datu kopām
Pārslēgšanās mācības uz 200 MB testa instances maz ko pierāda par 60 GB produkcijas datu kopu. Kas mainās:
- Atkārtota sinhronizācija pēc pārslēgšanās. Pēc paaugstināšanas pārējās replikas tiek pārvirzītas uz jauno master. Mūsu pieredzē tām bieži vajag pilnu atkārtotu sinhronizāciju, kas lielā datu kopā nozīmē fork un RDB pārsūtīšanu katrai replikai.
parallel-syncs 1neļauj visām sinhronizēties vienlaikus, par to maksājot ar ilgāku periodu ar mazāk veselām replikām. - Fork pauzes pret
down-after-milliseconds. Lielās instancēs fork aiz BGSAVE vai AOF pārrakstīšanas, lēni diski vai swap var ilgi aizturēt atbildes. Pārāk īss taimauts pārvērš šīs aiztures nevajadzīgās pārslēgšanās. Izmēriet reālos latentuma lēcienus uz produkcijas izmēra datiem un iestatiet taimautu virs tiem. - Novecojušas replikas tiek izlaistas. Replika, kas bijusi atvienota no master ilgāk par desmitkārtīgu
down-after-milliseconds(plus laiks, cik ilgi master nav pieejams), tiek uzskatīta par nederīgu paaugstināšanai. Replika, kas pirms atteices stipri atpalika, var nebūt piemērota. - Atmiņas rezerve. Jaunajam master, sinhronizējošām replikām un fork atmiņa vajadzīga vienlaikus. Plānojiet to katram mezglam, nevis stabilam stāvoklim.
- Kad beigt mērogot uz augšu. Ja viens master vairs nevar noturēt datu kopu vai rakstīšanas ātrumu, Sentinel ir nepareizais rīks, un nākamais solis ir Redis Cluster.
Galvenās atziņas
- Darbiniet vismaz trīs Sentinel uz neatkarīgiem hostiem ar atvērtu portu 26379 starp tiem.
- Kvorums nosaka atteici; pārslēgšanos jāatļauj Sentinel vairākumam.
- Asinhronā replikācija nozīmē, ka apstiprināti ieraksti var pazust; ierobežojiet to ar
min-replicas-to-writeunmin-replicas-max-lag. - Lietojiet Sentinel atbalstošus klientus un salabojiet paziņotās adreses Docker vai NAT vidē.
- Lielām datu kopām plānojiet pilnas atkārtotas sinhronizācijas, fork pauzes un atmiņas rezervi un testējiet pārslēgšanos uz produkcijas izmēra datiem.