ClickHouse Keeper ir koordinācijas serviss, no kura atkarīgas ReplicatedMergeTree tabulas un ON CLUSTER DDL. Tas runā ZooKeeper klienta protokolā, konsensam izmanto Raft un tiek piegādāts tajā pašā pakotnē, kur ClickHouse. Ja darbināt replicētu ClickHouse, Keeper (vai ZooKeeper) ir vissvarīgākā komponente, kuru jūs, visticamāk, neuzraugāt.
Ko Keeper dara un ar ko tas atšķiras no ZooKeeper
Replikas reģistrē Keeper daļas (parts), apvienošanas un mutācijas, un ON CLUSTER vaicājumi tur tiek likti rindā. Keeper ir rakstīts C++, izmanto Raft implementāciju NuRaft un pēc noklusējuma nodrošina linearizējamus ierakstus un nelinearizējamus lasījumus, tādas pašas garantijas kā ZooKeeper. Standarta ZooKeeper klienti var tam pieslēgties (ClickHouse Keeper dokumentācija).
Atšķirības, kas praksē ir svarīgas:
- Momentuzņēmumu un žurnālu formāti nav saderīgi ar ZooKeeper, tāpat kā starpserveru protokols. Jaukts ZooKeeper un Keeper ansamblis nav iespējams.
- Dažu ZooKeeper funkciju trūkst:
CONTAINERznode, bērni zem TTL mezgliem, SASL autentifikācija. ACL shēmasworld,authundigestdarbojas. - Keeper nav kaut kas, ko konfigurējat ClickHouse Cloud; šis raksts ir par pašu pārvaldītiem klasteriem.
Iebūvēts vai atsevišķs?
Keeper var darboties clickhouse-server iekšienē (pievienojot servera konfigurācijai sadaļu <keeper_server>) vai kā atsevišķs clickhouse-keeper process. Iebūvēts variants der maziem klasteriem un testa vidēm. Produkcijā mēs darbinām Keeper atsevišķi, uz trim nelieliem saviem serveriem. Tā ir mūsu pieredze, nevis dokumentēts noteikums, bet iemesli ir konkrēti: smags vaicājums vai OOM uz ClickHouse mezgla tad nevar līdzi nogāzt Keeper dalībnieku, un ClickHouse var pārstartēt, neaizskarot kvorumu. Pati dokumentācija iesaka koordinācijas žurnālus glabāt uz nenoslogotiem mezgliem.
Trīs mezglu konfigurācija
<clickhouse>
<keeper_server>
<tcp_port>9181</tcp_port> <!-- default is 2181 -->
<server_id>1</server_id> <!-- unique per node: 1, 2, 3 -->
<log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
<snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
<coordination_settings>
<operation_timeout_ms>10000</operation_timeout_ms>
<session_timeout_ms>30000</session_timeout_ms>
</coordination_settings>
<raft_configuration>
<server><id>1</id><hostname>keeper1.internal</hostname><port>9234</port></server>
<server><id>2</id><hostname>keeper2.internal</hostname><port>9234</port></server>
<server><id>3</id><hostname>keeper3.internal</hostname><port>9234</port></server>
</raft_configuration>
</keeper_server>
</clickhouse>
server_idjābūt unikālam un jāsakrīt ar šī mezglaidsadaļāraft_configuration. Uzturiet id un hostname atbilstību stabilu un lietojiet hostname, nevis IP.- Noklusējuma klienta ports ir 2181, tāpat kā ZooKeeper; ClickHouse piemēros izmantots 9181. Ports 9234 piemērā ir Raft ports starp Keeper mezgliem.
operation_timeout_msnoklusējums ir 10000.session_timeout_msir maksimālais klienta sesijas taimauts (noklusējums 100000, minimums 10000).- Citi noderīgi noklusējumi:
snapshot_distanceunreserved_log_itemsabi ir 100000,snapshots_to_keepir 3, undigest_enabled(reāllaika konsekvences pārbaude) ir ieslēgts.
Pēc tam norādiet katram ClickHouse serverim visus Keeper mezglus:
<!-- on every ClickHouse server -->
<zookeeper>
<node><host>keeper1.internal</host><port>9181</port></node>
<node><host>keeper2.internal</host><port>9181</port></node>
<node><host>keeper3.internal</host><port>9181</port></node>
</zookeeper>
Kvorums: kāpēc trīs un ko nozīmē viens mezgls
Raft vajag dalībnieku vairākumu, lai pieņemtu ierakstus. Trīs mezglu Keeper klasteris turpina darboties, ja viens mezgls izkrīt; piecu mezglu klasteris iztur divus. Divi mezgli ir sliktāk nekā viens: zaudējot jebkuru, ieraksti apstājas. Viens mezgls ir pieņemams tikai tur, kur īslaicīga koordinācijas zaudēšana ir pieņemama.
Keeper uzraudzība
# is it alive, and what role does it have?
echo ruok | nc keeper1.internal 9181 # imok
echo isro | nc keeper1.internal 9181 # rw / ro
echo mntr | nc keeper1.internal 9181 | grep -E \
'zk_server_state|zk_followers|zk_synced_followers|zk_avg_latency|zk_max_latency|zk_outstanding_requests|zk_znode_count|zk_approximate_data_size'
-- from ClickHouse: which Keeper node each server is connected to
SELECT name, host, port, connected_time, is_expired, session_timeout_ms
FROM system.zookeeper_connection;
ruokatgriežimok, ja serveris darbojas;isroatgriežrovairw;mntratgriež metrikas, tostarpzk_server_state(leader, follower),zk_followersunzk_synced_followers, latentumu, neapstrādātos pieprasījumus, znode skaitu un aptuveno datu apjomu.- Četru burtu komandām jābūt sarakstā
four_letter_word_white_list. Saraksts tiek nolasīts startēšanas laikā, tāpēc tā maiņai vajag restartu. Noklusējuma sarakstā jau irruok,mntr,isro,statunsrvr. - Kubernetes pārbaudēm
http_controlnodrošina HTTP gatavības galapunktu, piemēram,/ready. - ClickHouse pusē
system.zookeeper_connectionrāda, kuram Keeper mezglam katrs serveris pieslēgts, vai sesija ir beigusies un sesijas taimautu (sistēmas tabulas dokumentācija).
Par ko mēs brīdinām: nav līdera vai ir vairāk nekā viens; zk_synced_followers zem gaidītā skaita; zk_outstanding_requests ilgstoši virs nulles; zk_max_latency, kas dienu gaitā aug; brīvā vieta žurnālu un momentuzņēmumu ceļos.
Migrācija no ZooKeeper
Pakāpeniskas migrācijas nav. Dokumentētajai procedūrai vajag īsu ierakstu iesaldēšanu:
- Apturiet datu ievadi uz visiem ClickHouse mezgliem un apturiet fona darbus, piemēram, apvienošanu (merges).
- Apturiet visus ZooKeeper mezglus. Pēc izvēles vienreiz palaidiet un apturiet līderi, lai piespiestu konsekventu momentuzņēmumu.
- Konvertējiet datus ar
clickhouse-keeper-converter(vajag ZooKeeper 3.4 vai jaunāku). - Nokopējiet iegūto momentuzņēmumu uz visiem Keeper mezgliem, pirms kāds no tiem tiek palaists.
- Norādiet ClickHouse uz Keeper, palaidiet Keeper visos mezglos, pārstartējiet ClickHouse.
- Salīdziniet metrikas ar bāzes līniju pirms migrācijas, tad atsāciet apvienošanu un datu ievadi.
# all ClickHouse nodes: stop inserts, then
SYSTEM STOP MERGES;
# stop every ZooKeeper node, then convert
clickhouse-keeper-converter \
--zookeeper-logs-dir /var/lib/zookeeper/version-2 \
--zookeeper-snapshots-dir /var/lib/zookeeper/version-2 \
--output-dir /var/lib/clickhouse/coordination/snapshots
# copy the snapshot to ALL Keeper nodes before starting any of them
Vispirms izmēģiniet to uz kopijas. Pati konvertēšana ir ātra; dīkstāve galvenokārt ir saskaņota visu mezglu apturēšana un restarts.
Atjaunošana pēc kvoruma zaudēšanas
Ja divi no trim mezgliem ir zuduši neatgriezeniski, Raft nevar sevi pārkonfigurēt. Keeper tam ir atjaunošanas režīms, un dokumentācija to sauc par pēdējo līdzekli: pārliecinieties, ka izkritušie mezgli nevar atgriezties, izvēlieties mezglu ar visjaunāko stāvokli, izveidojiet tā žurnālu un momentuzņēmumu direktoriju rezerves kopiju, atjauniniet konfigurāciju visiem paredzētajiem dalībniekiem, tad ieslēdziet atjaunošanu šajā mezglā ar rcvr vai restartu ar --force-recovery. Jaunos mezglus palaidiet pa vienam, gaidot, līdz mntr rāda follower, pirms palaižat nākamo.
Vēl divi brīdinājumi no dokumentācijas: mezgla hostname maiņa ir tas pats, kas servera noņemšana un atkārtota pievienošana, kas bez kvoruma var būt neiespējama, un pirms disku izkārtojuma maiņas jāizveido žurnālu un momentuzņēmumu rezerves kopija.
Lielos klasteros: kur Keeper sāp
Trīs mezglu testa klasteris ar dažām tabulām Keeper nekad nenoslogo. Šīs ir problēmas, ko redzam lielā mērogā:
- Slodze seko daļām. Katrs INSERT replicētā tabulā pievieno Keeper aptuveni desmit ierakstus, un replikācijas dokumentācija iesaka ievietot pakās, ne vairāk kā vienu INSERT sekundē. Tur tiek koordinēta arī apvienošana un ielāde (fetch). Daudz mazu ievietojumu simtos tabulu nozīmē nepārtrauktu Keeper ierakstu plūsmu. Ievietojumu apvienošana pakās palīdz gan ClickHouse, gan Keeper, skatiet "Too many parts".
- Diska latentums ir ierakstu latentums. Ar ieslēgtu
force_sync(noklusējums) koordinācijas žurnālam jāatrodas lokālā diskā, un katrs ieraksts to gaida. Noslogots vai IOPS ierobežots sējums tieši izpaužas kā lēnāki ievietojumi un augstākszk_max_latency. - Atmiņa un momentuzņēmumi aug līdz ar znode. Mūsu pieredzē Keeper atmiņa seko
zk_znode_countunzk_approximate_data_size, un momentuzņēmumi aug līdz ar tiem. Pārpalikušie metadati no dzēstām tabulām un mirušām replikām sakrājas; satīriet replikas, kuras esat noņēmuši. - ON CLUSTER rindas. Izkliedētais DDL darbojas caur Keeper. Iestrēdzis mezgls var atstāt uzdevumus gaidot, un lielos klasteros šīs rindas vērts uzraudzīt atsevišķi.
- Restarti ilgst ilgāk. Lielāki žurnāli un momentuzņēmumi nozīmē ilgāku startēšanu; dokumentācija iesaka samazināt
log_startup_read_max_streamsuz meklēšanas ierobežotas krātuves. Plānojiet pakāpeniskus restartus pa vienam mezglam un pārliecinieties, ka mezgls atgriezies kā follower, pirms ķeraties pie nākamā.
Galvenās atziņas
- ClickHouse Keeper ir uz Raft balstīts, ar ZooKeeper saderīgs koordinācijas serviss; tas nevar dalīt ansambli ar ZooKeeper.
- Darbiniet trīs (vai piecus) mezglus, ideālā gadījumā atsevišķi uz saviem serveriem, ar stabiliem id un hostname.
- Uzraugiet ar
ruok,isro,mntrunsystem.zookeeper_connection; brīdiniet par līdera stāvokli, sinhronizētajiem sekotājiem, latentumu un neapstrādātajiem pieprasījumiem. - Migrācijai no ZooKeeper vajag ierakstu iesaldēšanu un
clickhouse-keeper-converter; nokopējiet momentuzņēmumu uz katru mezglu, pirms palaižat kādu. --force-recoveryir pēdējais līdzeklis pēc neatgriezeniskas kvoruma zaudēšanas; vispirms izveidojiet saglabājušās mezgla rezerves kopiju.- Lielā mērogā Keeper slodze seko ievietojumu un daļu apjomam, un tā latentums seko diska latentumam.