Arhitektūra

ClickHouse Keeper: uzstādīšana, uzraudzība un migrācija no ZooKeeper

Katra replicētā ClickHouse tabula ir atkarīga no koordinācijas servisa. Kad tas ir lēns, palēninās ievietošana; kad tas zaudē kvorumu, tabulas kļūst tikai lasāmas. ClickHouse Keeper ir iebūvētais ZooKeeper aizstājējs. Šeit ir, kā to darbināt, ko uzraudzīt un kā migrēt, nezaudējot metadatus.

· 12 min lasīšanai · AG Data komanda

ClickHouse Keeper ir koordinācijas serviss, no kura atkarīgas ReplicatedMergeTree tabulas un ON CLUSTER DDL. Tas runā ZooKeeper klienta protokolā, konsensam izmanto Raft un tiek piegādāts tajā pašā pakotnē, kur ClickHouse. Ja darbināt replicētu ClickHouse, Keeper (vai ZooKeeper) ir vissvarīgākā komponente, kuru jūs, visticamāk, neuzraugāt.

Ko Keeper dara un ar ko tas atšķiras no ZooKeeper

Replikas reģistrē Keeper daļas (parts), apvienošanas un mutācijas, un ON CLUSTER vaicājumi tur tiek likti rindā. Keeper ir rakstīts C++, izmanto Raft implementāciju NuRaft un pēc noklusējuma nodrošina linearizējamus ierakstus un nelinearizējamus lasījumus, tādas pašas garantijas kā ZooKeeper. Standarta ZooKeeper klienti var tam pieslēgties (ClickHouse Keeper dokumentācija).

Atšķirības, kas praksē ir svarīgas:

Iebūvēts vai atsevišķs?

Keeper var darboties clickhouse-server iekšienē (pievienojot servera konfigurācijai sadaļu <keeper_server>) vai kā atsevišķs clickhouse-keeper process. Iebūvēts variants der maziem klasteriem un testa vidēm. Produkcijā mēs darbinām Keeper atsevišķi, uz trim nelieliem saviem serveriem. Tā ir mūsu pieredze, nevis dokumentēts noteikums, bet iemesli ir konkrēti: smags vaicājums vai OOM uz ClickHouse mezgla tad nevar līdzi nogāzt Keeper dalībnieku, un ClickHouse var pārstartēt, neaizskarot kvorumu. Pati dokumentācija iesaka koordinācijas žurnālus glabāt uz nenoslogotiem mezgliem.

Trīs mezglu konfigurācija

<clickhouse>
  <keeper_server>
    <tcp_port>9181</tcp_port>          <!-- default is 2181 -->
    <server_id>1</server_id>           <!-- unique per node: 1, 2, 3 -->
    <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
    <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
    <coordination_settings>
      <operation_timeout_ms>10000</operation_timeout_ms>
      <session_timeout_ms>30000</session_timeout_ms>
    </coordination_settings>
    <raft_configuration>
      <server><id>1</id><hostname>keeper1.internal</hostname><port>9234</port></server>
      <server><id>2</id><hostname>keeper2.internal</hostname><port>9234</port></server>
      <server><id>3</id><hostname>keeper3.internal</hostname><port>9234</port></server>
    </raft_configuration>
  </keeper_server>
</clickhouse>

Pēc tam norādiet katram ClickHouse serverim visus Keeper mezglus:

<!-- on every ClickHouse server -->
<zookeeper>
  <node><host>keeper1.internal</host><port>9181</port></node>
  <node><host>keeper2.internal</host><port>9181</port></node>
  <node><host>keeper3.internal</host><port>9181</port></node>
</zookeeper>

Kvorums: kāpēc trīs un ko nozīmē viens mezgls

Raft vajag dalībnieku vairākumu, lai pieņemtu ierakstus. Trīs mezglu Keeper klasteris turpina darboties, ja viens mezgls izkrīt; piecu mezglu klasteris iztur divus. Divi mezgli ir sliktāk nekā viens: zaudējot jebkuru, ieraksti apstājas. Viens mezgls ir pieņemams tikai tur, kur īslaicīga koordinācijas zaudēšana ir pieņemama.

Nav kvoruma, nav replicētu ierakstu. Bez strādājoša Keeper vairākuma INSERT replicētā tabulā izraisa izņēmumu, un serveris, kas startē, kamēr Keeper nav pieejams, pārslēdz savas replicētās tabulas tikai lasīšanas režīmā (replikācijas dokumentācija). Šo kļūmi no ClickHouse puses aprakstām rakstā "Table is in readonly mode".

Keeper uzraudzība

# is it alive, and what role does it have?
echo ruok | nc keeper1.internal 9181      # imok
echo isro | nc keeper1.internal 9181      # rw / ro
echo mntr | nc keeper1.internal 9181 | grep -E \
  'zk_server_state|zk_followers|zk_synced_followers|zk_avg_latency|zk_max_latency|zk_outstanding_requests|zk_znode_count|zk_approximate_data_size'

-- from ClickHouse: which Keeper node each server is connected to
SELECT name, host, port, connected_time, is_expired, session_timeout_ms
FROM system.zookeeper_connection;

Par ko mēs brīdinām: nav līdera vai ir vairāk nekā viens; zk_synced_followers zem gaidītā skaita; zk_outstanding_requests ilgstoši virs nulles; zk_max_latency, kas dienu gaitā aug; brīvā vieta žurnālu un momentuzņēmumu ceļos.

Migrācija no ZooKeeper

Pakāpeniskas migrācijas nav. Dokumentētajai procedūrai vajag īsu ierakstu iesaldēšanu:

  1. Apturiet datu ievadi uz visiem ClickHouse mezgliem un apturiet fona darbus, piemēram, apvienošanu (merges).
  2. Apturiet visus ZooKeeper mezglus. Pēc izvēles vienreiz palaidiet un apturiet līderi, lai piespiestu konsekventu momentuzņēmumu.
  3. Konvertējiet datus ar clickhouse-keeper-converter (vajag ZooKeeper 3.4 vai jaunāku).
  4. Nokopējiet iegūto momentuzņēmumu uz visiem Keeper mezgliem, pirms kāds no tiem tiek palaists.
  5. Norādiet ClickHouse uz Keeper, palaidiet Keeper visos mezglos, pārstartējiet ClickHouse.
  6. Salīdziniet metrikas ar bāzes līniju pirms migrācijas, tad atsāciet apvienošanu un datu ievadi.
# all ClickHouse nodes: stop inserts, then
SYSTEM STOP MERGES;
# stop every ZooKeeper node, then convert
clickhouse-keeper-converter \
  --zookeeper-logs-dir /var/lib/zookeeper/version-2 \
  --zookeeper-snapshots-dir /var/lib/zookeeper/version-2 \
  --output-dir /var/lib/clickhouse/coordination/snapshots
# copy the snapshot to ALL Keeper nodes before starting any of them

Vispirms izmēģiniet to uz kopijas. Pati konvertēšana ir ātra; dīkstāve galvenokārt ir saskaņota visu mezglu apturēšana un restarts.

Atjaunošana pēc kvoruma zaudēšanas

Ja divi no trim mezgliem ir zuduši neatgriezeniski, Raft nevar sevi pārkonfigurēt. Keeper tam ir atjaunošanas režīms, un dokumentācija to sauc par pēdējo līdzekli: pārliecinieties, ka izkritušie mezgli nevar atgriezties, izvēlieties mezglu ar visjaunāko stāvokli, izveidojiet tā žurnālu un momentuzņēmumu direktoriju rezerves kopiju, atjauniniet konfigurāciju visiem paredzētajiem dalībniekiem, tad ieslēdziet atjaunošanu šajā mezglā ar rcvr vai restartu ar --force-recovery. Jaunos mezglus palaidiet pa vienam, gaidot, līdz mntr rāda follower, pirms palaižat nākamo.

Vēl divi brīdinājumi no dokumentācijas: mezgla hostname maiņa ir tas pats, kas servera noņemšana un atkārtota pievienošana, kas bez kvoruma var būt neiespējama, un pirms disku izkārtojuma maiņas jāizveido žurnālu un momentuzņēmumu rezerves kopija.

Lielos klasteros: kur Keeper sāp

Trīs mezglu testa klasteris ar dažām tabulām Keeper nekad nenoslogo. Šīs ir problēmas, ko redzam lielā mērogā:

Galvenās atziņas

ClickHouse ClickHouse Keeper ZooKeeper Replikācija
Sadarbība ar mums

Keeper vai ZooKeeper rada replikācijas problēmas?

Mēs projektējam un uzturam ClickHouse Keeper produkcijas klasteriem, migrējam no ZooKeeper un atjaunojam klasterus, kas zaudējuši kvorumu vai kļuvuši tikai lasāmi.

Sazināties Vairāk no emuāra