Incidentu reaģēšana

ClickHouse iestrēgušas mutācijas: kā tās atrast, salabot un apturēt

ALTER TABLE ... UPDATE atgriezās milisekundēs, bet pēc stundām dati joprojām nav mainījušies. Lūk, kā redzēt, kāpēc ClickHouse mutācija ir iestrēgusi, kad KILL MUTATION ir pareizais solis un kāpēc viena slikta mutācija var bloķēt visas nākamās.

· 13 min lasīšanai · AG Data komanda

ClickHouse iestrēgušas mutācijas ir viena no mulsinošākajām problēmām komandām, kas ClickHouse lieto nesen. ALTER TABLE ... UPDATE vai DELETE atgriežas uzreiz, bet dati nemainās vai mainās vienā replikā, bet citā ne. Iemesls ir tas, ka mutācija nav vaicājums. Tas ir fona darbs, kas pārraksta datu daļas, un, ja tas neizdodas, tas klusi mēģina atkal. Diagnoze sākas system.mutations.

Kā mutācijas patiesībā darbojas

Daži fakti no dokumentācijas izskaidro gandrīz katru "iestrēgušu" gadījumu (ALTER):

Ja gribat, lai klients gaida, to nosaka iestatījums mutations_sync. 0 ir asinhroni (noklusējums), 1 gaida pašreizējā serverī, 2 gaida visās replikās, bet 3 gaida tikai aktīvās replikas (mutations_sync).

1. solis: nepabeigto mutāciju saraksts

SELECT database, table, mutation_id, command, create_time,
       parts_to_do, is_done, latest_failed_part, latest_fail_time, latest_fail_reason
FROM system.mutations
WHERE is_done = 0
ORDER BY create_time;

Svarīgās kolonnas (system.mutations):

Replicētā klasterī pārbaudiet katru repliku, jo katra izpilda mutāciju uz savām daļām:

-- the same across all replicas of a cluster
SELECT hostName() AS host, database, table, mutation_id, parts_to_do, latest_fail_reason
FROM clusterAllReplicas('default', system.mutations)
WHERE is_done = 0;

1. cēlonis: izteiksme neizdodas uz daļas datu

ALTER TABLE events UPDATE amount = toDecimal64(raw_amount, 2) WHERE 1;
-- returns immediately, then fails in the background on rows where
-- raw_amount is not a number; latest_fail_reason shows the exception

Šo piemēru izmanto pati KILL dokumentācija: mutācija, kas izsauc funkciju, kura uz dažām rindām met izņēmumu, nekad nevar pabeigties (KILL). Tā mēģina atkal, neizdodas uz tās pašas daļas un bloķē visu, kas rindā aiz tās. Datu labošana nepalīdz, jo mutācija sastaps nākamo slikto vērtību. Risinājums ir to apturēt un iesniegt versiju, kas apstrādā sliktu ievadi, piemēram, ar OrNull vai OrZero pārveides funkciju.

2. cēlonis: nepietiek diska vietas

Mutācija uzraksta daļas jauno versiju, pirms vecā tiek noņemta, tāpēc tai vajag brīvu vietu tam, ko tā pārraksta. Mūsu pieredzē smagas mutācijas (ALTER TABLE ... DELETE pārraksta visas kolonnas) tabulās ar ļoti lielām daļām apstājas serveros, kas pie 80% diska noslogojuma izskatās kārtībā. Salīdziniet brīvo vietu ar lielākajām daļām:

SELECT name, formatReadableSize(free_space) AS free, formatReadableSize(total_space) AS total
FROM system.disks;

-- size of the largest active parts of the table being mutated
SELECT partition, name, formatReadableSize(bytes_on_disk) AS size
FROM system.parts
WHERE database = 'default' AND table = 'events' AND active
ORDER BY bytes_on_disk DESC
LIMIT 5;

3. cēlonis: replikas atpaliek vai ir read-only

ReplicatedMergeTree gadījumā mutāciju ieraksti glabājas ZooKeeper vai ClickHouse Keeper, un katra replika tos apstrādā (ALTER). Replika, kas atpaliek, ir bezsaistē vai read-only režīmā, nevar pabeigt savu darba daļu. Klients ar mutations_sync = 2 tad to gaida. Skatieties replikācijas rindā MUTATE_PART uzdevumus:

SELECT database, table, type, new_part_name, num_tries, num_postponed,
       postpone_reason, last_exception, is_currently_executing
FROM system.replication_queue
WHERE type = 'MUTATE_PART'
ORDER BY create_time
LIMIT 20;

num_tries un last_exception rāda uzdevumus, kas atkārtoti neizdodas. num_postponed un postpone_reason rāda uzdevumus, kas gaida savu kārtu, piemēram, aiz liela merge vai kamēr daļa tiek ielādēta no citas replikas (system.replication_queue).

4. cēlonis: parts_to_do ir 0, bet mutācija nav pabeigta

Dokumentācija apraksta šo gadījumu: replicētām tabulām mutācija var palikt atvērta, jo ilgs INSERT veido jaunu daļu, kas vēl jāmutē (system.mutations). Pagaidiet, līdz ievietošana beidzas, pirms secināt, ka kaut kas ir salūzis.

5. cēlonis: pārāk daudz mutāciju

Katru mutāciju ir lēti iesniegt un dārgi izpildīt. Aplikācijas, kas sūta vienu ALTER UPDATE uz katru biznesa notikumu, tās ātri sakrāj. MergeTree iestatījumi number_of_mutations_to_delay (noklusējums 500) un number_of_mutations_to_throw (noklusējums 1000) palēnina un pēc tam noraida jaunas mutācijas ar izņēmumu "Too many mutations" (MergeTreeSettings.cpp). Limitu palielināšana tikai noslēpj dizaina problēmu. Apvienojiet izmaiņas mazākā mutāciju skaitā vai pārveidojiet tabulu, kā aprakstīts mūsu rakstā par rindu dzēšanu ClickHouse.

Kā droši apturēt mutāciju

-- mutation_id: 'mutation_N.txt' for MergeTree, a znode name like '0000000012' for Replicated
-- check first: lists what would be cancelled, cancels nothing
KILL MUTATION WHERE database = 'default' AND table = 'events'
  AND mutation_id = 'mutation_1842.txt' TEST;

KILL MUTATION WHERE database = 'default' AND table = 'events'
  AND mutation_id = 'mutation_1842.txt';

KILL MUTATION atceļ un noņem mutācijas, ko atlasa WHERE nosacījums. TEST forma tikai parāda, kas tiktu atcelts. Divas lietas, kas jāzina pirms palaišanas (KILL):

Iestrēgusi mutācija bloķē mutācijas aiz sevis. Tā kā mutācijas tiek piemērotas secīgi, viens neizdevies pirmdienas UPDATE var izskaidrot, kāpēc otrdienas DELETE un trešdienas MATERIALIZE INDEX "neko neizdarīja". Vienmēr vispirms skatieties vecāko nepabeigto mutāciju.

Lielās tabulās un klasteros

Mutācija uz mazas testa tabulas pabeidzas, pirms paspējat to apskatīt. Uz miljardiem rindu dominē izmaksu modelis:

-- touch one partition instead of the whole table
ALTER TABLE events UPDATE status = 'refunded'
  IN PARTITION '202611'
  WHERE order_id IN (1001, 1002, 1003);

Galvenās atziņas

ClickHouse Mutācijas Problēmu novēršana Replikācija
Sadarbība ar mums

ClickHouse krājas mutācijas?

Mēs atšķetinām iestrēgušas mutācijas un replikācijas rindas produkcijas ClickHouse klasteros un pārveidojam atjaunināšanas un dzēšanas modeļus, lai tie vairs nesāpētu.

Sazināties Vairāk no emuāra