ClickHouse iestrēgušas mutācijas ir viena no mulsinošākajām problēmām komandām, kas ClickHouse lieto nesen. ALTER TABLE ... UPDATE vai DELETE atgriežas uzreiz, bet dati nemainās vai mainās vienā replikā, bet citā ne. Iemesls ir tas, ka mutācija nav vaicājums. Tas ir fona darbs, kas pārraksta datu daļas, un, ja tas neizdodas, tas klusi mēģina atkal. Diagnoze sākas system.mutations.
Kā mutācijas patiesībā darbojas
Daži fakti no dokumentācijas izskaidro gandrīz katru "iestrēgušu" gadījumu (ALTER):
- Mutācijas pēc noklusējuma ir asinhronas. ALTER atgriežas, tiklīdz mutācijas ieraksts ir saglabāts. Darbs notiek fonā, līdzīgi kā merge.
- MergeTree tabulās mutācija pārraksta veselas datu daļas. Vienas rindas maiņa 50 GB daļā nozīmē jaunu failu rakstīšanu šai daļai, nevis rindas labošanu uz vietas.
- Mutācijas ir pilnībā sakārtotas pēc izveides laika un katrai daļai tiek piemērotas šādā secībā. Mutācija, kas nevar pabeigties, aiztur katru nākamo šīs tabulas mutāciju.
- Dati, kas ievietoti pirms mutācijas iesniegšanas, tiek mutēti. Dati, kas ievietoti pēc tam, ne. Mutācijas nebloķē ievietošanu.
- Atomiskuma nav: kamēr mutācija darbojas, SELECT var redzēt mutētu un nemutētu daļu sajaukumu.
- Vieglais
DELETE FROMarī ir mutācija. Tas kļūst parALTER TABLE ... UPDATE _row_exists = 0 WHERE ...(DELETE). Tas ir lētāks, bet gaida tajā pašā rindā.
Ja gribat, lai klients gaida, to nosaka iestatījums mutations_sync. 0 ir asinhroni (noklusējums), 1 gaida pašreizējā serverī, 2 gaida visās replikās, bet 3 gaida tikai aktīvās replikas (mutations_sync).
1. solis: nepabeigto mutāciju saraksts
SELECT database, table, mutation_id, command, create_time,
parts_to_do, is_done, latest_failed_part, latest_fail_time, latest_fail_reason
FROM system.mutations
WHERE is_done = 0
ORDER BY create_time;
Svarīgās kolonnas (system.mutations):
parts_to_do: cik daļas vēl jāpārraksta. Ja skaitlis laika gaitā samazinās, mutācija ir lēna, nevis iestrēgusi.latest_fail_reason,latest_failed_part,latest_fail_time: pēdējais izņēmums un daļa un laiks, kad tas notika. Ja tie ir aizpildīti, atbilde parasti ir rokā.command: precīzs teksts pēcALTER TABLE. Izlasiet to uzmanīgi. Daudzas iestrēgušas mutācijas ir kāda pirms trim dienām izdarīta drukas kļūda.
Replicētā klasterī pārbaudiet katru repliku, jo katra izpilda mutāciju uz savām daļām:
-- the same across all replicas of a cluster
SELECT hostName() AS host, database, table, mutation_id, parts_to_do, latest_fail_reason
FROM clusterAllReplicas('default', system.mutations)
WHERE is_done = 0;
1. cēlonis: izteiksme neizdodas uz daļas datu
ALTER TABLE events UPDATE amount = toDecimal64(raw_amount, 2) WHERE 1;
-- returns immediately, then fails in the background on rows where
-- raw_amount is not a number; latest_fail_reason shows the exception
Šo piemēru izmanto pati KILL dokumentācija: mutācija, kas izsauc funkciju, kura uz dažām rindām met izņēmumu, nekad nevar pabeigties (KILL). Tā mēģina atkal, neizdodas uz tās pašas daļas un bloķē visu, kas rindā aiz tās. Datu labošana nepalīdz, jo mutācija sastaps nākamo slikto vērtību. Risinājums ir to apturēt un iesniegt versiju, kas apstrādā sliktu ievadi, piemēram, ar OrNull vai OrZero pārveides funkciju.
2. cēlonis: nepietiek diska vietas
Mutācija uzraksta daļas jauno versiju, pirms vecā tiek noņemta, tāpēc tai vajag brīvu vietu tam, ko tā pārraksta. Mūsu pieredzē smagas mutācijas (ALTER TABLE ... DELETE pārraksta visas kolonnas) tabulās ar ļoti lielām daļām apstājas serveros, kas pie 80% diska noslogojuma izskatās kārtībā. Salīdziniet brīvo vietu ar lielākajām daļām:
SELECT name, formatReadableSize(free_space) AS free, formatReadableSize(total_space) AS total
FROM system.disks;
-- size of the largest active parts of the table being mutated
SELECT partition, name, formatReadableSize(bytes_on_disk) AS size
FROM system.parts
WHERE database = 'default' AND table = 'events' AND active
ORDER BY bytes_on_disk DESC
LIMIT 5;
3. cēlonis: replikas atpaliek vai ir read-only
ReplicatedMergeTree gadījumā mutāciju ieraksti glabājas ZooKeeper vai ClickHouse Keeper, un katra replika tos apstrādā (ALTER). Replika, kas atpaliek, ir bezsaistē vai read-only režīmā, nevar pabeigt savu darba daļu. Klients ar mutations_sync = 2 tad to gaida. Skatieties replikācijas rindā MUTATE_PART uzdevumus:
SELECT database, table, type, new_part_name, num_tries, num_postponed,
postpone_reason, last_exception, is_currently_executing
FROM system.replication_queue
WHERE type = 'MUTATE_PART'
ORDER BY create_time
LIMIT 20;
num_tries un last_exception rāda uzdevumus, kas atkārtoti neizdodas. num_postponed un postpone_reason rāda uzdevumus, kas gaida savu kārtu, piemēram, aiz liela merge vai kamēr daļa tiek ielādēta no citas replikas (system.replication_queue).
4. cēlonis: parts_to_do ir 0, bet mutācija nav pabeigta
Dokumentācija apraksta šo gadījumu: replicētām tabulām mutācija var palikt atvērta, jo ilgs INSERT veido jaunu daļu, kas vēl jāmutē (system.mutations). Pagaidiet, līdz ievietošana beidzas, pirms secināt, ka kaut kas ir salūzis.
5. cēlonis: pārāk daudz mutāciju
Katru mutāciju ir lēti iesniegt un dārgi izpildīt. Aplikācijas, kas sūta vienu ALTER UPDATE uz katru biznesa notikumu, tās ātri sakrāj. MergeTree iestatījumi number_of_mutations_to_delay (noklusējums 500) un number_of_mutations_to_throw (noklusējums 1000) palēnina un pēc tam noraida jaunas mutācijas ar izņēmumu "Too many mutations" (MergeTreeSettings.cpp). Limitu palielināšana tikai noslēpj dizaina problēmu. Apvienojiet izmaiņas mazākā mutāciju skaitā vai pārveidojiet tabulu, kā aprakstīts mūsu rakstā par rindu dzēšanu ClickHouse.
Kā droši apturēt mutāciju
-- mutation_id: 'mutation_N.txt' for MergeTree, a znode name like '0000000012' for Replicated
-- check first: lists what would be cancelled, cancels nothing
KILL MUTATION WHERE database = 'default' AND table = 'events'
AND mutation_id = 'mutation_1842.txt' TEST;
KILL MUTATION WHERE database = 'default' AND table = 'events'
AND mutation_id = 'mutation_1842.txt';
KILL MUTATION atceļ un noņem mutācijas, ko atlasa WHERE nosacījums. TEST forma tikai parāda, kas tiktu atcelts. Divas lietas, kas jāzina pirms palaišanas (KILL):
- Jau veiktās izmaiņas netiek atritinātas. Jau pārrakstītās daļas saglabā jaunās vērtības, pārējās vecās. Pēc apturēšanas tabula var būt daļēji atjaunināta. Plānojiet laboto mutāciju tā, lai to būtu droši palaist uz abu veidu daļām.
- Vienmēr filtrējiet pēc mutation_id.
KILL MUTATION WHERE table = 'events'atceļ katru šīs tabulas gaidošo mutāciju, arī tās, kas bija kārtībā.
Iestrēgusi mutācija bloķē mutācijas aiz sevis. Tā kā mutācijas tiek piemērotas secīgi, viens neizdevies pirmdienas UPDATE var izskaidrot, kāpēc otrdienas DELETE un trešdienas MATERIALIZE INDEX "neko neizdarīja". Vienmēr vispirms skatieties vecāko nepabeigto mutāciju.
Lielās tabulās un klasteros
Mutācija uz mazas testa tabulas pabeidzas, pirms paspējat to apskatīt. Uz miljardiem rindu dominē izmaksu modelis:
- Rakstīšanas pastiprinājums. Mutācija pārraksta katru daļu, kurā var būt atbilstošas rindas. Dažu tūkstošu rindu atjaunināšana, kas izkaisītas pa diviem datu gadiem, var nozīmēt lielākās tabulas daļas pārrakstīšanu. Izmantojiet
IN PARTITION, lai ierobežotu darbu, ja zināt, kur rindas atrodas (ALTER UPDATE). - Konkurence ar merge. Mutācijas izmanto tos pašus fona resursus, ko merge. Mūsu pieredzē smaga mutācija noslogotā tabulā ļauj daļām sakrāties un var pietuvināt tabulu "too many parts" kļūdai.
- Diska rezerve katrā replikā. Katra replika pārraksta savu daļu kopiju. Pārbaudiet brīvo vietu visās, ne tikai tajā, kurai esat pieslēgts.
- Atslēgas nevar atjaunināt.
ALTER UPDATEneatbalsta kolonnas, kas izmantotas primārajā vai partīcijas atslēgā (ALTER UPDATE). To maiņa nozīmē ievietot labotas rindas un noņemt vecās. - Vēstures glabāšana. Tiek glabāti tikai pēdējie
finished_mutations_to_keeppabeigtie ieraksti (noklusējums 100), tāpēc izmeklējiet drīz. Pēc nedēļas pierādījumi var būt pazuduši. - Monitorings. Brīdiniet par vecākās nepabeigtās mutācijas vecumu un par neiztukšotu
latest_fail_reason, ne tikai par skaitu.
-- touch one partition instead of the whole table
ALTER TABLE events UPDATE status = 'refunded'
IN PARTITION '202611'
WHERE order_id IN (1001, 1002, 1003);
Galvenās atziņas
- Mutācijas ir asinhrona veselu daļu pārrakstīšana fonā; ALTER atgriešanās neko nesaka par pabeigšanu.
- Sāciet ar system.mutations WHERE is_done = 0 un izlasiet latest_fail_reason.
- Mutācijas izpildās secīgi: viena neizdevusies bloķē visas nākamās šajā tabulā.
- Replicētās tabulās pārbaudiet katru repliku un system.replication_queue MUTATE_PART uzdevumus.
- KILL MUTATION neatritina pabeigtās daļas; filtrējiet pēc mutation_id un vispirms izmantojiet TEST.
- Lielā mērogā ierobežojiet mutācijas ar IN PARTITION, turiet diska rezervi un apvienojiet izmaiņas, nevis sūtiet vienu ALTER uz katru notikumu.