Arhitektūra

pg_cron: darbu plānošana PostgreSQL iekšienē bez pārsteigumiem

pg_cron padara PostgreSQL pašu par plānotāju: nakts tīrīšana, partīciju uzturēšana, atsvaidzināšana, VACUUM klusā stundā. To ir viegli uzstādīt un viegli nedaudz sabojāt. Šeit ir uzstādīšana, uzraudzība un tas, kas mainās, kad tabulas ir lielas.

· 15 min lasīšanai · AG Data komanda

pg_cron ir cron stila darbu plānotājs, kas darbojas PostgreSQL iekšienē kā paplašinājums. Jūs uzrakstāt grafiku un SQL komandu, un fona process to izpilda. Nav crontab uz datubāzes servera, nav atsevišķa plānotāja servera, un lielākajā daļā pārvaldīto servisu tas ir vienīgais pieejamais plānotājs. Tāpat ir viegli nonākt pie darbiem, kas klusi neizdodas, sakrājas cits aiz cita vai bloķē lielu tabulu vissliktākajā brīdī.

Ko pg_cron dara, vienā rindkopā

Paplašinājums palaiž fona procesu, kas nolasa darbus no tabulas cron.job. Kad darba laiks pienācis, tas vai nu atver parastu klienta savienojumu ar lokālo serveri caur libpq (pēc noklusējuma), vai palaiž fona procesu (background worker), un izpilda komandu ar tā lietotāja tiesībām, kurš darbu ieplānoja. Daudzi darbi var darboties paralēli, bet viena konkrēta darba vienlaikus darbojas tikai viena instance: ja darbs vēl turpinās, kad pienāk nākamās palaišanas laiks, nākamā palaišana tiek ielikta rindā un sākas, tiklīdz pirmā beidzas (pg_cron README). Šī pēdējā detaļa ir svarīgāka par visu pārējo šajā lapā.

Uzstādīšana

# postgresql.conf (restart required)
shared_preload_libraries = 'pg_cron'
cron.database_name = 'postgres'   # default; pg_cron lives in one database per cluster
cron.timezone = 'GMT'             # default

-- after the restart, as superuser, in cron.database_name
CREATE EXTENSION pg_cron;
GRANT USAGE ON SCHEMA cron TO app_maint;   -- optional

Amazon RDS for PostgreSQL (12.5 un jaunākā) jūs pievienojat pg_cron parametram shared_preload_libraries parametru grupā, pārstartējat instanci un izpildāt CREATE EXTENSION kā lietotājs ar rds_superuser. AWS iesaka turēt max_worker_processes lielāku par cron.max_running_jobs, jo darbs neizdodas, ja pietrūkst fona procesu (RDS pg_cron dokumentācija).

Darbu plānošana

-- named job: purge old rows every night at 03:30 (cron.timezone)
SELECT cron.schedule('purge-events', '30 3 * * *',
  $$CALL purge_old_events()$$);

-- a job that runs in another database
SELECT cron.schedule_in_database('vacuum-orders', '15 2 * * *',
  'VACUUM (ANALYZE) orders', 'shop');

-- last day of the month, and an interval job
SELECT cron.schedule('month-close', '0 12 $ * *', 'CALL close_month()');
SELECT cron.schedule('queue-tick', '30 seconds', 'CALL process_queue()');

-- pause, change, remove
SELECT cron.alter_job(42, active := false);
SELECT cron.alter_job(42, schedule := '0 4 * * *');
SELECT cron.unschedule('purge-events');

Grafikam tiek lietota standarta piecu lauku cron sintakse (parsētājs ņemts no Vixie cron) ar diviem papildinājumiem: $ mēneša dienas laukā nozīmē mēneša pēdējo dienu, un 'N seconds', kur N ir no 1 līdz 59, dod intervāla darbu. Sekundes nevar kombinēt ar citiem laukiem.

Vienmēr dodiet darbiem nosaukumus. cron.unschedule('purge-events') ir daudz drošāk nekā atcerēties, ka darbs 42 ir tīrīšana un darbs 43 ir partīciju nomaiņa. RLS politika nozīmē, ka parastie lietotāji redz un maina tikai savus darbus; superlietotāji un lomas ar bypassrls redz visus.

Nedodiet rakstīšanas tiesības uz cron.job. AWS norāda, ka lietotājs, kas var tieši atjaunināt tabulu, var nomainīt kolonnu username un izpildīt komandas kā lomai ar lielākām tiesībām. Dodiet USAGE uz shēmu un ļaujiet lietot funkcijas.

Uzraudzība: daļa, ko lielākā daļa komandu izlaiž

Neizdevies pg_cron darbs nevienu nepamodina. Ar cron.log_run = on (noklusējums) katra palaišana nonāk tabulā cron.job_run_details ar statusu (running, succeeded, failed), atgriezto ziņojumu un sākuma un beigu laiku. Lasiet to, veidojiet brīdinājumus un tīriet to:

-- what ran in the last 24 hours, slowest first
SELECT j.jobname, d.status, d.return_message,
       d.start_time, d.end_time - d.start_time AS duration
FROM cron.job_run_details d
JOIN cron.job j USING (jobid)
WHERE d.start_time > now() - interval '1 day'
ORDER BY duration DESC NULLS FIRST;

-- failures to alert on
SELECT jobid, start_time, return_message
FROM cron.job_run_details
WHERE status = 'failed' AND start_time > now() - interval '1 hour';

-- the history table is never cleaned automatically
SELECT cron.schedule('cron-history-purge', '0 12 * * *',
  $$DELETE FROM cron.job_run_details WHERE end_time < now() - interval '7 days'$$);

Ko plānot un ko ne

Labi piemērots: novecojušu rindu dzēšana pa daļām, nākamā mēneša partīciju izveide un veco atvienošana, REFRESH MATERIALIZED VIEW CONCURRENTLY, statistikas apkopošana, mērķēts VACUUM (ANALYZE) tabulai, kuru autovacuum pīķa stundās nepārtraukti nepaspēj. Slikti piemērots: viss, kam jāsniedzas ārpus datubāzes (faili, HTTP izsaukumi, citi serveri), un garas atkarīgu soļu ķēdes. Tās lieciet īstā orķestratorā.

Ieplānots VACUUM ir ielāps, nevis autovacuum aizstājējs. Ja tas vajadzīgs, īstais risinājums parasti ir tabulas līmeņa autovacuum iestatījumi, skatiet autovacuum regulēšanu, lai apturētu bloat.

Lielās datubāzēs: kur pg_cron darbi noiet greizi

Viss iepriekš minētais strādā uz 5 GB testa datubāzes. Šīs lietas parādās tikai tad, kad tabulās ir simtiem miljonu rindu un serveris ir noslogots visu diennakti.

CREATE OR REPLACE PROCEDURE purge_old_events(batch int DEFAULT 10000)
LANGUAGE plpgsql AS $$
DECLARE n int;
BEGIN
  LOOP
    DELETE FROM events
    WHERE id IN (SELECT id FROM events
                 WHERE event_time < now() - interval '90 days'
                 LIMIT batch);
    GET DIAGNOSTICS n = ROW_COUNT;
    EXIT WHEN n = 0;
    COMMIT;              -- allowed in a top-level CALL
  END LOOP;
END $$;

-- cap every job run as this role
ALTER ROLE app_maint SET statement_timeout = '30min';
ALTER ROLE app_maint SET lock_timeout = '5s';

Pārslēgšanās un replikas

pg_cron neizpilda darbus, kamēr serveris ir hot standby režīmā, un sāk darboties automātiski, kad serveris tiek paaugstināts par primāro. Tā kā cron.job ir parasta tabula, fiziskajām replikām darbu saraksts jau ir, tāpēc pēc Patroni vai pārvaldītā servisa pārslēgšanās darbi turpina darboties uz jaunā primārā, ja vien jaunais primārais tos patiešām var izpildīt. Tas nozīmē pg_cron parametrā shared_preload_libraries un tādu pašu pg_hba.conf vai .pgpass uz katra mezgla. Mēs to pārbaudām katrā HA pārskatā, jo tieši šāda lieta ir pareiza uz sākotnējā primārā un trūkst uz replikas, kas uzbūvēta gadu vēlāk.

README nesola, ka palaišanas, kas nokavētas, kamēr serveris nedarbojās, tiks izpildītas vēlāk. Mūsu pieredzē drošāk ir rakstīt katru darbu tā, lai to bez kaitējuma varētu izpildīt novēloti vai divreiz: tīrīt pēc vecuma, veidot partīcijas ar IF NOT EXISTS, atsvaidzināt, nevis pievienot.

Galvenās atziņas

PostgreSQL pg_cron Uzturēšana Plānošana
Sadarbība ar mums

Vēlaties pārbaudīt datubāzes uzturēšanas darbus?

Mēs auditējam pg_cron un citus plānotos uzturēšanas darbus produkcijas PostgreSQL: kas tiek palaists, cik ilgi tas ilgst, ko tas bloķē un kas ar to notiek pārslēgšanās laikā.

Sazināties Vairāk no emuāra