Monitorings

Redis lielās atslēgas: kā tās atrast un droši noņemt

Viens hash ar desmit miljoniem lauku vai saraksts, ko neviens nekad neapgriež, var apturēt Redis uz vairākām sekundēm, salauzt replikāciju un noslogot veselu klastera šardu. Šeit ir, kā atrast lielās atslēgas, nekaitējot produkcijai, kā tās dzēst bez bloķēšanas un kā panākt, lai tās neatgriežas.

· 12 min lasīšanai · AG Data komanda

Redis lielās atslēgas (big keys) ir atsevišķas atslēgas, kurās ir daudz vairāk datu nekā pārējās: hash ar miljoniem lauku, saraksts, ko izmanto kā neierobežotu rindu, sakārtotās kopas līderu tabula, ko neviens nekad neapgriež, vairāku megabaitu JSON virkne. Redis izpilda komandas vienā galvenajā pavedienā, tāpēc viena darbība, kas skar visu atslēgu, ieskaitot tās dzēšanu, aiztur visus citus klientus, līdz tā beidzas.

Kāpēc viena atslēga var kaitēt visam

Lielo atslēgu atrašana, nekaitējot produkcijai

# biggest keys by element count, per type (uses SCAN)
redis-cli -h replica1 --bigkeys -i 0.1

# biggest keys by memory
redis-cli -h replica1 --memkeys

# both, with a top-N list and size distribution (newer redis-cli)
redis-cli -h replica1 --keystats --top 20

# only one key prefix
redis-cli -h replica1 --memkeys --pattern 'session:*'

Vienas atslēgas mērīšana

MEMORY USAGE cart:91823              # estimate, samples 5 nested values
MEMORY USAGE cart:91823 SAMPLES 0    # exact, walks every element (slow on huge keys)
TYPE cart:91823
HLEN cart:91823      # or LLEN / SCARD / ZCARD / XLEN / STRLEN
OBJECT ENCODING cart:91823

MEMORY USAGE parāda baitus, kas atslēgai un tās vērtībai vajadzīgi RAM, ieskaitot administratīvās izmaksas. Ligzdotiem tipiem tas pēc noklusējuma ņem paraugu no 5 ligzdotām vērtībām un ekstrapolē; SAMPLES 0 ņem visas (MEMORY USAGE). Visu elementu pārbaude ir precīza, bet O(N), tāpēc atslēgai ar desmit miljoniem elementu tā pati ir lēna komanda. Atklāšanai izmantojiet noklusējumu, bet pilno skaitu tikai tad, kad vajag reālo skaitli, ideālā gadījumā uz replikas.

Lielas atslēgas dzēšana bez bloķēšanas

# frees memory in a background thread instead of blocking
UNLINK feed:global

# or make DEL behave like UNLINK (Redis default: no)
CONFIG SET lazyfree-lazy-user-del yes

# trim a huge hash gradually instead of deleting it at once
redis-cli --no-raw HSCAN big:hash 0 COUNT 500
# ... HDEL big:hash field1 field2 ... field500, repeat with the next cursor
Nemeklējiet ar KEYS vai pilnu nolasīšanu. KEYS * bloķē serveri uz visu atslēgu telpas laiku, un aizdomīgas atslēgas "ātra pārbaude" ar HGETALL ir tieši tā lēnā komanda, ko mēģināt atrast. Vispirms saskaitiet (HLEN, LLEN, SCARD, ZCARD), tad mēriet.

Kā panākt, lai tās neatgriežas

Lielās datu kopās un klasteros

Testa instancē ar dažiem tūkstošiem atslēgu nekas no šī nav pamanāms. Pie desmitiem gigabaitu un simtiem tūkstošu operāciju sekundē lielās atslēgas maina visas sistēmas uzvedību:

Galvenās atziņas

Redis Valkey Atmiņa Veiktspēja
Sadarbība ar mums

Redis iestrēgst, un jums ir aizdomas par lielām atslēgām?

Mēs auditējam Redis un Valkey atslēgu telpas produkcijā, atrodam atslēgas, kas kaitē latentumam un atmiņai, un plānojam drošu tīrīšanu un datu modeļa labojumus.

Sazināties Vairāk no emuāra