Incidentu reaģēšana

MySQL kļūda 2013 "Lost Connection to MySQL Server During Query": kā to novērst

Kļūda 2013 nozīmē, ka savienojums pārtrūka, kamēr klients gaidīja atbildi. Cēlonis gandrīz nekad nav vaicājuma teksts: tā ir servera restartēšana, taimauts lēnā pārsūtīšanā, starpniekserveris, kas pārtrauca klusu savienojumu, vai pārāk liela pakete. Lūk, kā dažās minūtēs saprast, kurš no tiem.

· 13 min lasīšanai · AG Data komanda

MySQL kļūda 2013, "Lost connection to MySQL server during query", ir klienta kļūda: savienojums pārtrūka, kamēr klients gaidīja rezultātu. Serveris neatsūtīja kļūdu, sokets vienkārši pazuda. Tāpēc ziņojums ir tik maz informatīvs, un tāpēc risinājums pilnībā atkarīgs no tā, kurš savienojumu aizvēra: serveris, kaut kas pa vidu vai pats klients.

ERROR 2013 (HY000): Lost connection to MySQL server during query

-- variants of the same client error family
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0

Klienta kļūdu sarakstā 2013 ir CR_SERVER_LOST; saistītā 2055 (CR_SERVER_LOST_EXTENDED) papildus norāda posmu un sistēmas kļūdu, bet 2006 ir "MySQL server has gone away" (klienta kļūdu saraksts). Praksē 2006 parasti parādās, kad klients sūta vaicājumu pa jau aizvērtu savienojumu, bet 2013, kad savienojums pārtrūkst vaicājuma izpildes laikā. Par 2006 rakstījām rakstā MySQL server has gone away; daudzi cēloņi pārklājas.

Pirmās piecas minūtes: kurš aizvēra savienojumu?

-- did the server restart? (Uptime in seconds)
SHOW GLOBAL STATUS LIKE 'Uptime';

-- connections that died mid-session vs. failed handshakes
SHOW GLOBAL STATUS LIKE 'Aborted_c%';

-- the timeouts that most often end a connection
SELECT @@global.net_read_timeout, @@global.net_write_timeout,
       @@global.wait_timeout, @@global.connect_timeout,
       @@global.max_execution_time, @@global.max_allowed_packet;
  1. Vai serveris restartējās? Mazs Uptime nozīmē, ka mysqld restartējās, un katrs izpildē esošais vaicājums saņēma 2013. Skatieties kļūdu žurnālā un kodola žurnālā, vai nav avārijas vai OOM. Tas jāizslēdz vispirms, jo nekāda taimautu regulēšana nepalīdzēs.
  2. Vai tā ir savienojuma izveides problēma? Kļūdas ar "reading authorization packet" vai "reading initial communication packet" rodas, pieslēdzoties. Rokasgrāmata iesaka pārbaudīt Aborted_connects, kas palielinās par vienu katram pieslēgšanās mēģinājumam, ko serveris pārtrauc, un palielināt connect_timeout, ja tas iestatīts tikai uz dažām sekundēm (Lost connection to MySQL server). Noklusējums ir 10 sekundes.
  3. Vai tas ir "during query"? Rokasgrāmata saka, ka tas parasti norāda uz tīkla problēmām vai ļoti lielu rezultātu pārsūtīšanu (MySQL rokasgrāmata). Tad tas ir taimautu jautājums: kura puse pirmā pārstāja gaidīt.
# server side: crash, OOM kill or "Aborted connection" lines
grep -Ei 'aborted connection|ready for connections|signal' /var/log/mysql/error.log | tail -50
journalctl -k | grep -i -E 'out of memory|killed process' | tail

Kad pieslēgts klients atvienojas nekorekti vai tiek pārtraukts, serveris palielina Aborted_clients un ieraksta kļūdu žurnālā ziņojumu "Aborted connection" (komunikācijas kļūdas). Ziņojumā redzams savienojuma id, lietotājs un resursdators, tāpēc to var sasaistīt ar darbu, kas krita. Mūsu pieredzē tā ir noderīgākā rinda visā izmeklēšanā.

Taimauti, kas pārtrauc savienojumus

-- long transfers of big result sets, only for this session or job
SET SESSION net_read_timeout = 600;
SET SESSION net_write_timeout = 600;

Palieliniet tos sesijas līmenī darbam, kam tas vajadzīgs, nevis globāli. Globāls net_write_timeout uz stundu nozīmē arī to, ka miris klients stundu tur savu pavedienu un bloķējumus.

Vaicājums parasti nav vainīgs. Ja tas pats vaicājums dažreiz izdodas, bet dažreiz krīt ar 2013, skatieties, kas starp palaišanām mainās: rezultāta izmērs, klienta ātrums, tīkla ceļš, servera atmiņa. SQL pārrakstīšana reti palīdz, ja vien tā nepadara rezultātu mazāku.

Starpniekserveri, slodzes balansētāji un ugunsmūri

Jebkas ar stāvokli starp lietotni un MySQL var pārtraukt savienojumu, kas pārāk ilgi klusē. Kamēr garš vaicājums izpildās un vēl nav sācis atgriezt rindas, pa savienojumu neiet nekādi dati. Piemēri:

Raksturīga pazīme ir nemainīgs ilgums: ja neveiksmīgie vaicājumi vienmēr pārtrūkst gandrīz tieši pēc tikpat ilga laika, kaut kur ceļā ir taimeris. Salīdziniet šo skaitli ar visiem taimautiem, ko varat atrast.

2013 mysqldump laikā

mysqldump pēc noklusējuma ieslēdz --opt, kas ietver --quick: rindas tiek saņemtas pa vienai, nevis vispirms buferētas atmiņā (mysqldump). Lielām tabulām tas ir tas, kas vajadzīgs, bet tas nozīmē, ka serveris raksta uz dump visu tā darbības laiku. Ja izvade iet caur lēnu kanālu, piemēram, saspiešanu noslogotā serverī vai lēnu tīkla disku, serveris var gaidīt ilgāk par net_write_timeout un pārtraukt savienojumu. Mūsu pieredzē tas ir biežākais 2013 avots lieliem dump, un to novērš sesijas taimauta palielināšana dump lietotājam vai rakstīšana vispirms uz ātru lokālo disku. Ļoti lielām datubāzēm fiziskās rezerves kopijas šo problēmu novērš pilnībā, skat. mysqldump vai XtraBackup.

Kas mainās lielās datubāzēs

Mazā testa datubāzē šie vaicājumi pabeidzas milisekundēs, un kļūda neparādās nekad. Produkcijā:

Galvenās atziņas

MySQL Kļūdas Taimauti Tīkls
Sadarbība ar mums

Pārtrūkuši savienojumi lauž darbus vai dump?

Izsekojam MySQL savienojumu pārtraukumus caur serveri, starpniekiem un tīklu, salabojam taimautus un avārijas un panākam, ka gari darbi un rezerves kopijas pabeidzas droši.

Sazināties Vairāk no emuāra