MySQL kļūda 2013, "Lost connection to MySQL server during query", ir klienta kļūda: savienojums pārtrūka, kamēr klients gaidīja rezultātu. Serveris neatsūtīja kļūdu, sokets vienkārši pazuda. Tāpēc ziņojums ir tik maz informatīvs, un tāpēc risinājums pilnībā atkarīgs no tā, kurš savienojumu aizvēra: serveris, kaut kas pa vidu vai pats klients.
ERROR 2013 (HY000): Lost connection to MySQL server during query
-- variants of the same client error family
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0
Klienta kļūdu sarakstā 2013 ir CR_SERVER_LOST; saistītā 2055 (CR_SERVER_LOST_EXTENDED) papildus norāda posmu un sistēmas kļūdu, bet 2006 ir "MySQL server has gone away" (klienta kļūdu saraksts). Praksē 2006 parasti parādās, kad klients sūta vaicājumu pa jau aizvērtu savienojumu, bet 2013, kad savienojums pārtrūkst vaicājuma izpildes laikā. Par 2006 rakstījām rakstā MySQL server has gone away; daudzi cēloņi pārklājas.
Pirmās piecas minūtes: kurš aizvēra savienojumu?
-- did the server restart? (Uptime in seconds)
SHOW GLOBAL STATUS LIKE 'Uptime';
-- connections that died mid-session vs. failed handshakes
SHOW GLOBAL STATUS LIKE 'Aborted_c%';
-- the timeouts that most often end a connection
SELECT @@global.net_read_timeout, @@global.net_write_timeout,
@@global.wait_timeout, @@global.connect_timeout,
@@global.max_execution_time, @@global.max_allowed_packet;
- Vai serveris restartējās? Mazs
Uptimenozīmē, ka mysqld restartējās, un katrs izpildē esošais vaicājums saņēma 2013. Skatieties kļūdu žurnālā un kodola žurnālā, vai nav avārijas vai OOM. Tas jāizslēdz vispirms, jo nekāda taimautu regulēšana nepalīdzēs. - Vai tā ir savienojuma izveides problēma? Kļūdas ar "reading authorization packet" vai "reading initial communication packet" rodas, pieslēdzoties. Rokasgrāmata iesaka pārbaudīt
Aborted_connects, kas palielinās par vienu katram pieslēgšanās mēģinājumam, ko serveris pārtrauc, un palielinātconnect_timeout, ja tas iestatīts tikai uz dažām sekundēm (Lost connection to MySQL server). Noklusējums ir 10 sekundes. - Vai tas ir "during query"? Rokasgrāmata saka, ka tas parasti norāda uz tīkla problēmām vai ļoti lielu rezultātu pārsūtīšanu (MySQL rokasgrāmata). Tad tas ir taimautu jautājums: kura puse pirmā pārstāja gaidīt.
# server side: crash, OOM kill or "Aborted connection" lines
grep -Ei 'aborted connection|ready for connections|signal' /var/log/mysql/error.log | tail -50
journalctl -k | grep -i -E 'out of memory|killed process' | tail
Kad pieslēgts klients atvienojas nekorekti vai tiek pārtraukts, serveris palielina Aborted_clients un ieraksta kļūdu žurnālā ziņojumu "Aborted connection" (komunikācijas kļūdas). Ziņojumā redzams savienojuma id, lietotājs un resursdators, tāpēc to var sasaistīt ar darbu, kas krita. Mūsu pieredzē tā ir noderīgākā rinda visā izmeklēšanā.
Taimauti, kas pārtrauc savienojumus
net_read_timeout, noklusējums 30 sekundes: cik ilgi serveris gaida vairāk datu no savienojuma, pirms pārtrauc lasīšanu. Rokasgrāmata iesaka to palielināt līdz 60 sekundēm vai vairāk, ja tiek pārsūtīti miljoniem rindu (MySQL rokasgrāmata).net_write_timeout, noklusējums 60 sekundes: cik ilgi serveris gaida, kamēr bloks tiek ierakstīts savienojumā (servera sistēmas mainīgie). Ja klients lielu rezultātu lasa lēni, serveris pārtrauc rakstīšanu.wait_timeout: cik ilgi neaktīvs neinteraktīvs savienojums var gaidīt, pirms serveris to aizver. Mūsu pieredzē tas biežāk izraisa 2006 nākamajā vaicājumā nekā 2013.max_execution_time, noklusējums 0 (izslēgts): ierobežojums tikai lasīšanasSELECTvaicājumiem milisekundēs. Kad tas nostrādā, klients saņem servera kļūdu 3024ER_QUERY_TIMEOUT, "maximum statement execution time exceeded" (servera kļūdu saraksts), nevis 2013. Ja redzat 2013, tas nebija šis ierobežojums.max_allowed_packet: rokasgrāmata minBLOBvērtības, kas lielākas par šo ierobežojumu, kā 2013 cēloni dažiem klientiem. KļūdaER_NET_PACKET_TOO_LARGEto apstiprina.
-- long transfers of big result sets, only for this session or job
SET SESSION net_read_timeout = 600;
SET SESSION net_write_timeout = 600;
Palieliniet tos sesijas līmenī darbam, kam tas vajadzīgs, nevis globāli. Globāls net_write_timeout uz stundu nozīmē arī to, ka miris klients stundu tur savu pavedienu un bloķējumus.
Vaicājums parasti nav vainīgs. Ja tas pats vaicājums dažreiz izdodas, bet dažreiz krīt ar 2013, skatieties, kas starp palaišanām mainās: rezultāta izmērs, klienta ātrums, tīkla ceļš, servera atmiņa. SQL pārrakstīšana reti palīdz, ja vien tā nepadara rezultātu mazāku.
Starpniekserveri, slodzes balansētāji un ugunsmūri
Jebkas ar stāvokli starp lietotni un MySQL var pārtraukt savienojumu, kas pārāk ilgi klusē. Kamēr garš vaicājums izpildās un vēl nav sācis atgriezt rindas, pa savienojumu neiet nekādi dati. Piemēri:
- AWS Network Load Balancer pārstāj sekot TCP plūsmai pēc dīkstāves taimauta, pēc noklusējuma 350 sekundes (TCP klausītājiem maināms no 60 līdz 6000 sekundēm), un uz vēlākām paketēm atbild ar TCP RST. TCP keepalive paketes atiestata dīkstāves taimeri (AWS NLB dokumentācija).
- Ugunsmūri, NAT vārteja un savienojumu izsekošanas tabulas uzvedas līdzīgi ar saviem ierobežojumiem.
- ProxySQL, MySQL Router un HAProxy ir savi klienta un servera taimauti. Mūsu pieredzē starpnieka taimauts, kas ir mazāks par garāko atskaites vaicājumu, ir viens no biežākajiem "nejaušu" 2013 kļūdu cēloņiem, ko redz tikai noteikti darbi.
Raksturīga pazīme ir nemainīgs ilgums: ja neveiksmīgie vaicājumi vienmēr pārtrūkst gandrīz tieši pēc tikpat ilga laika, kaut kur ceļā ir taimeris. Salīdziniet šo skaitli ar visiem taimautiem, ko varat atrast.
2013 mysqldump laikā
mysqldump pēc noklusējuma ieslēdz --opt, kas ietver --quick: rindas tiek saņemtas pa vienai, nevis vispirms buferētas atmiņā (mysqldump). Lielām tabulām tas ir tas, kas vajadzīgs, bet tas nozīmē, ka serveris raksta uz dump visu tā darbības laiku. Ja izvade iet caur lēnu kanālu, piemēram, saspiešanu noslogotā serverī vai lēnu tīkla disku, serveris var gaidīt ilgāk par net_write_timeout un pārtraukt savienojumu. Mūsu pieredzē tas ir biežākais 2013 avots lieliem dump, un to novērš sesijas taimauta palielināšana dump lietotājam vai rakstīšana vispirms uz ātru lokālo disku. Ļoti lielām datubāzēm fiziskās rezerves kopijas šo problēmu novērš pilnībā, skat. mysqldump vai XtraBackup.
Kas mainās lielās datubāzēs
Mazā testa datubāzē šie vaicājumi pabeidzas milisekundēs, un kļūda neparādās nekad. Produkcijā:
- Lielu rezultātu pārsūtīšana aizņem minūtes. Atskaite, kas eksportē desmitiem miljonu rindu, lielāko daļu laika pavada straumēšanā, tāpēc
net_write_timeoutun klienta lasīšanas ātrums ir svarīgāki par vaicājuma plānu. Lapojiet pa primārās atslēgas diapazoniem, nevis vienā milzīgā rezultātā. - Ilgas klusas fāzes. Lielas kārtošanas,
GROUP BYlielās tabulās unALTER TABLEvar darboties daudzas minūtes, pirms kaut ko nosūta. Tieši tad nostrādā starpnieku un slodzes balansētāju dīkstāves taimauti. Ieslēdziet TCP keepalive klientā vai palieliniet starpnieka taimautus šiem darbiem. - Atmiņas spiediens. Daudzi vienlaicīgi smagi vaicājumi var novest mysqld līdz kodola OOM killer. Simptoms ir 2013 visiem vienā brīdī un atiestatīts
Uptime. Pārbaudiet buferu kopas izmēru un katra savienojuma buferus pret RAM, nevis palieliniet taimautus. - Zaudētais darbs ir dārgs. Kad 40 minūšu pakešdarbs nomirst 39. minūtē, atkārtošana no sākuma dubulto slodzi. Padariet garus darbus atsākamus pa daļām, lai pārtrūcis savienojums maksātu vienu daļu.
- Replikas un rezerves kopijas. Dump vai eksports, kas darbojas uz replikas, konkurē ar replikāciju. Ja replika arī restartējas vai atpaliek, 2013 rezerves kopēšanas darbā var būt simptoms replikai, kurai ir problēmas, nevis pašai rezerves kopijai.
Galvenās atziņas
- 2013 ir pārtrūcis savienojums, nevis SQL kļūda. Pirms kaut ko maināt, noskaidrojiet, kurš to aizvēra.
- Vispirms pārbaudiet
Uptime, kļūdu žurnālu un kodola žurnālu: avārija vai OOM izskaidro visu uzreiz. - "reading authorization packet" norāda uz
connect_timeoutun tīklu; "during query" uz lielām pārsūtīšanām un taimautiem. - Noklusējumi:
net_read_timeout30 s,net_write_timeout60 s,connect_timeout10 s. Palieliniet tos sesijas līmenī darbiem, kam tas vajadzīgs. - Kļūmes pēc nemainīga laika nozīmē starpnieka, slodzes balansētāja vai ugunsmūra taimeri. AWS NLB noklusējuma dīkstāves taimauts ir 350 s.