Migrācijas

MySQL kļūda 1366 "Incorrect string value": cēloņi un risinājumi

Kļūda 1366 parasti nozīmē, ka emocijzīme vai ne-latīņu burts nonācis kolonnā, kas to nevar saglabāt, vai ka klients runā ar serveri nepareizā rakstzīmju kopā. Lūk, kā nolasīt ziņojuma heksadecimālos baitus, salabot kolonnu vai savienojumu un konvertēt lielas tabulas, nebloķējot rakstīšanu stundām ilgi.

· 16 min lasīšanai · AG Data komanda

MySQL kļūda 1366, "Incorrect string value", nozīmē, ka serveris saņēma baitus, kurus nevar saglabāt mērķa kolonnas rakstzīmju kopā. Praksē tas gandrīz vienmēr ir viens no trim gadījumiem: emocijzīme nonāk utf8mb3 kolonnā, ne-Rietumeiropas burts nonāk latin1 kolonnā, vai klienta savienojums deklarē vienu rakstzīmju kopu, bet sūta citu.

Kļūda ir kaitinoša, taču serveris vienkārši dara savu darbu. Bez tās tā pati rinda tiktu saglabāta ar jautājuma zīmēm vai nesakarīgiem simboliem, un jūs to atklātu pēc mēnešiem. Tālāk: kā nolasīt ziņojumu, kā ar dažiem vaicājumiem atrast īsto cēloni, kā to salabot un kas mainās, ja tabulā ir simtiem miljonu rindu.

Divas kļūdas aiz viena numura

Kļūdai 1366 ir simbols ER_TRUNCATED_WRONG_VALUE_FOR_FIELD, SQLSTATE HY000 un ziņojuma veidne Incorrect %s value: '%s' for column '%s' at row %ld (MySQL servera kļūdu saraksts). %s ir tips, tāpēc redzēsiet divas ļoti atšķirīgas grupas:

ERROR 1366 (HY000): Incorrect string value: '\xF0\x9F\x98\x80' for column 'comment' at row 1

ERROR 1366 (HY000): Incorrect integer value: '' for column 'qty' at row 1

Vispirms nolasiet heksadecimālos baitus

Ziņojumā citētā vērtība ir neapstrādāti baiti, un tie parasti pasaka cēloni, pirms palaižat kaut vienu vaicājumu.

1. solis: pārbaudiet kolonnu

Apskatiet tabulu ar SHOW CREATE TABLE vai uzskaitiet visas kolonnas visā serverī, kas joprojām izmanto vecu rakstzīmju kopu:

SELECT table_schema, table_name, column_name,
       character_set_name, collation_name, column_type
FROM information_schema.columns
WHERE character_set_name IN ('utf8mb3', 'latin1')
  AND table_schema NOT IN ('mysql', 'sys', 'information_schema', 'performance_schema')
ORDER BY table_schema, table_name, ordinal_position;

Kopš MySQL 8.0 servera noklusējumi ir utf8mb4 un utf8mb4_0900_ai_ci, tāpēc jaunām datubāzēm viss ir kārtībā. Vecās rakstzīmju kopas nāk no shēmām, kas izveidotas 5.x versijās un pārnestas ar dump failiem un jauninājumiem. MySQL rāda utf8 kā utf8mb3 izvadē SHOW CREATE TABLE un INFORMATION_SCHEMA, un utf8mb3 ir novecojusi, tās izņemšana gaidāma kādā nākamajā lielajā versijā. Konvertēt tagad ir lētāk nekā vēlāk zem spiediena.

2. solis: pārbaudiet savienojumu

Ja kolonna jau ir utf8mb4, bet kļūda joprojām parādās, problēma ir savienojumā. Serveris interpretē ienākošos vaicājumus character_set_client kopā, un SET NAMES vienlaikus iestata character_set_client, character_set_connection un character_set_results (savienojuma rakstzīmju kopas):

SHOW SESSION VARIABLES LIKE 'character\_set\_%';
SHOW SESSION VARIABLES LIKE 'collation\_%';

-- Fix for the current session (sets client, connection and results)
SET NAMES utf8mb4;

Veiciet šo pārbaudi no paša lietotnes savienojuma, nevis no sava termināļa: mysql klients parasti pēc noklusējuma izmanto utf8mb4, tāpēc jūsu manuālais tests izdosies, kamēr lietotne kļūdīsies. Ilgtspējīgs risinājums ir draivera rakstzīmju kopas opcija (piemēram, charset=utf8mb4 PHP PDO DSN), nevis SET NAMES, kas izkaisīts pa kodu. Mūsu pieredzē savienojums ar utf8mb3 noraida emocijzīmes pat tad, ja visas kolonnas ir utf8mb4.

3. solis: konvertējiet kolonnu uz utf8mb4

Ir divi veidi, un atšķirība ir svarīga (ALTER TABLE):

-- Per column: keeps the data type you chose
ALTER TABLE reviews
  MODIFY comment TEXT CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci,
  MODIFY title VARCHAR(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL;

-- Whole table: simpler, but may turn TEXT/VARCHAR into MEDIUMTEXT
ALTER TABLE reviews CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;

-- Default for tables created later (existing tables are not changed)
ALTER DATABASE shop CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;

Pirms konvertēšanas pārbaudiet baitos mērītos limitus. Indeksa atslēgas ir ierobežotas līdz 3072 baitiem DYNAMIC un COMPRESSED tabulās un 767 baitiem COMPACT un REDUNDANT, kas ir 768 vai 191 utf8mb4 rakstzīme (pāreja uz utf8mb4). Ja indekss ir par garu, konvertēšana neizdodas ar kļūdu, kas aprakstīta mūsu rokasgrāmatā par MySQL kļūdu 1071.

Nepalaidiet CONVERT TO uz sabojāta kodējuma (mojibake). Ja latin1 kolonnā jau ir UTF-8 baiti (lietotne gadiem rakstīja UTF-8 pa latin1 savienojumu, un citos rīkos é vietā redzat é), CONVERT TO šos baitus konvertēs vēlreiz un padarīs haosu pastāvīgu. Rokasgrāmatas risinājums ir iet caur bināro tipu, jo konvertēšana uz BLOB un no tā nenotiek:
-- Column is labelled latin1, but the bytes are really UTF-8
ALTER TABLE t1 CHANGE c1 c1 BLOB;
ALTER TABLE t1 CHANGE c1 c1 TEXT CHARACTER SET utf8mb4;
Pārbaudiet to uz kopijas un salīdziniet rindu paraugu pirms un pēc.

Variants "Incorrect integer value"

Ja ziņojumā ir integer, decimal vai datetime, rakstzīmju kopa nav iesaistīta. Strict mode režīmā nederīga vērtība INSERT vai UPDATE vaicājumā transakciju tabulai pārtrauc vaicājumu un atceļ to. Bez strict mode MySQL saglabā pielāgotu vērtību un izdod tikai brīdinājumu (SQL režīmi). Noklusējuma sql_mode MySQL 8.4 ietver STRICT_TRANS_TABLES, tāpēc šīs kļūdas bieži parādās tūlīt pēc jaunināšanas no servera, kas darbojās ar tukšu sql_mode.

Lielās datubāzēs

Dažu mazu tabulu konvertēšana aizņem sekundes. Shēmā ar terabaitiem datu tas ir projekts, un šīs ir vietas, kur tas sāp:

Galvenās atziņas

MySQL utf8mb4 Rakstzīmju kopas SQL režīms
Sadarbība ar mums

Plānojat pāreju uz utf8mb4?

Mēs konvertējam rakstzīmju kopas lielās MySQL tabulās ar tiešsaistes shēmas maiņas rīkiem, salīdzināšanas kārtības pārbaudēm un pārbaudītu atkāpšanās plānu.

Sazināties Vairāk no emuāra