Zeichensätze, ein komplexes und oft auch verwirrendes Thema, in das ein klein wenig Licht gebracht werden soll. Zuallererst müssen wir festhalten, dass wir bei PHP strikt die Multibyte-Codierung von UTF-8 verwenden. Um mehr über die Internas von UTF-8 zu erfahren, besuche einfach Wikipedia - UTF-8

Aber keine Sorge, das ganze Kapitel mit Zeichensätzen, Sortierungen und so weiter ist eigentlich nur halb so kompliziert, wie es auf den ersten Blick aussehen mag.
Die Kenntnisse über die Zeichensätze in der Datenbank sind nur wirklich wichtig, wenn man selbst neue Datenbanktabellen entwirft.
Für Programmierer ist es wichtiger, den Umgang mit den Multibyte-Stringfunktionen von PHP zu beherrschen. Denn wenn man diese nicht richtig verstanden hat, kann es durchaus in schweren Fehlern enden.

PHP selbst kennt weder 'Kollationen' noch 'UTF-8MB4' noch ähnliches! Diese Dinge können bei PHP vergessen werden! PHP kennt jedoch UTF-8. Und zwar jenes, das exakt den Definitionen in RFC 3629 / ISO/IEC 10646-1:2000 Annex D entspricht und welches aus 1 bis 4 Bytes für jedes Zeichen besteht. UTF-8 (wie auch alle Latin_xxx Zeichensätze) ist in den ersten 128 Zeichen identisch zu der originalen ASCII Zeichentabelle.

Im Gegensatz zu PHP implementiert mySQL nicht die vollständige RFC 3629 Definition von UTF-8. In mySQL kann ein UTF-8 Zeichen nur maximal 3 Bytes groß sein. Daher kann mySQL keine 4-Byte Zeichen als UTF-8 speichern. Um dieses Problem zu lösen, wurde jetzt nicht die UTF-8 Implementierung an die RFC angepasst, sondern es wurde ein neuer, zusätzlicher Zeichensatz 'UTF-8MB4' eingeführt. Dieser Zeichensatz kann jetzt auch 4-Byte Zeichen speichern. Aber jetzt bitte nicht denken, UTF-8(PHP) und UTF-8MB4 wären das selbe!
Da gibt es weiterhin einen wichtigen Unterschied, der sich speziell bei größeren Datenbanken auswirken kann. Der kleine aber feine Unterschied besteht im Speicherverbrauch dieser beiden Zeichensätze. Während UTF-8 dynamisch nur genau soviel Speicherplatz reserviert, wie ein Zeichen benötigt, beschlagnahmt UTF-8MB4 für jedes Zeichen grundsätzlich immer volle 4 Bytes. Sowohl im Arbeitsspeicher als auch in der Datenbank.Das erhöht natürlich den Speicherbedarf und beeinflusst sowohl die Verarbeitungszeit als auch die mögliche Genauigkeit von Indizes, die Größe der Indextabellen und dadurch auch die Zugriffszeiten.

Beispiel Speicherverbrauch

oops, Dein Text ist um die 200.000 Zeichen groß? Du hast viele solcher Texte?

Heutzutage sind alle modernen Browser in der Lage, UTF-8 codierte Zeichen darzustellen. Es gibt -fast- keinen Grund mehr, Sonderzeichen im HTML-Entity-Format auszugeben. Die wichtigste Ausnahme sind hier direkt anzeigbare Benutzereingaben,bei denen aus Sicherheitsgründen bestimmte Zeichen/Zeichenfolgen maskiert (escaped) werden sollten, damit hier kein Schadcode eingeschleust werden kann.

Auf jeden Fall ist es für den Browser hilfreich, wenigstens eins der folgenden Metatags im Head-Abschnitt eines HTML-Dokumentes auszugeben. <PHP><meta http-equiv=„content-type“ content=„text/html;charset=utf-8“>

<meta charset=„UTF-8“></PHP>

Eine Collation hat mit Codierung und Speicherung erst einmal nichts zu tun. Sie bestimmt nur die Regeln, nach denen Texte für die Ausgabe sortiert und verglichen werden.

Nun, wenn wir auf die Auswahliste der möglichen Collations schauen, dann finden wir für praktisch jeden Zeichensatz eine lange Liste an Möglichkeiten. Einerseits sind da Collations die auf eine einzelne Sprache optimiert sind, andererseits finden wir auch Werte wie _unicode_ci und _general_ci, welche sprachübergreifend arbeiten.

Der Unterschied zwischen _unicode_ci und _general_ci ist hauptsächlich eine deutlich unterschiedliche Verarbeitungsgeschwindigkeit. Auch die Sortierung ist unterschiedlich. 'unicode_ci' berücksichtig die wesentlichen Eigenheiten vieler Sprachen, während 'general_ci' rein Buchstabenorientiert arbeitet. Die Sortierung mit 'general_ci' ist deutlich schneller, aber auch viel weniger sprachbezogen und daher ungenauer als 'unicode_ci'.
Da unsere Datenbanken (auch die größten) relativ klein sind (10.000 Datensätze ist in der Welt der Datenbanken fast nichts) und auch im Hinblick auf die Mehrsprachigkeit, benutzen wir normalerweise immer die 'unicode_ci' Collation um die UTF-8MB4 Texte zu sortieren.

• Wikipedia UTF-8
• RFC 3629 / STD 63 (2003), which establishes UTF-8 as a standard Internet protocol element
• The Unicode Standard, Version 11.0, §3.9 D92, §3.10 D95 (2018 June 5)
• ISO/IEC 10646:2014 §9.1
• Original UTF-8 paper (or pdf) for Plan 9 from Bell Labs