文字列の並び順 / String Collation

by とみたまさひろ

Slide 1

Slide 1 text

文字列の並び順 2025-08-09 nagano.rb （…で発表したやつの前半）とみたまさひろ 1

Slide 2

Slide 2 text

自己紹介 • とみたまさひろ • • • 最近アイコン変えた https://bsky.app/proﬁle/tmtms.net https://blog.tmtms.net 2

Slide 3

Slide 3 text

MySQL徹底入門第5版 • 2025/6/16 発売！ • 初版は2001年発売 • 1割くらい書きました • 11章「文字コードと日本語環境」 https://www.shoeisha.co.jp/book/detail/9784798189307 3

Slide 4

Slide 4 text

Software Design 9月号 • 2025/8/18発売 • 第2特集第2章「データベースにおける文字コードの落とし穴」 https://gihyo.jp/magazine/SD/archive/2025/202509 4

Slide 5

Slide 5 text

また文字コードの話をします見どころは下にいるネコです 5

Slide 6

Slide 6 text

こんな回答したことありませんか？「このリストは何順で並んでるんですか？」 …コードを読んでみる… 「名前の文字コード順です」 SELECT 〜 ORDER BY name 6

Slide 7

Slide 7 text

本当？ 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

あれ？ 61 の方が 41 よりも先に…？ name | byte ------+---------- abc | \x616263 ABC | \x414243 9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

何順なんだ？ 12

Slide 13

Slide 13 text

コレーション日本語だと「照合順序」 13

Slide 14

Slide 14 text

コレーションの指定方法 • CREATE TABLE 時にカラムごとに指定する • MySQLの場合はテーブル単位でも指定可 • クエリ内の文字列や文字列カラムの後ろに COLLATE コレーション名を指定する CREATE TABLE t (s VARCHAR COLLATE unicode) CREATE TABLE t (s VARCHAR(1000)) COLLATE utf8mb4_0900_as_cs SELECT * FROM t ORDER BY s COLLATE unicode 14

Slide 15

Slide 15 text

MySQLのコレーション • MySQL組み込み • 実行環境には依存しない • Unicode 9 ベース • 最新は Unicode 16 なので結構古い • SHOW COLLATION で一覧できる • 全部で286個 / utf8mb4 のコレーションは 89個 • デフォルトはアクセント記号や大文字小文字等を無視 15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

PostgreSQLのコレーション • デフォルトではOSのコレーションなので環境に依存 • Unicode ベースのコレーションも選択可 • 外部ライブラリの libicu で対応 • 最新の Unicode 16 まで対応 • SELECT * FROM pg_collation で一覧できる • 全部で920個(環境による) • Unicode のコレーションは 817個 17

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Ruby の sort は文字コード順 PostgreSQL と Ruby ではソート順が異なる気をつけてないと画面によって並び順が違うなんてことも 21

Slide 22

Slide 22 text

macOSのソートはアホで困る % cat a.txt 千葉県千葉市千葉県市川市千葉県柏市東京都北区東京都千代田区東京都大田区東京都江戸川区東京都江東区東京都港区 % sort a.txt 千葉県柏市東京都北区東京都港区千葉県千葉市千葉県市川市東京都大田区東京都江東区東京都千代田区東京都江戸川区 https://blog.tmtms.net/entry/202412-macos-sort 22

Slide 23

Slide 23 text

どうやら直ったらしい「【朗報】macOS 15.4でsortコマンドのソート順がまともに修正されました！〜マーズとマーキュリーの間にジュピターが割り込んでいた理由 #grep - Qiita」 https://qiita.com/ko1nksm/items/ce20e643bd83a72850b2 23

Slide 24

Slide 24 text

Unicode のコレーション 24

Slide 25

Slide 25 text

Unicode Collation Algorithm (UCA) Unicode の照合順序のアルゴリズム https://unicode.org/reports/tr10/ 25