文字を数えるのも楽じゃない

Transcript

1. 文字をかぞえるのも 楽じゃない
2. 自己紹介 • Shinpei Noda (@quanon_jp) • Money Forward, Inc. • サーバサイドエンジニア • Ruby/Rails • 読書が大好き • 村上春樹主義者 • スリランカカレーが好き
3. '家族'.length; //=> ?
4. '家族'.length; //=> 2
5. ''.length; //=> ?
6. ''.length; //=> 11
7. Unicode と UTF-X • Unicode • 文字集合 • ひとつひとつの文字に 符号位置 と呼ばれる整数値を付けて管理してい る • UTF-X (UTF-8, UTF-16, UTF-32) • 文字符号化方式 • 符号位置の整数値をコンピュータが使用できるようにバイト列に変換す る
8. Unicode と UTF-8 (とその仲間たち) のざっくりした違い https://qiita.com/QUANON/items/09396ae9c3aab7129ac2
9. ''.length; //=> 2 ''.codePointAt(0).toString(16); //=> '1f937' '\u{1F937}'; // ES6 以降 //=> ''
10. UTF-16 コード単位でかぞえる • BMP (基本多言語面) 以外の面の文字を表すために サロゲートペア という仕組みがある。 • JavaScript の内部表現は UTF-16。 • String.length ではサロゲートペアは 2 とカウントされる。 Buffer.from('', 'utf16le').swap16(); //=> <Buffer d8 3e dd 37> '\uD83E\uDD37'; //=> '' '\uD83E\uDD37'.length; //=> 2 ''.length //=> 2 上位 サロゲート 下位 サロゲート
11. Unicode コードポイント単位でかぞえる 'やれやれ'.length; //=> 6 Array.from('やれやれ'); //=> ['や', 'れ', 'や', 'れ', ''] Array.from('やれやれ').length; //=> 5
12. Unicode コードポイント単位でかぞえる 'やれやれ'.length; //=> 8 Array.from('やれやれ'); //=> ['や', 'れ', 'や', 'れ', '', '', '♂'] Array.from('やれやれ').length; //=> 7
13. Unicode コードポイント単位でかぞえる ''.length; //=> 11 Array.from(''); //=> ['', '', '', '', '', '', ''] Array.from('').length; //=> 7
14. ZWJ (ZERO WIDTH JOINER) • ゼロ幅接合子 • U+200D • 絵文字を結合するための 接着剤の役割をする制御文字 • + + + = U+1F468 U+200D U+200D U+200D U+1F469 U+1F467 U+1F466
15. 書記素クラスタ単位でかぞえる 書記素とは書記言語において意味上の区別を可能にする最小の図形単位をい う。口頭言語における音素に相当する。(中略) 文字のほか、数字などの記 号、あるいはそれらを構成する基本的要素を指す。 Wikipedia より // JavaScript const GraphemeSplitter = require('grapheme-splitter'); const graphemeSplitter = new GraphemeSplitter(); graphemeSplitter.countGraphemes(''); //=> 1 # Ruby ''.grapheme_clusters.count #=> 1
16. 番外編: east asian width (東アジアの文字幅) 単位でかぞえる # Python from unicodedata import east_asian_width width_dict = { 'F': 2, # Fullwidth 'H': 1, # Halfwidth 'W': 2, # Wide 'Na': 1, # Narrow 'A': 2, # Ambiguous 'N': 1 # Neutral } string = 'Ꚋんは天使でｱﾙ ' chars = [char for char in string] #=> ['Ꚋ', 'ん', 'は', '天', '使', 'で', 'ｱ', 'ﾙ', ' ', ''] east_asian_width_list = [east_asian_width(char) for char in chars] #=> ['N', 'W', 'W', 'W', 'W', 'W', 'H', 'H', 'Na', 'W'] width_list = [width_dict[east_asian_width] for east_asian_width in east_asian_width_list] #=> [1, 2, 2, 2, 2, 2, 1, 1, 1, 2] sum(width_list) #=> 16
17. Ꚋんは天使でｱﾙ 1234567890123456 半角 16 文字
18. まとめ • 文字をかぞえるには • UTF-16 コード単位でかぞえる • Unicode コードポイント単位でかぞえる • 書記素クラスタ単位でかぞえる ✨✨✨ • 文字幅をかぞえるには • east asian width 単位でかぞえる
19. おすすめ書籍