絵文字は構文解析できるのか

情報科学若手の会2024 [https://wakate.org] でのLT発表
使用した絵文字はすべてTwemoji [https://github.com/twitter/twemoji] より使用しました

Transcript

1. 絵文字は構文解析できるのか 筑波大学情報学群情報科学類 所属 北野尚樹 [s2212117@u.tsukuba.ac.jp] 情報科学若手の会 2024 2024 年 9 月 15 日
2. 1/6 絵文字っていいよね 皆さん絵文字好きですか？
3. 1/6 絵文字っていいよね 皆さん絵文字好きですか？ 　　
4. 1/6 絵文字っていいよね 皆さん絵文字好きですか？ 　　 絵文字は Unicode に収録され、年々新しいものが増えている 9 月 10 日に新しい Unicode 16.0 がリリースされました このままだと確保されている範囲が枯渇してしまう 世界にはまだ収録されていない文字がたくさん なんとかして節約しなければ
5. 2/6 † 結合絵文字 † 複数の絵文字や特殊を「正しい」規則で並べると絵文字ができるようにする ことで絵文字大量問題を解決
6. 2/6 † 結合絵文字 † 複数の絵文字や特殊を「正しい」規則で並べると絵文字ができるようにする ことで絵文字大量問題を解決 → 「結合絵文字」の始まり
7. 2/6 † 結合絵文字 † 複数の絵文字や特殊を「正しい」規則で並べると絵文字ができるようにする ことで絵文字大量問題を解決 → 「結合絵文字」の始まり 当然正しくない並び（収録されていない並び）では結合しない 最近流行った emojikitchen.dev は似たような主旨のジョークサイト
8. 2/6 † 結合絵文字 † 複数の絵文字や特殊を「正しい」規則で並べると絵文字ができるようにする ことで絵文字大量問題を解決 → 「結合絵文字」の始まり 当然正しくない並び（収録されていない並び）では結合しない 最近流行った emojikitchen.dev は似たような主旨のジョークサイト = U+1F64B, U+1F3FB, U+200D, U+2642, U+FE0F = U+1F1EF, U+1F1F5
9. 3/6 結合をちゃんと解析したい！ Unicode スカラー値の配列から結合する絵文字をくくりだしていきたい
10. 3/6 結合をちゃんと解析したい！ Unicode スカラー値の配列から結合する絵文字をくくりだしていきたい Unicode の grapheme cluster （書記素クラスタ）解析を使えばできるが、プリ ミティブな操作しかできないプログラミング言語で実装しようとしていたの で頑張ることに
11. 4/6 「構文解析」できるのか？ 「肌の色」や「職業にかかわる絵文字」などの prefix・ suffix になりがちな絵 文字は存在する
12. 4/6 「構文解析」できるのか？ 「肌の色」や「職業にかかわる絵文字」などの prefix・ suffix になりがちな絵 文字は存在する → 規則性を見つけてグループ化して k 個先読みの解析器が作れそう
13. 4/6 「構文解析」できるのか？ 「肌の色」や「職業にかかわる絵文字」などの prefix・ suffix になりがちな絵 文字は存在する → 規則性を見つけてグループ化して k 個先読みの解析器が作れそう しかし Unicode は「毎年絵文字が追加される」
14. 4/6 「構文解析」できるのか？ 「肌の色」や「職業にかかわる絵文字」などの prefix・ suffix になりがちな絵 文字は存在する → 規則性を見つけてグループ化して k 個先読みの解析器が作れそう しかし Unicode は「毎年絵文字が追加される」 頑張って作った規則が容易に、予測不可能な形で破壊される
15. 4/6 「構文解析」できるのか？ 「肌の色」や「職業にかかわる絵文字」などの prefix・ suffix になりがちな絵 文字は存在する → 規則性を見つけてグループ化して k 個先読みの解析器が作れそう しかし Unicode は「毎年絵文字が追加される」 頑張って作った規則が容易に、予測不可能な形で破壊される 例：色を変える規則をまとめていたら 「黒猫」 の結合が実装され、 例外が 早速発生
16. 5/6 結局どうしたのか 全ての結合絵文字のありうる Unicode スカラー値の列をもとに最長マッチで 気合
17. 6/6 まとめ 人間の想像力の豊かさには規則性なんてないぜ！ Unicode はせめて絵文字だけでも頑張って体系をしっかりしてほしい 謝辞：本研究は開成学園 ペンケン基金の支援のもと行いました。ありが とうございます。 使用した絵文字はすべて Twemoji(https://github.com/twitter/twemoji) よ り使用しました