LLM時代のかな漢字変換のつくりかた

ニューラルかな漢字変換『ANYA』改訂版の予告編スライドです。
現在 openSUSE.Asia summit 2024 に向けて、ANYAのTransformerモデルを開発中です。
・・・次のスライドはきっと英語ですね（ぇ）

Transcript

1. はしもとまさひこ＠今日はopenSUSE寄りな人 LLM時代のかな漢字変換の つくりかた
2. 2/ 2/ Who am I ? Name： はしもとまさ　@shikanotsukimi •東海道らぐ (Tokaido Linux Uesr Gruop) の関東案内人 •おーぷん万葉 Project オープンデータを使用したかな漢字変換の自作など •日本openSUSEユーザ会　（主な担当箇所：雑用） openSUSE Asia Summit 開催決定！！ •『ちゃんおぷ』の台本担当の人・・・は当面お休み中 小説書いてる件は『しかつきかふぇ』で検索
3. 3/ openSUSE.Asia Summit 2024 日本開催決定！ 2024 11/2〜3 東京で開催 場所は 麻布台ヒルズ めっちゃキレイ・・・らしい 現在、以下を募集中です　※詳細は懇親会時に声をかけてください – 発表者　 ※8/4まで – スポンサー　（いろいろ種類ございます！） – 学生スタッフ　（海外の方とコミュニケーションを取る貴重な経験！？） 今日のL Tの目的これで半分達成……
4. 4/ 本日のお題 京都と言えば、かな漢字変換のお話！！！ ※Wnn, Anthy 発祥の地
5. 5/ 突然ですが、質問です。 ChatGPT、使ってますか？
6. 6/ ちなみにですが、 私は一切使っておりません！！ だってM◦は好きじゃないし；；； 注： 私の回りの人は結構使ってます
7. 7/ 最近よく見聞きすること。 『ChatGPT（というよりLLM？）に かな漢字変換やらせてみたら？』
8. 8/ ・・・無理っしょ。 無理だと思う理由： – リクエストを飛ばす通信速度が 遅い – 推論結果が返ってくるまでが 遅い – レスポンスが返ってくる通信速度が 遅い – 変換し直しになるとさらに 遅い 故に文章書くのに日が暮れる。。。
9. 9/ ところで、 かな漢字変換作ってますという話 今日も東海道らぐブースで展示していました！ その名前を 『ANYA』と呼ぶ。 – それっぽい感じの 生成AIの仕組みを使ってます – なんとなくそれっぽい変換してくれます（？） – なんとなく頼りないです（？？）
10. ANYAのそれっぽい変換の仕組み 現在の単語 Z 次の単語（予測結果） エンコード デコード 入力 出力 現在の単語を入力として 次の単語を予測する ここに FastText という 技術を使用
11. 作ってる上でよく言われること かな漢字変換にAIを使う意味ある？？？ 注：自然言語処理の専門家な方ほどよくこう言います(汗) GPUぶん回して地球温暖化によくないとかとか
12. でもAIを使ったっていいじゃんか！ だってそっちの方が イマドキでしょ？
13. ・・・ん、本当にイマドキ！？？ ANYAで使用している分散表現の仕組み ⇛ FastText　※2016年　←古っ！　 そもそも今時ゆうならLLM使ってないってどうよ！？ 世間（自然言語処理界隈）は Transformer 一色！ ChatGPTだって結局のところは Transformer！！ ⇛ だからあんなモデル でかすぎてどう使えばいいんやって
14. そんなときに出てきたのが BitNetという技術 （春にも話したけど）　https://arxiv.org/pdf/2402.17764.pdf 従来の分散表現： ひとつの単語を float型の羅列で現 していた BitNet： 1, 0, -1 と ビット(?)で表現が できる ビミョーに１ビットじゃない！！ けど使えないことなさそう！
15. とりあえずBitNetを試してみた 既に実装があったので、 CIFAR10というデータセットを学習させてみた 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 0 10 20 30 40 50 60 70 80 90 100 CIFAR10 Accracy (valid data) BitNet Normal 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 0 0.5 1 1.5 2 2.5 CIFAR10 Loss (valid data) BitNet Normal 正解率 損失値 ※正解データと推論結果が どれくらい離れているか ってなんかおかしくない！？
16. つまり BitNet ってこういうもの！ 値を強制的（？）に 1, 0, -1 の世界へ誘おうとする ⇛学習そのものは進むけど 　内部的に値は諸々弄られてしまう ※損失値はおかしくなってしまう要因
17. これを ANYA へ応用してみる 現在の単語 Z 次の単語（予測結果） 入力 出力 Transformerから出力させた 分散表現に BitNetを用いれば 計算量が圧倒的に減らせる！ ・・・はず？ 0, 1, 1, 0, 0, …… 1, 1, 0, 0, 1, ……
18. ……と、残念ながら！！ 今日はここまで！！ BitNetを用いた新しいモデルをようやく思いついたのが 行きの新幹線の中でした(汗) 次回のOSCではなにか変わってるかも？？？