Upgrade to Pro — share decks privately, control downloads, hide ads and more …

IM2024

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Mamoru Komachi
December 28, 2024

 IM2024

第16回入力メソッドワークショップでのライトニングトークの発表資料です。下記の論文の紹介です。

同時翻訳としての日本語入力
Armin Sarhangzadeh, Taro Watanabe. Alignment-Based Decoding Policy for Low-Latency and Anticipation-Free Neural Japanese Input Method Editors. Findings of ACL 2024.

LLM に基づく中国語入力
Keyu Ding, Yongcan Wang, Zihang Xu, Zhenzhen Jia, Shijin Wang, Cong Liu, Enhong Chen. Generative Input: Towards Next-Generation Input Methods Paradigm. Findings of ACL 2024.

Mamoru Komachi

December 28, 2024

Transcript

25 slides
  1. 本日紹介する ACL 2024 の2本の論文 (図表はそれぞれの論文からの引用) 同時翻訳としての日本語入力 • Armin Sarhangzadeh, Taro

    Watanabe. Alignment-Based Decoding Policy for Low-Latency and Anticipation-Free Neural Japanese Input Method Editors. Findings of ACL 2024. LLM に基づく中国語入力 • Keyu Ding, Yongcan Wang, Zihang Xu, Zhenzhen Jia, Shijin Wang, Cong Liu, Enhong Chen. Generative Input: Towards Next-Generation Input Methods Paradigm. Findings of ACL 2024. 2
  2. Sarhangzadeh and Watanabe (2024) は 日本語入力を同時機械翻訳だと思う話 ニューラル手法が日本語入力に使われなかった理由 • 長い文の入力に対するアテンションベースの enc-dec

    モデルの 推論コスト(時間)が高い • 途中までの入力に対する品質が低い →学習時と推論時の設定のミスマッチ 同時機械翻訳 (Ma et al., 2019) を使って解決 • 日本語入力は単語境界を考慮して先頭から変換すればいい • 速度と品質のトレードオフがコントロールできる 3
  3. 実験設定: データセットとモデル データセット • テストは BCCWJ のコアデー タ(人手によるタグ付け) • 短単位に対して

    Byte-Pair Encoding によるサブワード化 (語彙サイズは16,000) モデル • Transformer の deep encoder (10層)-shallow dec(2層) • Encoder は causal モデル 表2: 実験データの統計量 6
  4. 実験設定: 評価尺度 変換精度 (Mori et al., 1998; Tokunaga et al.,

    2011; Okuno and Mori, 2012) • 適合率と再現率 • 文字誤り率 • 文正解率 レイテンシ • RAL: Revision-aware average lagging (Zheng et al., 2020) • WRITE/READ にかかった時間 7
  5. 本日紹介する ACL 2024 の2本の論文 同時翻訳としての日本語入力 • Armin Sarhangzadeh, Taro Watanabe.

    Alignment-Based Decoding Policy for Low-Latency and Anticipation-Free Neural Japanese Input Method Editors. Findings of ACL 2024. LLM と強化学習を用いた中国語入力 • Keyu Ding, Yongcan Wang, Zihang Xu, Zhenzhen Jia, Shijin Wang, Cong Liu, Enhong Chen. Generative Input: Towards Next-Generation Input Methods Paradigm. Findings of ACL 2024. 11
  6. Ding et al. (2024) は LLM を使って色んな 設定に中国語入力をアライメントする話 伝統的な pinyin-to-Chinese

    手法(N-gram, RNN, BERT-CRF, GPT等)や P2C タスクの問題 • ピンインを全部入れないといけないので、スペリングの誤り、 方言の違い等に弱い • 入力効率が悪く、パーソナライズできていない LLM と強化学習を使って解決 • P2C を2ステージに分けて LLM によって予測 • 次文生成タスクと文体変換タスクのアライメント用のデータセ ットを作成して強化学習 12
  7. 図3: 提案手法の アーキテクチャ ポイント • プロンプトを使う →IntelAssoc と ConvAssist で別

    • ピンイン分割 (Pyseg) する • 編集距離の近い候補 を出力に混ぜる 16
  8. 実験設定: データセット P2Cタスク • PD(人民日報)データセット: 2,000文 • TP (TouchPal IME)

    データセット: 2,000文 提案タスク(XF データセット) • SFT データセット: IntelAssoc, ConvAssist タスクそれぞれ2,000文, FK2C テストセッ ト57,000文(ピンイン、省略ピンイン、ラ ンダム省略ピンイン、ノイジー入力) • RM/RL データセット: クラウドソーシング 18 表1: XF データセットの統計量
  9. 実験設定: 評価尺度とベースモデル 評価尺度 • IntelAssoc, ConvAssist タスク: 5段階の人手主観評価 (MOS) •

    K2C, P2C タスク: precision at top-k • RM: ランク正解率とバイナリ正解率 ベースモデル • LLM: Spark(2.6B の中国語 LLM) • RM: 中国語 DeBERTa-v2-large • どちらも Huawei Atlas 800T A2 の NPU(64GB の HBM)で 実験(8 NPU で SFT の学習に1週間) 19
  10. IntelAssoc, ConvAssist タスクの実験結果: 提案手法は変換性能を保ったまま SoTA 表5: LLM の人手評価結果 →GPT は変換性能が低い

    →提案手法は強化学習の効果有 表4: 報酬モデルの正解率 →戦略ごとに大きな差はない 21
  11. 所感: LLM 時代の入力メソッド • LLM の高い予測性能と計算効率の両立が課題 (そのうち計算効率は解決されそう? こんなに計算資源が必 要なモデルは SDGs

    的に良くない?) • 周辺タスクとの融合やパーソナライズなどの新しいタスクが生 まれている (タスクの組み合わせや長い文脈をどう使う・使えるかが課 題? ローカル LLM・プライバシーの問題?)
  12. 「数学の美: 情報を支える数理の世界」 に中国語入力のアルゴリズムの話が掲載 第21章 漢字入力の数理 1. 中国語入力の試行錯誤の歴史 2. 漢字1字をキー何回で入力できるか? 3.

    ピンインを漢字へ変換するアルゴリズム 4. ユーザーに合わせた言語モデル ↑Google IME の話が載っている • 呉軍著、持橋大地監訳、井上朋也訳「数学 の美」(2024) 東京化学同人 25

More Decks by Mamoru Komachi

Other Decks in Research