1 AIを活⽤した外国語歌詞の逐語訳及びIPA選定 登壇資料 2025.01.31 〜Classmethod AI Talks(CATs) 新年生成AI LT大会2025〜 Solvio株式会社エンジニア 本間裕大

2 本間 裕⼤ Solvio 株式会社 VPoE 兼 ⾏政機関 政府クラウドエンジニア 2024年5⽉よりSolvio株式会社へJoin システム開発及び技術アドバイザー ⾃⼰紹介 仕事外で合唱団に所属 （名称: CancaoNova） エンジニアが6⼈くらいいる のでシステム開発もチーム 組んで実施

3 外国語の歌唱に必要な要素とは？🤔

4 まずは外国語曲サンプル

5 ？？？？？

6

7 和訳 歌詞の文章全体の翻訳 文学的な意訳が多いため、発音 や逐語的な理解には向かない Zu dem Wettgesange schreiten Minnesänger jetzt herbei, ↓ ミンネゼンガー(12〜14世紀の 抒情詩人)が歌試合に向かう。 外国語の歌唱に必要な要素 逐語訳 原文中の一語一語を忠実にた どって訳したもの IPA 国際音声記号 アクセントも含む

8

9 Notionで全員に展開 ※ 但し、年間 20曲ほどあり、 1曲あたり100〜500単語ほどあるので非常に大変。。。

10 ⾃動化したい！！！！

11 Collins APIとOpen AI APIのハイブリッド ※Collins API: 多言語辞書やシソーラスのデータを提供するAPI どうやって⾃動化するか API例： GET /entries/{word} → 単語の定義 GET /synonyms/{word} → 類義語取得 GET /pronunciations/{word} → 発音データ GET /examples/{word} → 例文検索

12 ● 一部そのままではCollins APIで使えないもの ○ Ex. 複数形や過去形や格変化や複合語等々。。。 ● Open AIで処理 ○ Prompt: ```辞書で処理できる形にしてください``` ○ 汎用的にやるより絞ったほうが効果的 ■ 複数形を処理してください ■ 格変化を処理してください etc ○ 言語を絞ったほうが効果的なものもある ■ 多言語で似ている単語が多い格変化等 ● Prompt: ```入力単語はドイツ語です``` Collins APIで処理できないものをOpenAI APIで処理

13 処理フロー 歌詞を単語ご とにparse 言語推定 Collins APIで 検索 csv出力 見つかった 場合 Open AI APIで 辞書検索できる 形に変換 見つからな かった場合 歌詞.txt output.csv

14 Promptサンプル（⾔語推定） ※後々利用する

15 Promptサンプル（格変化推定） ※精度向上のため先で推定した言語を入力に含める ↑これ

16 Promptサンプル（複合語推定） ※複数の単語でreturnされるため、配列形式にoutputを固定 ↑これ

17 1回の推論（プロンプト）で処理を絞ることが精度向上に有効 ● 格変化や複合語の推定のみをやらせる ● 言語を絞ってやる 生成AI活用によって自動化できる領域の拡大 ● 従来のNLPで難しかったことも雑に投げればいい感じで返ってくる ● かゆいところに手が届く感じ ● 非常に手軽なので個人開発も今後熱そう 今回得たこと‧学び

18