AIを活用した外国語歌詞の逐語訳及びIPA選定

AIを活用した外国語歌詞の合成語や格変化に対応した逐語訳及び発音推定のワークフローのご紹介をします。

Transcript

1. 1 AIを活⽤した外国語歌詞の逐語訳及びIPA選定 登壇資料 2025.01.31 〜Classmethod AI Talks(CATs) 新年生成AI LT大会2025〜 Solvio株式会社エンジニア 本間裕大
2. 2 本間 裕⼤ Solvio 株式会社 VPoE 兼 ⾏政機関 政府クラウドエンジニア 2024年5⽉よりSolvio株式会社へJoin システム開発及び技術アドバイザー ⾃⼰紹介 仕事外で合唱団に所属 （名称: CancaoNova） エンジニアが6⼈くらいいる のでシステム開発もチーム 組んで実施
3. 3 外国語の歌唱に必要な要素とは？🤔
4. 4 まずは外国語曲サンプル
5. 5 ？？？？？
7. 7 和訳 歌詞の文章全体の翻訳 文学的な意訳が多いため、発音 や逐語的な理解には向かない Zu dem Wettgesange schreiten Minnesänger jetzt herbei, ↓ ミンネゼンガー(12〜14世紀の 抒情詩人)が歌試合に向かう。 外国語の歌唱に必要な要素 逐語訳 原文中の一語一語を忠実にた どって訳したもの IPA 国際音声記号 アクセントも含む
9. 9 Notionで全員に展開 ※ 但し、年間 20曲ほどあり、 1曲あたり100〜500単語ほどあるので非常に大変。。。
10. 10 ⾃動化したい！！！！
11. 11 Collins APIとOpen AI APIのハイブリッド ※Collins API: 多言語辞書やシソーラスのデータを提供するAPI どうやって⾃動化するか API例： GET /entries/{word} → 単語の定義 GET /synonyms/{word} → 類義語取得 GET /pronunciations/{word} → 発音データ GET /examples/{word} → 例文検索
12. 12 • 一部そのままではCollins APIで使えないもの ◦ Ex. 複数形や過去形や格変化や複合語等々。。。 • Open AIで処理 ◦ Prompt: ```辞書で処理できる形にしてください``` ◦ 汎用的にやるより絞ったほうが効果的 ▪ 複数形を処理してください ▪ 格変化を処理してください etc ◦ 言語を絞ったほうが効果的なものもある ▪ 多言語で似ている単語が多い格変化等 • Prompt: ```入力単語はドイツ語です``` Collins APIで処理できないものをOpenAI APIで処理
13. 13 処理フロー 歌詞を単語ご とにparse 言語推定 Collins APIで 検索 csv出力 見つかった 場合 Open AI APIで 辞書検索できる 形に変換 見つからな かった場合 歌詞.txt output.csv
14. 14 Promptサンプル（⾔語推定） ※後々利用する
15. 15 Promptサンプル（格変化推定） ※精度向上のため先で推定した言語を入力に含める ↑これ
16. 16 Promptサンプル（複合語推定） ※複数の単語でreturnされるため、配列形式にoutputを固定 ↑これ
17. 17 1回の推論（プロンプト）で処理を絞ることが精度向上に有効 • 格変化や複合語の推定のみをやらせる • 言語を絞ってやる 生成AI活用によって自動化できる領域の拡大 • 従来のNLPで難しかったことも雑に投げればいい感じで返ってくる • かゆいところに手が届く感じ • 非常に手軽なので個人開発も今後熱そう 今回得たこと‧学び