高品質な会話を実現するLINEの音声技術 / LINE's Voice Technology for High-Quality Conversations

LINE株式会社 AI企画1室 副室長 細谷 研
LINE株式会社 AI開発室 Speechチーム マネージャー 木田 祐介
LINE株式会社 AI開発室 Voiceチーム マネージャー 橘 健太郎

LINE AI DAYでの登壇資料です
https://clova.line.me/lineaiday2021/

LINE AiCallは、LINE CLOVAのAI技術によって自然な対話応答を実現するソリューションです。
これまで人が行っていたコールセンターや店舗での問い合わせ対応をAIで自動化するには、ユーザにストレスを与えない自然な対話を実現することが不可欠です。
LINE AiCallの裏側には、多様な利用環境やシーンに対応する音声認識、抑揚のある自然な音声を作り出す音声合成といった、LINEがこれまでR&Dを通して培ってきた高度な音声技術が存在します。
本セッションでは、LINE AiCallの概要やそれを支える音声技術について解説すると共に、人間同士の話し言葉を高精度に認識する音声認識、感情を自由に制御することでより豊かな表現を可能にする音声合成など、LINEが開発している次世代の技術の一端をデモを交えてご紹介いたします。

Transcript

1. 高品質な会話を実現する LINEの音声技術 LINE株式会社 AI企画1室 副室長 細谷 研 LINE株式会社 AI開発室 Speechチーム マネージャー 木田 祐介 LINE株式会社 AI開発室 Voiceチーム マネージャー 橘 健太郎
2. Agenda • -*/&
   "J$BMMͱ͸ • -*/&
   "J$BMMͷγεςϜ • -*/&
   "J$BMMΛࢧ͑ΔԻ੠ೝٕࣝज़ • ࣍ੈ୅ܕԻ੠ೝࣝ/&45 • -*/&
   "J$BMMΛࢧ͑ΔԻ੠߹੒ • ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒ • ࠷ޙʹ
3. Hosoya Ken -*/&גࣜձࣾ "*Χϯύχʔ "*اըࣨ ෭ࣨ௕ ೥݄ʹ-*/&גࣜձࣾʹೖࣾɻ ೖࣾҎདྷɺ$-07"ϓϥοτϑΥʔϜͷاըΛ୲౰͠ɺ SE1BSUZσόΠε΁ͷ$-07"౥ࡌ΋ਪਐɻ ೥݄ΑΓݱ৬ɻ
4. • Ի੠ೝࣝ • Ի੠߹੒ -*/&
   "J$BMMͱ͸ σΟʔϓϥʔχϯάΛ׆༻͠ɺԻڹϞσϧͱݴޠ஌ࣝͳͲͷ ύλʔϯೝٕࣝज़Λ࢖͍ɺਓ͕࿩͢ݴ༿Λจࣈʹม׵͢Δٕज़ -*/&
   $-07"ͷ"*ٕज़ %//Ի੠߹੒ Ͱɺ๮ಡΈͰ͸ͳ͍཈༲ ͷ͋Δਓؒʹ͍ۙࣗવͳԻ੠ΛԻ੠߹੒Ͱ࠶ݱ -*/&
   $-07"ͷ"*ٕज़Ͱ͋Δʮ$-07"
   4QFFDIʯʢԻ੠ೝࣝʣ ͱʮ$-07"
   7PJDFʯʢԻ੠߹੒ʣɺ͓Αͼձ࿩੍ޚͷ࢓૊ΈΛ ૊Έ߹ΘͤΔ͜ͱͰɺ"*ʹΑΔࣗવͳର࿩Ԡ౴Λ࣮ݱ͢Δ ιϦϡʔγϣϯ • -*/&
   "J$BMM
5. s ϠϚτӡ༌༷ ͓٬͞·͸اۀʹ໰͍߹Θͤ΍ۀ຿ґཔΛ͢Δࡍɺి࿩ɺϝʔϧɺ 4/4ͳͲνϟωϧΛ࢖͍෼͚͍ͯ·͕͢ɺి࿩Λબ୒͢Δ͓٬͞ ·͸ɺۓٸੑ͕ߴ͘ΑΓਝ଎ͳରԠΛٻΊ͍ͯ·͢ɻ ҰํɺίʔϧηϯλʔͰ͸ɺ৽ܕίϩφ΢Πϧεײછ঱֦େ๷ࢭ ͷ؍఺ΑΓɺ৬৔಺ͰͷີΛආ͚ΔͨΊʹΦϖϨʔλͷਓһମ੍ Λॖখ͍ͯ͠Δ͜ͱ͔Βɺి࿩͕ूத͢Δ࣌ؒଳͰ͸଴͕ͪ࣌ؒ ௕͘ͳΔͳͲɺΦϖϨʔλʹܨ͕ΓͮΒ͍ঢ়گ͕ଓ͍͍ͯ·ͨ͠ɻ ϠϚτӡ༌༷Ͱ͸ɺίʔϧηϯλʔΛར༻͢Δ͓٬͞·ͷຬ଍౓ ޲্ΛਤΔͨΊͷϑΝʔετεςοϓͱͯ͠ɺ͓٬͞·ͷूՙґ པΛର৅ʹ"*ΦϖϨʔλͷಋೖΛ։࢝͠ɺ༗ਓରԠΛิ׬͢Δ͜ ͱͰɺ͓٬͞·ͱΦϖϨʔλ͕εϜʔζʹίϛϡχέʔγϣϯΛ ߦ͏͜ͱ͕Ͱ͖Δ؀ڥΛߏங͠·ͨ͠ɻ ಋೖࣄྫᶃ "* ूՙͷ͝ґཔ͸ʮʯ ࠶഑ୡ͸ʮʯ ͦͷଞ͸ʮʯ Λԡ͍ͯͩ͘͠͞ ͓٬༷ -*/&
   "J$BMM ίʔϧηϯλʔ ʮʯΛબ୒ "*ͰରԠ Ͱ͖ͳ͍৔߹
6. ҿ৯ళ΁ͷి࿩༧໿ΛʮFCJDBʯͷ࠷৽ͷۭ੮৘ใΛ΋ͱʹ-*/&
   "J$BMM͕Ԡର ి࿩Ͱͷ༧໿΍ొ࿥ࡁ༧໿ͷ֬ೝɺΩϟϯηϧ΋͢΂ͯ-*/&
   "J$BMM͕ड෇͠ ʮFCJDBʯ΁ࣗಈొ࿥ ༧໿ر๬͕࣌ؒຬ੮ͷ৔߹ɺ୅ସՄೳ࣌ؒ΍ۙྡଞళͷఏࣔ΋Մೳ ελοϑ͸μογϡϘʔυͰ-*/&
   "J$BMMԠରϩάΛ֬ೝ ΤϏιϧ༷ʙҿ৯ళ༧໿ʙ ચं༧໿Λ-*/&
   "J$BMM͕ड෇ड෇ޙɺ͓٬༷ͷ-*/&ΞΧ΢ϯτ΁ड෇಺༰Λ௨஌ ࣄલʹ*73ͰৼΓ෼͚͠ɺચं༧໿͸-*/&
   "J$BMM͕ड෇ ༧໿৘ใΛࣗಈొ࿥͠ɺۭ͖ঢ়گ͸UJNZ΁ଈ࣌൓ө ελοϑ͸μογϡϘʔυͰ-*/&
   "J$BMMԠରϩάΛ֬ೝ ΧʔϑϩϯςΟΞ༷ʙચं༧໿ʙ ಋೖࣄྫᶄ ༧໿ ۭ੮ ֬ೝ ͦͷଞ ళฮ సૹ FCJDB ༧໿ ొ࿥ ձ࿩
7. ۀछ ಋೖΠϝʔδ αʔϏε དྷళ༧໿ Ωϟϯηϧड෇ ϝʔΧʔ मཧͷड෇ɺ๚໰ͷड෇ ఆظ఺ݕड෇ɺϦίʔϧड෇ ௨৴ ֤छखଓ͖ɺγϣοϓҊ಺ ޻ࣄ೔΍๚໰೔ͷࣗಈड෇ ௨ൢ ஫จΩϟϯηϧड෇ ૹྉ΍ࢧ෷͍ํ๏Ҋ಺ ׆༻γʔϯ ۀछ ಋೖΠϝʔδ ੜอଛอ ߇আূ໌࠶ൃߦड෇ ֤छखଓ͖ड෇ ূ݊ ֤छखଓ͖Ҋ಺ ໿ఆরձɺج४Ձ֨ͷҊ಺ ۜߦ དྷళ༧໿ड෇ ֤छखଓ͖ड෇ ిؾ Ҿӽ͠ड෇ɺΞϯϖΞมߋ ྉۚরձɺఀిҊ಺ Ψε Ҿӽ͠ड෇ ։ખཱͪ߹͍೔࣌ͷઃఆ
8. 1#9 ʢ$5*࿈ܞʣ ి࿩αʔϏε -*/&ి࿩ γεςϜ࿈ܞΠϝʔδ γεςϜ࿈ܞͰϢʔβʔͷ໨తΛୡ੒ -*/&
   "J$BMM͸ɺίϯλΫτηϯλʔͷ1#9ͱͷ઀ଓ͸΋ͪΖΜɺ$3.ͱ࿈ܞ͢Δ͜ͱ͕Ͱ͖·͢ɻ ొ࿥৘ใΛ֬ೝ͠ͳ͕ΒͷরձԠର΍ɺ֤छखଓ͖ͷड෇Λ"*ͰରԠ͢Δ͜ͱ͕ՄೳͰ͢ɻ
9. γεςϜߏ੒Πϝʔδ -*/& "J$BMMʢσʔλอଘྖҬ͸҉߸Խʣ ίϯλΫτηϯλʔ  ճઢ 4*1 4FSWFS (8 455 Ի੠ೝࣝ ձ࿩੍ޚ 554
   
   Ի੠߹੒ "* "1*઀ଓ 7PJDF-PH 5FYU-PH ެऺ໢ ެऺ໢ Ξ΢τό΢ϯυ Πϯό΢ϯυ IUUQT αʔόʔɿ೔ຊࠃ಺ͷ-*/&ࣾอ༗σʔληϯλʔ ճઢ 1#9 4*1 $$ ൪߸ -*/&
   "J$BMMड෇಺༰Λ$5*࿈ܞ *14&$ $5* "$% $3.%#
10. Kida Yusuke -*/&גࣜձࣾ "*Χϯύχʔ "*։ൃࣨ 4QFFDIνʔϜ Ϛωʔδϟʔ ֶੜ࣌୅͔ΒԻ੠ٕज़ʹڵຯΛ࣋ͪɼ౦ࣳɾϠϑʔʹͯ Ի੠৴߸ॲཧɼԻ੠ೝࣝͷݚڀ։ൃʹ෯޿͘ܞΘΔɻ ೥݄-*/&ʹೖࣾ͠ɼݱࡏ͸Ի੠ೝࣝͷٕज़։ൃ Λߦ͏4QFFDIνʔϜͷϚωʔδϟʔΛ୲౰ɻ
11. Agenda • -*/&
    "J$BMMͱ͸ • -*/&
    "J$BMMͷγεςϜ • -*/&
    "J$BMMΛࢧ͑ΔԻ੠ೝٕࣝज़ • ࣍ੈ୅ܕԻ੠ೝࣝ/&45 • -*/&
    "J$BMMΛࢧ͑ΔԻ੠߹੒ • ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒
12. Ի੠ೝࣝͷ࢓૊Έ Ի੠۠ؒݕग़ Ի੠৴߸ ೝࣝ ݴޠ Ϟσϧ Իڹ Ϟσϧ ೝࣝ݁Ռ lઌఔ༧໿ͨ͠ɾɾz a 3% i 2% u 70% … 先程 予約 した と 要約 訳
13. ࿩ऀɾԻڹ؀ڥͷଟ༷ੑ Ի੠*'शख़౓ɺσόΠεɺ௨৴؀ڥɼࡶԻ ൃ࿩಺༰ͷଟ༷ੑ ೝࣝޡΓ͕ϢʔβϏϦςΟʹ༩͑ΔӨڹͷେ͖͞ -*/&
    "J$BMMʹ͓͚ΔԻ੠ೝࣝͷ೉͠͞
14. ਫ਼౓Λܧଓతʹ޲্ͤ͞ΔΤίγεςϜ Deploy Logging Transcribing Analyzing Modeling
15. Agenda • -*/&
    "J$BMMͱ͸ • -*/&
    "J$BMMͷγεςϜ • -*/&
    "J$BMMΛࢧ͑ΔԻ੠ೝٕࣝज़ • ࣍ੈ୅ܕԻ੠ೝࣝ/&45 • -*/&
    "J$BMMΛࢧ͑ΔԻ੠߹੒ • ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒ • ࠷ޙʹ
16. &OEUP&OEԻ੠ೝࣝ
17. &OEUP&OEԻ੠ೝࣝͷ࢓૊Έ Ի੠۠ؒݕग़ Ի੠৴߸ ೝࣝ &OEUP&OE Ϟσϧ ೝࣝ݁Ռ lઌఔ༧໿ͨ͠ɾɾz
18. 
    /
    ,BOEB
    FU
    BM
    l*OWFTUJHBUJPO
    PG
    MBUUJDFGSFF
    NBYJNVN
    NVUVBM
    JOGPSNBUJPOCBTFE
    BDPVTUJD
    NPEFMT
    XJUI
    TFRVFODFMFWFM
    ,VMMCBDL-FJCMFS EJWFSHFODFz 
    4
    ,BSJUB
    FU
    BM
    l"
    $0.1"3"5*7&
    456%:
    0/
    53"/4'03.&3
    74
    3//
    */
    41&&$)
    "11-*$"5*0/4z 0 2 4 6 8 10 E1 E2 E3 ೔ຊޠ࿩͠ݴ༿ίʔύεʢ$4+ʣʹର͢ΔೝࣝޡΓ཰  %//).. &OEUP&OE &OEUP&OEԻ੠ೝࣝͷਫ਼౓ (PPE #BE
19. /&45
    /FVSBM
    &OEUP&OE
    4QFFDI
    5SBOTDSJCFS -*/&/"7&3Ͱڞಉ։ൃ͍ͯ͠Δ &OEUP&OEԻ੠ೝࣝγεςϜ ࿩͠ݴ༿ͷਖ਼֬ͳೝࣝʹΑΓ৽ͨͳՁ஋Λ૑ग़
20. /&45
21. $-07"
    /PUF
22. -*/&͕/&45Ͱ໨ࢦ͢৽ͨͳମݧ -*/&
    "J$BMM ֎ࠃޠڭҭ ϥΠϒಈը഑৴ サービス解約理由を分類 オンラインレッスンの ⾳声を認識・解析 ⽇本の動画コンテンツを 別⾔語の⾳声に翻訳 他社の⽅が料⾦が 安くて・・ 新しいプランについて オペレータより説明 させてもらえませんか︖ Hello!
23. Tachibana Kentaro -*/&גࣜձࣾ "*Χϯύχʔ "*։ൃࣨ 7PJDFνʔϜ Ϛωʔδϟʔ ೥ೖࣾͨ͠౦ࣳͰ͸ςΩετԻ੠߹੒ʢ554ʣͷٕज़։ ൃΛߦ͍ɺ ͦͷޙɺ೥ʹҠͬͨ%F/"Ͱ͸Ի੠ม׵ͷٕ ज़։ൃΛ୲౰ɻ -*/&ʹ͸೥݄ʹೖࣾ͠ɺݱࡏ·Ͱ554ͷݚڀ։ൃΛ ߦ͏7PJDFνʔϜͷϚωʔδϟʔΛ୲౰ɻ
24. Agenda • -*/&
    "J$BMMΛࢧ͑ΔԻ੠߹੒ • ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒
25. Agenda • -*/&
    "J$BMMΛࢧ͑ΔԻ੠߹੒ • Ի੠߹੒ͷ֓ཁɾ࢓૊Έ • -*/&
    "J$BMMӡ༻্Ͱͷ޻෉
26. Ի੠߹੒ͷ֓ཁ Text ͋Γ͕ͱ͏ to Speech ςΩετ͔ΒԻ੠Λੜ੒͢Δٕज़
27. Ի੠߹੒ͷ࢓૊Έ [ a- ri^ ga- to- o- ] ͋Γ͕ͱ͏ ݴޠಛ௃ྔ Ϙίʔμʔ Իڹಛ௃ྔ ԻڹϞσϧ ςΩετղੳ
28. Ի੠߹੒ͷ࢓૊Έ [ a- ri^ ga- to- o- ] Իڹಛ௃ྔ Ϙίʔμʔ ͋Γ͕ͱ͏ ݴޠಛ௃ྔ ԻڹϞσϧ ςΩετղੳ શͯͷϞδϡʔϧΛ಺੡͍ͯ͠ΔͨΊɺ ࣗ༝౓ͷߴ͍ௐ੔ɾఏڙ͕Մೳ
29. -*/&
    "J$BMMʹ͓͚ΔԻ੠߹੒ͷҐஔ͚ͮ -*/& "J$BMM Ϣʔβʔ Ի੠ೝࣝ ձ࿩੍ޚ Ի੠߹੒ • ੜ੒͞ΕͨԠ౴ςΩετΛԻ੠ͱͯ͠ग़ྗ͢Δ • ࿩ऀɺ࿩଎ɺԻྔɺ੠ͷଠ͞ɾߴ͞Λௐ੔Մೳ ެऺ໢ ࿩ऀ΍࿩଎ͱ͍ͬͨύϥϝʔλʔΛ มߋ͢Δ͜ͱͰɺଟ༷ͳέʔεʹରԠ
30. Agenda • -*/&
    "J$BMMΛࢧ͑ΔԻ੠߹੒ • Ի੠߹੒ͷ֓ཁɾ࢓૊Έ • -*/&
    "J$BMMӡ༻্Ͱͷ޻෉
31. Ի੠߹੒ͷԠ౴଎౓ͷߴ଎Խ -*/&
    "J$BMM༻్Ͱ͸ఆܕจ͕ଟ͍ ΩϟογϡػೳΛద༻ ձ࿩੍ޚ Ωϟογϡ%# Ի੠߹੒ ߹੒Ϟσϧ ະ஌จ൑ఆ ʁ ߹੒ อଘ ͋Γ͕ͱ͏ ͍͟͝·͢ɻ
32. Ի੠߹੒ͷԠ౴଎౓ͷߴ଎Խ -*/&
    "J$BMM༻్Ͱ͸ఆܕจ͕ଟ͍ ΩϟογϡػೳΛద༻ ձ࿩੍ޚ Ωϟογϡ%# ͋Γ͕ͱ͏ ͍͟͝·͢ɻ Ի੠߹੒ ߹੒Ϟσϧ ະ஌จ൑ఆ ʁ நग़
33. ೖྗςΩετͷਖ਼نԽ ద੾ͳॻ͖෼͚ ਖ਼نԽ ʹΑΓ ࣗવͳಡΈ্͛ʹͳΔΑ͏ௐ੔ ೔ɺΠϕϯτ͕։࠵͞ΕΔ ೖྗจ ͍ͭͨͪʁ ͍ͪʹͪʁ ͍ͭͨͪɺΠϕϯτ͕։࠵͞ΕΔ ੔ܗจ
34. ࣙॻʹΑΔಡΈิ׬ ݻ༗දݱ FH
    ઐ໳༻ޠ
    ਓ໊
    ஍໊ ʹ͍ͭͯ ࣄલʹࣙॻΛߏங͢Δ͜ͱʹΑΓಡΈޡΓΛ๷ࢭ "J$BMM ΞΠίʔϧ ΤʔΞΠίʔϧ ొ࿥ Լดҏ܊ࢁాொ ϠϚμνϣʔ ϠϚμϚν ొ࿥ ౎৓ࢢࢁాொ ϠϚμϚν ϠϚμνϣʔ ొ࿥
35. Agenda • -*/&
    "J$BMMΛࢧ͑ΔԻ੠߹੒ • ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒
36. ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒ɿϞσϧֶश [ a- ri^ ga- to- o- ] ͋Γ͕ͱ͏ ςΩετղੳ ײ৘ڧ౓ΛԻ੠߹੒࣌ͷύϥϝʔλʔͱͯ͠ಋೖ ԻڹϞσϧ Ϙίʔμʔ ςΩετ ࣗવԻ੠ ײ৘ڧ౓༧ଌ 0 1 ײ৘ڧ౓ 0.5 ໌Δ͞
37. ײ৘ڧ౓Λ੍ޚͰ͖ΔԻ੠߹੒ɿੜ੒ [ a- ri^ ga- to- o- ] Ϙίʔμʔ ͋Γ͕ͱ͏ ԻڹϞσϧ ςΩετղੳ ײ৘ڧ౓ΛԻ੠߹੒࣌ͷύϥϝʔλʔͱͯ͠ಋೖ ςΩετ 0 1 ײ৘ڧ౓ ʢ೚ҙʣ ໌Δ͞
38. αϯϓϧԻ੠ ಉ͡จষ͔Βײ৘ڧ౓Λ੍ޚͯ͠ੜ੒ͨ͠ྫ ! " # $ ໌Δ͍ ҉͍ %
39. ϢʔβͷԠ౴ʹରͯ͠ײ৘Λ੍ޚ͢Δ͜ͱͰɺ ΑΓࣗવͳର࿩Λԋग़ ࠓޙͷԻ੠߹੒ͷల๬ Ϣʔβʔ "* Ͷʔɺฉ͍ͯʔ ֶߍͰ๙ΊΒΕͨʂ ࠓ೔͸͍͍ເݟΕͦ͏ Ͳ͏ͨ͠ͷʁ ͦΕ͸ຊ౰ʹ Α͔ͬͨͶʔ ૣ͘৸ͯͶ
40. ߏங࣌ʹɺސ٬΍γφϦΦʹ͋Θͤͯɺࡉ͔ͳ νϡʔχϯάΛ࣮ࢪ͠·͢ɻ ۩ମతʹ͸ɺγφϦΦߏங࣌ʹɺ͓٬༷೥ྸ૚΍ɺి࿩Λ͔͚ͯ͘Δγʔϯʹ߹Θͤͯɺ දݱํ๏ͷݟ௚͠΍ձ࿩଎౓ͷઃఆɺ·ͨԻ੠ೝࣝ·Ͱͷ࣌ؒͷௐ੔ͳͲɺ ౎౓౎౓ΧελϚΠζ͠ɺνϡʔχϯάΛ࣮ࢪ͠·͢ɻ ಋೖޙ͸ɺൃ࿩಺༰Λ෼ੳ͠ɺֶश݁ՌΛϞσϧʹ ΋൓өֶ͠शΛଓ͚͍͖ͯ·͢ɻ ࣗࣾ։ൃٕज़͔ͩΒͰ͖Δνϡʔχϯά "*Ϟσϧ νϡʔχϯάͷΠϝʔδʢಋೖલʣ モデル ࣄલʹֶश ݻ༗໊ࢺͳͲ γφϦΦ ςετˍֶश ൃ࿩ೝࣝςετɺֶश ΧελϚΠζ ۀքۀछͷঢ়گΛߟྀͨ͠ ΧελϚΠζ ֶशϞσϧΠϝʔδʢಋೖޙʣ モデル ֶश൓ө "*Ϟσϧ ෼ੳ ˞ϢʔβͷಉҙΛಘ͍ͯΔൃ࿩಺༰ͷΈ͕ର৅
41. -*/&
    "J$BMMΛύʔτφʔΛ௨ͯ͡ެ։ -*/& "J$BMM $POTPMFʹ͸ɺ-*/&
    "J$BMMʹඞཁͳ ίϯϙʔωϯτͷ؅ཧɺ௨࿩ϩάͷরձ͓Αͼ෼ੳɺ ͦͷଞͷςϨϑΥχʔ؀ڥߏஙʹඞཁͳػೳ͕ ౥ࡌ͞Ε͍ͯ·͢ɻ LINE AiCall Console
42. Thank you