音声ファイルからGoogle Homeや、Google Assistant アプリのテストを自動実行してみる。

Transcript

1. Ի੠ϑΝΠϧ͔Β Google Home ΍ɺ Google Assistant ΞϓϦͷɺ ςετΛࣗಈ࣮ߦͯ͠ΈΔɻ
2. ࣗݾ঺հ HN:·ͪ͞Ό͜ • ۂͱ͔࡞ΔϓϩάϥϚ ܥ SIer • Java / nodejs / terraform ͳͲͳͲ • αʔόαΠυΞϓϦɺεϚʔτεϐʔΧʔΞϓϦͷ։ൃ • ٶͪΌΜͷসإۦಈ։ൃ • TwitterͰϛΫ͞ΜୡͷۂΛެ։தʂ • Twitter • @masachaco • GitHub • https://github.com/masachaco • SoundCloud • https://soundcloud.com/masa_charcoal • niconico • https://www.nicovideo.jp/mylist/11613193
3. εϚʔτεϐʔΧʔ ศརͰ͢ΑͶ
4. ศར ੠͚ͩͰૢ࡞Ͱ͖Δ ख͕࢖͑ͳ͍࣌ʹɺಛʹศར • ேɺ͓෩࿊্͕Γʹ൅Λ১͖ͭͭʮࠓԿ࣌ʁʯ • ͓෍ஂ͔ΒిؾɾΤΞίϯফͯ͠( ˘ω˘)ţźō • खΛಈ͔ͨ͠··ɺradiko͚ͭͨΓ • Amazon Music࠶ੜͨ͠Γ
5. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) 0,
   (PPHMFɺ
   ʮٶͪΌΜ͔Θ͍͍ʯ ͬͯΞϓϦ Λ։͍ͯ
   
6. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ͜ͷਓ͜Μͳ͜ͱ
   ݴͬͯΔΜ͚ͩͲ
7. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮٶͪΌΜ͔Θ͍͍Λ։͍ͯʯ
   ͩͬͯʂ
   
8. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮٶͪΌΜ͔Θ͍͍ʯ
   ͕ىಈͨ࣌͠ͷॲཧΛ࣮ߦͯ͠
   
9. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮٶͪΌΜ͔Θ͍͍ʯ
   ͕ىಈͨ࣌͠͸
   εϐʔΧʔ͸
   ʮٶͪΌΜ͔Θ͍͍ʂʯ
   ͱݴͬͯʂ
   
10. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮٶͪΌΜ͔Θ͍͍ʂʯ
11. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮ΍ͬͨʔʔʔʔʔʔʔʔʂʯ
12. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮ΍ͬͨʔʔʔʔʔʔʔʔʂʯ
13. Assistant ΞϓϦͷ࢓૊Έ(Ұྫ) ʮ΍ͬͨʔʔʔʔʔʔʔʔʂʯ
14. ςετΛͯ͠Έ͍ͨ
15. ςετΛͯ͠Έ͍ͨ(αʔόଆ) ʮٶͪΌΜ͔Θ͍͍ ͬͯΞϓϦ ͕ىಈͨ࣌͠ͷॲཧΛ࣮ߦͯ͠ʯ
    ͬͯݴΘΕͨΒ
    ʮٶͪΌΜ͔Θ͍͍ʂʂʯ
    ͬͯεϐʔΧʔ͕ݴ͏Α͏ʹࢦࣔͨ͜͠ͱΛ֬ೝ͢Δɻ +6OJU KFTU
16. ςετͮ͠Β͍ॴ
17. ςετͮ͠Β͍ॴ ͜ͷԫ৭͍ͱ͜ΖΒ΁Μ͕
    ςετͮ͠Β͍
18. ςετͮ͠Β͍ॴ • Ի੠Λೝࣝ͢Δॴ(AoG)͸೔ʑมԽ͢Δ
 • ೖྗ͞ΕͨจݴΛೝࣝ͢Δॴ΋೔ʑมԽ͢Δ
19. ςετͮ͠Β͍ॴ • Ի੠Λೝࣝ͢Δॴ(AoG)͸೔ʑมԽ͢Δ
 • ೖྗ͞ΕͨจݴΛೝࣝ͢Δॴ΋೔ʑมԽ͢Δ Ի੠Λೝࣝͯ͠ɺ
    ςΩετʹม׵͢Δॴ
20. ςετͮ͠Β͍ॴ • Ի੠Λೝࣝ͢Δॴ(AoG)͸೔ʑมԽ͢Δ
 • ೖྗ͞ΕͨจݴΛೝࣝ͢Δॴ΋೔ʑมԽ͢Δ ೖྗ͞ΕͨจݴΛೝࣝͯ͠ɺ
    αʔό΁ͷϦΫΤετʹม׵͢Δॴ
21. ςετ͢ΔϑϨʔϜϫʔΫ͕͋Δ
22. ͘͠Έ ύιίϯͷதͰ
 (PPHMF
    "TTJTUBOU
    Λ্ཱͪ͛ͯ
    ςΩετͷ
    ϦΫΤετΛૹΔ
23. Ի੠Λૹ৴ͯ͠ ϦΫΤετ ͍ͯ͠ΔΘ͚Ͱ͸ͳ͍
24. Actions on Google Testing LibraryͷࠔΔॴ • ςΩετܗࣜͷϦΫΤετͳͷͰɺ
 Ի੠ೝࣝ͸͠ͳ͍ɻ
 • ͳͷͰςΩετͰ͸OKͰ΋ɺൃ࿩ͯ͠ΈΔͱɺ
 μϝͳ͜ͱ͕͋Δɻ • ྫɿʮOk Google, ؋͜Εͷൺӥ͞Μʹ͍ͭͯڭ͑ͯʯ • → ʮ͸͍ɺൺӥࢁʹ͍ͭͯɻɻɻɻʯ
25. Ի੠ͷೝࣝ෦෼͸ ೔ʑมԽ͠ ϒϥοΫϘοΫε
26. ςετͱ·Ͱ͸͍͔ͳͯ͘΋ ೔࣍Ͱɺ૝ఆ͍ͯ͠Δൃ࿩Λ ਖ਼͘͠ೝࣝͰ͖͍ͯΔ͔؂ࢹ͍ͨ͠
27. ͳͷͰ࡞Δ
28. Ի੠ೝ͔ࣝΒςετͰ͖Δ ϑϨʔϜϫʔΫΛ࡞Δ • جຊతͳ࢓૊Έ͸ɺલड़ͷϑϨʔϜϫʔΫͱಉ ͡(PC্ͰAssistantΛىಈͯ͠ϦΫΤετ) • ϦΫΤετʹwavϑΝΠϧΛࢦఆͰ͖ΔΑ͏ʹ
 ͯ͠ɺԻ੠Λೝࣝͤͯ͞ϦΫΤετ͢Δ • nodejs͔Β࣮ߦͰ͖ΔΑ͏ʹ͢Δ
29. Assistant SDK • Google AssistantΛར༻͢ΔΫϥΠΞϯτΛ࡞ ੒͢ΔͨΊͷSDK • ຊདྷ͸εϚʔτεϐʔΧʔͱ͔Λ࡞Δ৔߹ʹɺ ૊ΈࠐΈ޲͚Ͱ࢖͏
30. υΩϡϝϯτΛಡΜͰΈΔ
31. υΩϡϝϯτΛಡΜͰΈΔ ͍͍͔ΒαϯϓϧίʔυΛಡΊɻ
    ࿩͸ͦΕ͔Βͩ
    ͱ͍͏ڧ͍ҙࢤ
32. αϯϓϧίʔυΛಡΜͰΈΔ
33. nodejs൛ͷαϯϓϧ΋͋Δ
34. ΄΅ɺॻ͍ͨ͜ͱͳ͍͚Ͳ Pythonಡ΋͏
35. PythonͷίʔυͰΘ͔ͬͨ͜ͱ • nodejs൛ʹൺ΂͍ͯͩͿॆ࣮࣮ͨ͠૷͕͞Εͯ ͍Δ • ςΩετ͔ΒͷϦΫΤετ • ϚΠΫ͔ΒͷϦΫΤετ • Ի੠ϑΝΠϧ͔ΒͷϦΫΤετ • ϨεϙϯεͷεϐʔΧʔग़ྗ • ϨεϙϯεͷԻ੠ϑΝΠϧग़ྗ • ͳͲͳͲ
36. PythonͷίʔυͰΘ͔ͬͨ͜ͱ • Assistantͷαʔόͱͷ௨৴͸gRPCͰߦ͏ɻ • ·ͣɺೝূ΍ΒͳΜ΍Βͨ͠ޙ
 ௨ৗςΩετΫΤϦΛૹΔ࣌ͷઃఆʹՃ͑ͯɺ ʮAudioInConfigʯΛઃఆ͢Δ • ʲઃఆ಺༰ʳ • ૹΔΦʔσΟΦͷαϯϓϦϯάϨʔτ • ϑΥʔϚοτ
37. PythonͷίʔυͰΘ͔ͬͨ͜ͱ • AudioInConfigΛઃఆͯ͠ɺͦͷઃఆ಺༰ΛૹΔɻ
 • ͦͷޙɺΦʔσΟΦͷόΠτྻΛૹΔɻ
 • Google ͕
 ʮΦοέʔɺԻ੠͕ԿݴͬͯΔ͔׬શʹཧղͨ͠ʯ
 ঢ়ଶʹͳΔͱɺʮEND_OF_UTTERANCEʯ
 ͷίʔυ͕ૹΒΕɺൃ࿩ʹରͯ͠Ϩεϙϯεͯ͘͠Δɻ
38. PythonͷίʔυΛ nodejsͷ αϯϓϧίʔυʹҠ২ ͯ͠ΈΔ
39. ͏·͘ಈ͔ͳ͍
40. ͏·͘ಈ͔ͳ͔ͬͨॴ • AudioInConfigͷઃఆΛͯ͠ૹ͔ͬͯΒɺ
 Google͔ΒϨεϙϯε͕͋Δ·Ͱ
 AudioΛૹͬͯ͸μϝ • AudioInConfigʹର͢ΔϨεϙϯε͕͋ͬͯ ͔ΒૹΔɻ
41. ͏·͘ಈ͔ͳ͔ͬͨॴ2 • ΦʔσΟΦͷόΠτྻ͸Ұؾʹૹͬͯ͸μϝ • Pythonͷίʔυͩͱ3.2KBͣͭ͘Β͍ • Ҡ২൛΋ಉ༷ʹ3.2KBͣͭ͘Β͍ૹΔ
42. ͏·͘ಈ͔ͳ͔ͬͨॴ3 • ΦʔσΟΦ͸ʮϞϊϥϧʯͰ͋Δ͜ͱ • ࿥Իͯ͠Δ࣌ʹ
 ʮϞϊϚΠΫ͔ͩΒϞϊϥϧͰ࿥Ի͞ΕͯΔͰ͠ΐʯ
 ͱࢥ͍ࠐΜͰ͍ͨɻ ͹ͬͪΓεςϨΦͩͬͨ
43. ͠͹Βͯ͘͠
44. Ͱ͖ͨ
45. σϞͯ͠ΈΔ
46. σϞ༻ΞϓϦ • ʮٶͪΌΜ͔Θ͍͍ʹͭͳ͍Ͱʯͱݴ͏ • ʮ͸͍ɺٶͪΌΜ͔Θ͍͍ͷςετόʔδϣϯͰ͢ɻʯ
 ʮٶͪΌΜ͔Θ͍͍ɻʯͱฦ͞ΕΔɻ • ʮ΍ͬͨʔʔʔʔʔʔʂʯͱݴ͏ɻ • ʮ΍ͬͨʔʔʔʔʔʔʂʯͱฦ͞ΕΔɻ • ʮऴྃɻʯͱݴ͏ • ΞϓϦ͕ऴྃ͢Δɻ
47. Ի੠͕૝ఆ௨Γೝ͍ࣝͯ͠Δ͔ ςετ͢ΔͨΊʹ • Ի੠ͷೝࣝ݁Ռ͕ɺ
 ʮ͋Β͔͡Ί༻ҙͨ͠ςΩετͱҰக͢Δ͔ʯ
 ͱ͍ͬͨςετʹ͢Δͷ͸एׯແ๳ɻ
 • ൃ࿩ೝࣝ͸༳ΕΔͷͰ༻ҙ͢ΔςΩετ͕๲େ • ʮϥδίΛ͚ͭͯʯ • ʮradikoΛ͚ͭͯʯ • ʮradiko(εϖʔε)Λ͚ͭͯʯ
48. Dialogflow΁ͷ
 ϦΫΤετ݁Ռͱಥ͖߹ΘͤΔ • Dialogflow͕αʔόʹϦΫΤετΛૹΔछྨ͸
 ʮΠϯςϯτʯ͝ͱʹఆٛ͞Ε͍ͯΔɻ
 (ޠฐ͕͋Γ·͕͢)
 • ͳͷͰɺൃ࿩ͨ݁͠Ռ͕ɺ໨తͷΠϯςϯτͷ
 ࣮ߦ͢Δ͜ͱʹղऍ͞Ε͍ͯΔ͔ݕূ͢Δɻ
49. ςετίʔυ
50. ·ͱΊ • Ի੠ͰɺGoogle Assistant͕૝ఆ௨ΓͷڍಈΛ͢Δ͔ςετͰ͖ ͨɻ
 • ͨͩɺೝࣝ͸༳ΕΔͷͰɺςετͱ͍͏ΑΓೝ͕ࣝมΘͬͯΞϓ Ϧ͕ಈ͔ͳ͘ͳͬͨ࣌޲͚ͷ؂ࢹʹ͍ۙɻ • લ͸ೝࣝͯͨ͠ͷʹɺٸʹಈ͔ͳ͘ͳͬͨʙʙʙʂʹૣ͘ؾ͚ͮ ͦ͏ɻ • ϦάϨογϣϯςετͱָ͔͕ʹͳΓͦ͏
 • εϚʔτεϐʔΧʔָ͍͠ɻ։ൃָ͍͠ɻٶͪΌΜ͔Θ͍͍ɻ
51. ҎԼͷURLͰϥΠϒϥϦԽͯ͠ެ։༧ఆ • https://github.com/masachaco/google-assistant-test-from-wavefile
52. ͝੩ௌ ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ
53. ؾʹͳͬͯͨͱ͜Ζͱ݁Ռ • wavϑΝΠϧͷσʔλΛૹ৴͢Δ࣌ • ConfigͱΦʔσΟΦ͸Ұॹʹૹ͍͍ͬͯͷʁ • μϝɻConfigૹ͔ͬͯΒɺΦʔσΟΦ • wavͷϔομͱ͔΋ؚΊͯૹͬͯ΋େৎ෉ʁ • ҰԠେৎ෉ɺೝࣝͷϊΠζʹ͸ͳͬͯΔ͔΋ • ΦʔσΟΦσʔλͷૹ৴ִؒ͸ʁ • ެࣜʹ͸ʮϦΞϧλΠϜʹૹ৴͍ͯ͠ΔΑ͏ʹૹΕʯ
 ͱॻ͍ͯ͋Δɻ • ࣮ࡍ͸ɺ݁ߏ஗͍ײ֮Ͱૹͬͯ΋େৎ෉ɻγϏΞ͡Όͳ͍ɻ
54. ໘ന͔ͬͨͱ͜Ζ • wavϑΝΠϧͷσʔλΛૹ৴͢Δ࣌ • wavϑΝΠϧΛૹΓ੾ͬͯ΋ɺ
 0ຒΊͨ͠όΠτྻΛૹΓ͚ͭͮΔඞཁ͕͋Δɻ • Assistant͸ʮແԻʯ͕ଓ͍ͯʮൃ࿩్͕੾Εͨʯͱ൑அ ͢ΔͨΊ • ʮແԻʯͷόΠτྻ͕ͳ͍ͱɺͣͬͱ଴ͪଓ͚Δɻ