BOCCO emo と enebular でデバイスと連携する話

20221027_トヨタ ガジェット研究所「BOCCO emo と enebular でデバイスと連携する話」の登壇資料です。

◆スライド内の素材は以下を使用させて頂いております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20221027_トヨタ ガジェット研究所 BOCCO emo と enebular でデバイスと 連携する話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
4. BOCCO emo https://www.bocco.me/
5. API が充実して使いやすい しゃべらせるのもやりやすかった https://platform-api.bocco.me/api-docs/
6. たくろーどんさんの記事 enebularのNode-RedからBOCCOを発話させる https://qiita.com/minwinmin/items/7d6b896ae5c98971b369
7. ユカイ工学さん本家の記事も参考になります https://note.com/ux_xu/n/n506e3450d0a2
8. 中畑さんの Webhook の記事も勉強になる BOCCO emoからwebhookでイベントを取得する方法の検証1 https://digital-light.jp/2022/07/31/how-to-get-boccoemo-event-from-webhook-1/
9. ということでデバイスからしゃべらせます しゃべるよ～！
10. enebular では Heroku デプロイで サーバーつくって BOCCO API サポート アクセストークンの定期更新
11. メッセージ API でしゃべらせる仕組み さきほどの更新されたアクセストークンを使ってます
12. BOCCO emo ＋ M5Stack ボタンをクリックすると
13. M5Stack から HTTP で enebular に メッセージを送ってます
14. Arduino コードの様子 HTTPClient で JSON データ送ってるんですが、なんと日本語がそのまま行けました
15. まずは動画から ボタンを押してしゃべってくれるデモ
16. いざ、リアルタイムデモ！ Krisp ノイズキャンセリングでは BOCCO emo の声は人の声認識でキャンセルされない模様
17. BOCCO emo ＋ HoloLens 2 リアルタイム翻訳
18. HoloLens 2 には音声認識機能があり トークを日本語テキストに変換できます 音声認識機能 （インターネット経由） 音声データ マイク入力 テキスト 空間に テキスト表示
19. シンプルな音声認識の様子 OSの言語設定を日本語にして Dictation イベントを取得して空間に表示させます
20. 音声認識した日本語を DeepL の翻訳 API を通して 英語に翻訳して表示しています 日本語 音声認識 （インターネット経由） 英語 enebular DeepL API
21. これを enebular で翻訳して返しつつ BOCCO emo に翻訳後も英語を話させる
22. 英語をしっかり話させるなら 設定で BOCCO がしゃべる言葉を英語にする 日本語設定で英語を話させると、さすがに上手く話せない（わかる）
23. まずは動画から ちゃんと英語で話してくれるデモと余裕があれば日本語設定で英語を話すデモもします
24. いざ、リアルタイムデモ！
25. エクストラ 時間があれば ➔ 夜に検証したら急に話さなくなったのは BOCCO の寝る時 間の設定を解除でうまくいった話。とても人間的。 ➔ enebular のクラウド実行環境だと使用時以外は寝てしま うのでアクセストークン更新がむずかしい話。使い分けれ ればいいと思う。 ➔ （私が使い方を分かってない前提で）たまに話してくれな くなるタイミングがあり調査中。BOCCO を一度再生ボタ ンせ話させると成功しやすい。
26. まとめ ➔ API がつかいやすくてアイデア広がる。かわいくしゃべら せることができてたのしい。 ➔ 言語設定次第でちゃんと英語話してくれる。けっこう流 ちょうですごい。 ➔ 話しかけた応答（Webhook）で何かやってみたくなる。2 BOCCO で掛け合いおもしろいねという話も出た。 ➔ とにかく BOCCO emo かわいい