BOCCO emo と enebular でデバイスと連携する話

by 1ft-seabass

Slide 1

Slide 1 text

20221027_トヨタガジェット研究所 BOCCO emo と enebular でデバイスと連携する話ワンフットシーバス田中正吾

Slide 2

Slide 2 text

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

Slide 3

Slide 3 text

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

Slide 4

Slide 4 text

BOCCO emo https://www.bocco.me/

Slide 5

Slide 5 text

API が充実して使いやすいしゃべらせるのもやりやすかった https://platform-api.bocco.me/api-docs/

Slide 6

Slide 6 text

たくろーどんさんの記事 enebularのNode-RedからBOCCOを発話させる https://qiita.com/minwinmin/items/7d6b896ae5c98971b369

Slide 7

Slide 7 text

ユカイ工学さん本家の記事も参考になります https://note.com/ux_xu/n/n506e3450d0a2

Slide 8

Slide 8 text

中畑さんの Webhook の記事も勉強になる BOCCO emoからwebhookでイベントを取得する方法の検証1 https://digital-light.jp/2022/07/31/how-to-get-boccoemo-event-from-webhook-1/

Slide 9

Slide 9 text

ということでデバイスからしゃべらせますしゃべるよ～！

Slide 10

Slide 10 text

enebular では Heroku デプロイでサーバーつくって BOCCO API サポートアクセストークンの定期更新

Slide 11

Slide 11 text

メッセージ API でしゃべらせる仕組みさきほどの更新されたアクセストークンを使ってます

Slide 12

Slide 12 text

BOCCO emo ＋ M5Stack ボタンをクリックすると

Slide 13

Slide 13 text

M5Stack から HTTP で enebular にメッセージを送ってます

Slide 14

Slide 14 text

Arduino コードの様子 HTTPClient で JSON データ送ってるんですが、なんと日本語がそのまま行けました

Slide 15

Slide 15 text

まずは動画からボタンを押してしゃべってくれるデモ

Slide 16

Slide 16 text

いざ、リアルタイムデモ！ Krisp ノイズキャンセリングでは BOCCO emo の声は人の声認識でキャンセルされない模様

Slide 17

Slide 17 text

BOCCO emo ＋ HoloLens 2 リアルタイム翻訳

Slide 18

Slide 18 text

HoloLens 2 には音声認識機能がありトークを日本語テキストに変換できます音声認識機能（インターネット経由）音声データマイク入力テキスト空間にテキスト表示

Slide 19

Slide 19 text

シンプルな音声認識の様子 OSの言語設定を日本語にして Dictation イベントを取得して空間に表示させます

Slide 20

Slide 20 text

音声認識した日本語を DeepL の翻訳 API を通して英語に翻訳して表示しています日本語音声認識（インターネット経由）英語 enebular DeepL API

Slide 21

Slide 21 text

これを enebular で翻訳して返しつつ BOCCO emo に翻訳後も英語を話させる

Slide 22

Slide 22 text

英語をしっかり話させるなら設定で BOCCO がしゃべる言葉を英語にする日本語設定で英語を話させると、さすがに上手く話せない（わかる）

Slide 23

Slide 23 text

まずは動画からちゃんと英語で話してくれるデモと余裕があれば日本語設定で英語を話すデモもします

Slide 24

Slide 24 text

いざ、リアルタイムデモ！

Slide 25

Slide 25 text

エクストラ時間があれば ➔ 夜に検証したら急に話さなくなったのは BOCCO の寝る時間の設定を解除でうまくいった話。とても人間的。 ➔ enebular のクラウド実行環境だと使用時以外は寝てしまうのでアクセストークン更新がむずかしい話。使い分けれればいいと思う。 ➔ （私が使い方を分かってない前提で）たまに話してくれなくなるタイミングがあり調査中。BOCCO を一度再生ボタンせ話させると成功しやすい。

Slide 26

Slide 26 text

まとめ ➔ API がつかいやすくてアイデア広がる。かわいくしゃべらせることができてたのしい。 ➔ 言語設定次第でちゃんと英語話してくれる。けっこう流ちょうですごい。 ➔ 話しかけた応答（Webhook）で何かやってみたくなる。2 BOCCO で掛け合いおもしろいねという話も出た。 ➔ とにかく BOCCO emo かわいい