VisualProgramming_GoogleHome_LINE

by NearMugi

Slide 1

Slide 1 text

LINEとGoogleHomeをつなげて子どもと会話する 2022.06.15 ビジュアルプログラミングIoTLT vol.11

Slide 2

Slide 2 text

自己紹介 NearMugi(ニアムギ) 普段はねこIoTLTで活動しています。ねこ２匹飼っています。

Slide 3

Slide 3 text

イントロ「LINEとGoogleHomeをつなげて子どもと会話する」とは？

Slide 4

Slide 4 text

イントロスマホで文字を入力しなくてもまた文字が読めなくても家族同士コミュニケーションを取れるシステムです (ちょっと誇大表現です)

Slide 5

Slide 5 text

イントロ例えば、こんな場面。仕事が遅くなって子どもが帰ってくる時間に間に合わなそう既に家にいるのか分からない・・・子どもは携帯持っているけど何も連絡ない・・・何か連絡したい or 連絡してほしい

Slide 6

Slide 6 text

イントロそんなとき、 GoogleHomeがひと言「もうすぐ帰るよ」と喋ってくれたら子どもも安心しますよね？

Slide 7

Slide 7 text

イントロまた子どもが GoogleHomeに向かって「ただいま」と言うとLINEに通知が来たら安心しますよね？

Slide 8

Slide 8 text

イントロ他にもこんな場面。在宅勤務でオンラインミーティング中子どもが帰ってきた「おかえり、おやつあるよ」と伝えたい GoogleHomeが喋ってくれたら・・・

Slide 9

Slide 9 text

イントロというわけで、作ってみました

Slide 10

Slide 10 text

イントロちなみに作ったのは1年ほど前なので技術的に古いかもしれません。ご了承ください…

Slide 11

Slide 11 text

システムの概略 GoogleHome → LINE ①～④ GoogleHomeからIFTTT経由でGCFの関数を呼び出してFireStoreへデータを保存 ①GoogleHome ②IFTTT ③GoogleCloudFunctions(GCF) ④FireStore ⑤Node-RED ⑥LINE ⑤～⑥ FireStoreにデータがあるか定期的にチェック、あればLINEへ通知

Slide 12

Slide 12 text

システムの概略 ⑦GoogleHome ②GCF ③FireStore ④Node-RED ①LINE LINE → GoogleHome ⑤Shiftr ⑥M5Stack ①～③ LINEからGCF経由でFireStoreへデータを保存 ④～⑦ FireStoreを定期的にチェックしてデータがあればMQTTでM5Stackへデータを送信、そこからGoogleHomeへ音声データを渡す

Slide 13

Slide 13 text

システムの概略実際は赤枠の部分は共通にしています LINEから・GoogleHomeからのデータをFireStoreで一括管理 Node-REDで振り分け

Slide 14

Slide 14 text

システムの詳細 GoogleHome →IFTTT→GoogleCloudFunctions IF : GoogleHome THEN : Webhook ※GCFのトリガーURLを指定

Slide 15

Slide 15 text

システムの詳細 [引用]Firebase Documentation(https://firebase.google.com/docs/functions/get-started?hl=ja) GoogleCloudFunctions→FireStore GCFからFireStoreにデータを追加する方法は公式サイトに詳しく載っています。

Slide 16

Slide 16 text

システムの詳細 GoogleCloudFunctions→FireStore 無事FireStoreにデータが追加されました。

Slide 17

Slide 17 text

システムの詳細 FireStore→Node-RED→LINE Node-RED側でFireStoreにデータが入っているかチェックします

Slide 18

Slide 18 text

システムの詳細 FireStore→Node-RED→LINE 送信はPython使っちゃっています。 20行程度なので・・・まあ (ノードがあるらしいです) GoogleHomeからのデータがあればLINEへ送信します。

Slide 19

Slide 19 text

システムの詳細つぎにLINEからGoogleHomeの流れです

Slide 20

Slide 20 text

システムの詳細 LINE→FireStore MessageAPIを使って、特定のグループに書き込みがあるとGCFが呼び出されるようにします

Slide 21

Slide 21 text

システムの詳細 Node-RED→M5Stack→GoogleHome Node-RED側でFireStoreにデータが入っているかチェックします

Slide 22

Slide 22 text

システムの詳細 Node-RED→M5Stack→GoogleHome LINEからのデータがあった場合、MQTTを使ってM5Stackに送信しますあとはM5Stack側でいい感じに音声データを作ってGoogleHomeに渡します https://github.com/horihiro/esp8266-google-home-notiﬁer ほりひろさんのライブラリを利用しています。ありがとうございます！

Slide 23

Slide 23 text

デモ LINE→GoogleHome

Slide 24

Slide 24 text

デモ GoogleHome→LINE

Slide 25

Slide 25 text

まとめ・実は何度もリビルドしています。かなり愛着のあるシステムです。・家族も認識して使っています。これが嬉しいところ。・そのうちFireStoreにあるメッセージを表示するのもやってみたい。以上となります。ご清聴ありがとうございました。