Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VisualProgramming_GoogleHome_LINE
Search
NearMugi
June 15, 2022
Programming
1
430
VisualProgramming_GoogleHome_LINE
NearMugi
June 15, 2022
Tweet
Share
More Decks by NearMugi
See All by NearMugi
nekoIoTLT_NearMugiLLM
nearmugi
0
210
nekoIoTLT_CatAndColorSensor
nearmugi
0
800
EnebularMeetup_GoogleCalendar
nearmugi
0
180
nekoIoTLT_ToyAndVoiceAnalysis
nearmugi
0
330
nekoIoTLT_Demachi
nearmugi
0
340
nekoIoTLT_SearchBlackObject
nearmugi
1
510
nekoIoTLT_nekoDeeplearning
nearmugi
0
260
nekoIoTLT_nekoGohan
nearmugi
0
390
nekoIoTLT_Tsumetogi
nearmugi
1
620
Other Decks in Programming
See All in Programming
Goのmultiple errorsについて (2024年4月版)
syumai
4
900
CA.swift19 恋するAIアプリ開発の裏側
oskmr
0
360
Polars入門
daikikatsuragawa
1
100
R言語の環境構築と基礎 Tokyo.R 112
bob3bob3
0
270
Snowflakeで眠ったデータを起こそう!
estie
0
120
PHP8.3の機能を振り返る / Review of PHP 8.3 features
seike460
PRO
1
110
SwiftUIで使いやすいToastの作り方 / How to build a Toast system which is easy to use in SwiftUI
lovee
3
150
Rubyでたのしむクリエイティブコーディング/Enjoy Creative coding with Ruby
chobishiba
1
180
⼤規模⾔語モデルの拡張(RAG)が 終わったかも知れない件について
nearme_tech
23
15k
[技育CAMPアカデミア]アイディアを形に!【超入門】スマホアプリ開発〜リリースまでの流れをご紹介
teamlab
PRO
0
380
初心者のためのRubyKaigi入門/RubyKaigi Introduction
a_matsuda
1
630
検証も兼ねて個人開発でHonoとかと向き合った話
hanetsuki
1
1k
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
187
16k
Adopting Sorbet at Scale
ufuk
68
8.6k
Gamification - CAS2011
davidbonilla
76
4.6k
Building Better People: How to give real-time feedback that sticks.
wjessup
355
18k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.5k
A Philosophy of Restraint
colly
197
16k
Clear Off the Table
cherdarchuk
84
310k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Faster Mobile Websites
deanohume
299
30k
BBQ
matthewcrist
80
8.8k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
Transcript
LINEとGoogleHomeをつなげて 子どもと会話する 2022.06.15 ビジュアルプログラミングIoTLT vol.11
自己紹介 NearMugi(ニアムギ) 普段はねこIoTLTで活動しています。 ねこ2匹飼っています。
イントロ 「LINEとGoogleHomeをつなげて 子どもと会話する」とは?
イントロ スマホで文字を入力しなくても また文字が読めなくても 家族同士コミュニケーションを取れる システムです (ちょっと誇大表現です)
イントロ 例えば、こんな場面。 仕事が遅くなって子どもが帰ってくる時間に 間に合わなそう 既に家にいるのか分からない・・・ 子どもは携帯持っているけど何も連絡ない・・・ 何か連絡したい or 連絡してほしい
イントロ そんなとき、 GoogleHomeがひと言 「もうすぐ帰るよ」と喋ってくれたら 子どもも安心しますよね?
イントロ また子どもが GoogleHomeに向かって 「ただいま」と言うとLINEに通知が来たら 安心しますよね?
イントロ 他にもこんな場面。 在宅勤務でオンラインミーティング中 子どもが帰ってきた 「おかえり、おやつあるよ」と伝えたい GoogleHomeが喋ってくれたら・・・
イントロ というわけで、作ってみました
イントロ ちなみに作ったのは1年ほど前なので 技術的に古いかもしれません。 ご了承ください…
システムの概略 GoogleHome → LINE ①~④ GoogleHomeからIFTTT経由でGCFの関 数を呼び出してFireStoreへデータを保存 ①GoogleHome ②IFTTT ③GoogleCloudFunctions(GCF)
④FireStore ⑤Node-RED ⑥LINE ⑤~⑥ FireStoreにデータがあるか定期的に チェック、あればLINEへ通知
システムの概略 ⑦GoogleHome ②GCF ③FireStore ④Node-RED ①LINE LINE → GoogleHome ⑤Shiftr
⑥M5Stack ①~③ LINEからGCF経由でFireStoreへデー タを保存 ④~⑦ FireStoreを定期的にチェックしてデー タがあればMQTTでM5Stackへデータを送 信、そこからGoogleHomeへ音声データを渡 す
システムの概略 実際は赤枠の部分は共通にしています LINEから・GoogleHomeからのデー タをFireStoreで一括管理 Node-REDで振り分け
システムの詳細 GoogleHome →IFTTT→GoogleCloudFunctions IF : GoogleHome THEN : Webhook ※GCFのトリガーURLを指定
システムの詳細 [引用]Firebase Documentation(https://firebase.google.com/docs/functions/get-started?hl=ja) GoogleCloudFunctions→FireStore GCFからFireStoreにデータを追加する方法は公式サイトに詳しく載っています。
システムの詳細 GoogleCloudFunctions→FireStore 無事FireStoreにデータが追加されました。
システムの詳細 FireStore→Node-RED→LINE Node-RED側でFireStoreにデータが入っているかチェックします
システムの詳細 FireStore→Node-RED→LINE 送信はPython使っちゃっています。 20行程度なので・・・まあ (ノードがあるらしいです) GoogleHomeからのデータがあればLINEへ送信します。
システムの詳細 つぎにLINEからGoogleHomeの流れです
システムの詳細 LINE→FireStore MessageAPIを使って、特定のグループに書き込みがあるとGCFが呼び 出されるようにします
システムの詳細 Node-RED→M5Stack→GoogleHome Node-RED側でFireStoreにデータが入っているかチェックします
システムの詳細 Node-RED→M5Stack→GoogleHome LINEからのデータがあった場合、MQTTを使ってM5Stackに送信します あとはM5Stack側でいい感じに音声データを作ってGoogleHomeに渡します https://github.com/horihiro/esp8266-google-home-notifier ほりひろさんのライブラリを利用しています。ありがとうございます!
デモ LINE→GoogleHome
デモ GoogleHome→LINE
まとめ ・実は何度もリビルドしています。かなり愛着のあるシステムです。 ・家族も認識して使っています。これが嬉しいところ。 ・そのうちFireStoreにあるメッセージを表示するのもやってみたい。 以上となります。 ご清聴ありがとうございました。