Developers Summit 2021 - Speaker Deck

Developers Summit 2021

by 1ft-seabass

Slide 1

Slide 1 text

[サブタイトル] [タイトル] ワンフットシーバス田中正吾 20210218_Developers Summit 2021 1歳息子の寝姿をこっそり見る仕組みを作って得られた知見を話すワンフットシーバス田中正吾

Slide 2

Slide 2 text

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

Slide 3

Slide 3 text

撮影禁止と配信画面に出ているかもしれませんが私はカメラ撮影OK＆スライド撮影OKです！ OK! OK!

Slide 4

Slide 4 text

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

Slide 5

Slide 5 text

1歳息子の寝姿をこっそり見る仕組みベビーベッド上からインターネットカメラで撮影しています

Slide 6

Slide 6 text

息子の動きを検知して自動撮影して LINE BOTに通知

Slide 7

Slide 7 text

10秒ごと更新している寝姿が確認できる家のネットワーク内オンリー

Slide 8

Slide 8 text

LINE BOT に画像を求めると今の寝姿を撮影してきてくれたり

Slide 9

Slide 9 text

操作の動画でお見せしますいまリアルタイムに撮影すると遊んでいる息子と妻が一緒に見えてしまうかもしれないので

Slide 10

Slide 10 text

仕組みの話

Slide 11

Slide 11 text

今回使っているインターネットカメラここに設置しています

Slide 12

Slide 12 text

IODATA Qwatch というインターネットカメラ見守りカメラ Qwatch TS-NS110W

Slide 13

Slide 13 text

無線で軽量。設置しやすい。 3M スリーエムコマンドタブ Mサイズでガッツリ留めれる

Slide 14

Slide 14 text

なかなか良い画質

Slide 15

Slide 15 text

暗視モードもあって部屋の明るさで自動切換してくれるつまり暗闇で起きていることもこっそりと気づける

Slide 16

Slide 16 text

公式にAPIが公開されており静止画撮影も反応早く撮影できる https://www.iodata.jp/product/lancam/api/index.htm

Slide 17

Slide 17 text

外の Node-RED と家の中の Node-RED が活躍 LINE BOT を受け付けるのは Azure に作った Node-RED で家の中の Node-RED がカメラとのやりとり（画像取得）を行っている Azure VM Node-RED Raspberry Pi Node-RED MQTT HTTP HTTP HTTP

Slide 18

Slide 18 text

家だけで画像が見れる仕組み Node-RED が 10 秒ごとインターネットカメラから取得してストックしている。シンプルな仕組み。 Raspberry Pi Node-RED HTTP

Slide 19

Slide 19 text

このようなフロー

Slide 20

Slide 20 text

画像くださいって言って取ってくる仕組み

Slide 21

Slide 21 text

画像くださいって言って取ってくる仕組み MQTT によって「画像ください」というお願いを家の中の Node-RED に届ける。カメラから画像を取得したら HTTP で Base64 文字列で戻して LINE BOT が応答している。 MQTT HTTP HTTP Base64 文字列

Slide 22

Slide 22 text

10秒ごとの更新画像があるので外からお願いされたら中から応答する

Slide 23

Slide 23 text

動きを検知したら撮影する仕組みこれが一番トリッキー

Slide 24

Slide 24 text

動体検知はスマホへのプッシュ通知のみこれこそAPIが欲しかったけど仕方ないので根性で実装通知

Slide 25

Slide 25 text

動体検知のプッシュ通知をMacroDroidで通知監視して強引にイベント取得！通知は若干遅延あるので、ベストタイミングを逃すことも。通知 MacroDroid Base64 文字列

Slide 26

Slide 26 text

家族のフィードバックの話を

Slide 27

Slide 27 text

泣き声が聞こえたときに部屋の外からもう起きるかまだ寝るかを見れる暗視もあるので昼夜ばっちり。これが一番利用してくれていると思う！うれしい！静かに起きてすぐ寝ちゃうとか分かってかわいすぎる。寝なそうな挙動も分かる。

Slide 28

Slide 28 text

外でも状況が見れるのはよいどちらかひとりが買い物など行っているときに状況が分かるのは情報共有として良い。かわいい寝姿を気づかれずに撮影できるのもよい（スマホだと撮る気配やシャッター音で起きる場合もある）

Slide 29

Slide 29 text

頑張っている割にはイマイチ！感度調整が難しく誤判定もあり過剰に通知されちゃったりしてなかなか難しい。 LINE Notify でメッセージはするけど通知しないパラメータ notiﬁcationDisabled をオンにしてる。

Slide 30

Slide 30 text

標準の検知機能の相性が悪ければ前後の画像比較を独自に実装したほうがいいかももう画像はキャッシュしているしうまく適用できればイケそうな気もする。楽しそうだし勉強にもなりそう。

Slide 31

Slide 31 text

まとめ

Slide 32

Slide 32 text

このツールで家族と新しい側面のコミュニケーションができてとても楽しいテクノロジーと開発で生活に新しい側面を生まれる

Slide 33

Slide 33 text

フィードバックももらいながら現実にうまく対応して楽しくする実装力がつくテクノロジーを現実に自分なりにしっかり実装する機会を出会える作れる

Slide 34

Slide 34 text

自分のつくる力が息子が生まれてからも仕事だけでなく生活にも活用できててグッとくる以前からこういうファミリーテックするのが目標にしていたのでよかった。引き続き、楽しんでいきたい！