20180918_IoTLT43 - Speaker Deck

20180918_IoTLT43

by 1ft-seabass

Slide 1

Slide 1 text

IoT縛りの勉強会! IoTLT vol.43 @LINE - LINEBOOTAWARDS ClovaとHoloLensで修行アプリワンフットシーバス田中正吾

Slide 2

Slide 2 text

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

Slide 3

Slide 3 text

自己紹介

Slide 4

Slide 4 text

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

Slide 5

Slide 5 text

今回やりたいこと

Slide 6

Slide 6 text

現実世界をそのまま入出力に使えるデバイスHoloLens

Slide 7

Slide 7 text

インターネットにも手軽につながるので IoTなアプローチもできる

Slide 8

Slide 8 text

今日はLINE Clovaと連携します

Slide 9

Slide 9 text

修行システムやってみた

Slide 10

Slide 10 text

修行といえば忍者のトレーニング

Slide 11

Slide 11 text

今回は動体視力を高めるトレーニング

Slide 12

Slide 12 text

HoloLensで忍術が見えるようにする

Slide 13

Slide 13 text

トレーニングの師はLINE Clova

Slide 14

Slide 14 text

HoloLensから師（LINE Clova）の忍術の火遁や雷遁が見える

Slide 15

Slide 15 text

自分から忍術アプリ（修行アプリ）をまずは準備忍術アプリを起動して

Slide 16

Slide 16 text

トレーニングする忍術の種類をおねがいします！炎のトレーニング開始して！

Slide 17

Slide 17 text

師（LINE Clova）が忍術を撃ちます！

Slide 18

Slide 18 text

それを避けることでトレーニングします！

Slide 19

Slide 19 text

こんな感じでLINE Clovaにオーラみえる

Slide 20

Slide 20 text

実際に打ち出す動画も見てみます

Slide 21

Slide 21 text

ということで、いざデモをしてみます！

Slide 22

Slide 22 text

今回の仕組み Node-RED・enebular・Firebaseうまく仲介してHoloLensとClovaの仕組みをつないでいます Clova Custom Extension HoloLens

Slide 23

Slide 23 text

enebularでLINE Clovaが手軽に連携できるネタ LINE Clova Extensions Kitとenebularを連携して会話させてみよう | enebular blog https://blog.enebular.com/line/line-cek-meets-enebular/ Clova Clova Extensions Kit （CEK） Custom Extension HTTP リクエスト

Slide 24

Slide 24 text

FirebaseとHoloLensをつなげる知見 https://www.1ft-seabass.jp/memo/2018/09/18/firebase-meets-hololens-uwp-3d-app/ HoloLens （3D UWP APP）

Slide 25

Slide 25 text

やってみて見えてきたこと

Slide 26

Slide 26 text

音声と空間からアプローチできると現実のトレーニングも変化しそうな可能性を感じる場所が自由にできたり自分が盛り上がる演出やレベル設定も自在にできる

Slide 27

Slide 27 text

IoTで空間のセンシングをさらに追加して今回のシステムに連動させるのも面白そう HoloLensの感知できない状況把握を追加する

Slide 28

Slide 28 text

今回はユーザが避けるだけに絞ったが空間・音声両面で機能追加楽しそうめちゃくちゃ速い・自動追尾・当たり判定で結果判定・師が語りかける・・・などなど