Vision Frameworkの活用

Slide 1

Slide 1 text

どうしてもじゃんけんアプリで手を識別したい！！ Vision の活用

Slide 2

Slide 2 text

自己紹介りゅう趣味思考プログラミング謎解き, 脱出ゲームマジック映画（クリストファーノーラン監督） MARVEL, コナン旅行（沖縄がとくにすき）ダイビングアクアリウム

Slide 3

Slide 3 text

自己紹介りゅう @ryuprogrammer 趣味思考プログラミング謎解き, 脱出ゲームマジック映画（クリストファーノーラン監督） MARVEL, コナン旅行（沖縄がとくにすき）ダイビングアクアリウム

Slide 4

Slide 4 text

自己紹介りゅう @ryuprogrammer 趣味思考プログラミング謎解き, 脱出ゲームマジック映画（クリストファーノーラン監督） MARVEL, コナン旅行（沖縄がとくにすき）ダイビングアクアリウム３才

Slide 5

Slide 5 text

じゃんけんって運？

Slide 6

Slide 6 text

勝敗をコントロールしたい！

Slide 7

Slide 7 text

画像認識を用いたじゃんけんアプリ

Slide 8

Slide 8 text

画像認識を用いたジャンケンアプリ

Slide 9

Slide 9 text

苦労した点画像認識を用いたジャンケンアプリグー・チョキ・パーの識別方法

Slide 10

Slide 10 text

じゃんけんの手の識別方法

Slide 11

Slide 11 text

１３２４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

１データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成

Slide 17

Slide 17 text

１データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成

Slide 18

Slide 18 text

１データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成 3000 以上 3000 以上

Slide 19

Slide 19 text

１２データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成して画像認識 CreateML でモデルを作成

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

１データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成

Slide 22

Slide 22 text

１データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

顔、体、手のランドマークの検出、テキストの検出、バーコードの認識、画像登録、特徴追跡などができます。 Vision Framework とは、、

Slide 26

Slide 26 text

曲がっている指の種類で識別グー・チョキ・パーの識別方法

Slide 27

Slide 27 text

１３２４親指以外の「指先、第二関節、手首」の座標データを取得それぞれの指で２つの長さを比較して曲がっているか判定「手首から指先の長さ」「手首から第二関節までの長さ」を算出曲がっている指によってグー・チョキ・パー識別方法の詳細

Slide 28

Slide 28 text

Slide 29

Slide 29 text

１親指以外の「指先、第二関節、手首」の座標データを取得

Slide 30

Slide 30 text

１親指以外の「指先、第二関節、手首」の座標データを取得

Slide 31

Slide 31 text

１親指以外の「指先、第二関節、手首」の座標データを取得 (12.392, 0.536) (5.860, 42.536) (10.524, 53.483) (3.998, 21.003)

Slide 32

Slide 32 text

Slide 33

Slide 33 text

2 「手首から指先の長さ」「手首から第二関節までの長さ」を算出

Slide 34

Slide 34 text

2 「手首から指先の長さ」「手首から第二関節までの長さ」を算出

Slide 35

Slide 35 text

2 「手首から指先の長さ」「手首から第二関節までの長さ」を算出

Slide 36

Slide 36 text

Slide 37

Slide 37 text

3 それぞれの指で２つの長さを比較して曲がっているか判定人差し指

Slide 38

Slide 38 text

3 それぞれの指で２つの長さを比較して曲がっているか判定人差し指 →指先までのが長い

Slide 39

Slide 39 text

3 それぞれの指で２つの長さを比較して曲がっているか判定人差し指 →指先までのが長い →曲がってない

Slide 40

Slide 40 text

3 それぞれの指で２つの長さを比較して曲がっているか判定人差し指 →指先までのが長い →曲がってない小指

Slide 41

Slide 41 text

3 それぞれの指で２つの長さを比較して曲がっているか判定人差し指 →指先までのが長い →第二関節までのが長い →曲がってない小指

Slide 42

Slide 42 text

3 それぞれの指で２つの長さを比較して曲がっているか判定人差し指 →指先までのが長い →第二関節までのが長い →曲がってない小指 →曲がってる！

Slide 43

Slide 43 text

Slide 44

Slide 44 text

？？？？？？４曲がっている指によってグー・チョキ・パーを識別

Slide 45

Slide 45 text

？？？？？？４曲がっている指によってグー・チョキ・パーを識別

Slide 46

Slide 46 text

？？？？？？４曲がっている指によってグー・チョキ・パーを識別

Slide 47

Slide 47 text

パー？？？４曲がっている指によってグー・チョキ・パーを識別

Slide 48

Slide 48 text

パー？？？４曲がっている指によってグー・チョキ・パーを識別

Slide 49

Slide 49 text

パー？？？４曲がっている指によってグー・チョキ・パーを識別

Slide 50

Slide 50 text

パーグー４曲がっている指によってグー・チョキ・パーを識別

Slide 51

Slide 51 text

識別精度

Slide 52

Slide 52 text

識別精度 →めっちゃいい！

Slide 53

Slide 53 text

Vision のみで識別が適している場面

Slide 54

Slide 54 text

・顔、体、手の座標データから簡単に識別できる場合 Vision のみで識別が適している場面

Slide 55

Slide 55 text

・顔、体、手の座標データから簡単に識別できる場合・座標データの変化量を使用したい場合 Vision のみで識別が適している場面

Slide 56

Slide 56 text

いままでとこれから７才３年前６年前去年の冬将来

Slide 57

Slide 57 text

いままでとこれからマジックに出会う７才３年前６年前去年の冬将来

Slide 58

Slide 58 text

いままでとこれからマジックに出会う７才プログラミング触る３年前６年前去年の冬将来

Slide 59

Slide 59 text

いままでとこれからマジックに出会う７才プロマジシャン & 大学生プログラミング触る３年前６年前去年の冬将来

Slide 60

Slide 60 text

いままでとこれからマジックに出会う７才プロマジシャン & 大学生プログラミング触る３年前６年前マジックできなくなる ↓ 本格的にプログラミング始める去年の冬将来

Slide 61

Slide 61 text

いままでとこれからマジックに出会う７才プロマジシャン & 大学生プログラミング触る３年前６年前マジックできなくなる ↓ 本格的にプログラミング始める去年の冬 iOS エンジニア将来