Vision Frameworkの活用

「DeNA×STORES×ラクマ iOS Meetup!!」で発表した資料です。

資料のみで理解するのは難しいと思うので、以下の動画をご覧ください。
https://www.youtube.com/watch?v=8IasZKHMFns#t=1h5m3s

もう少し詳しい内容をQiitaに投稿しました。
https://qiita.com/ryuprogrammer/items/ce0f0f80eebe7009275d

この発表で以下のことがわかります。
✅ iOS appで画像認識をする手段
✅ Visionのみで画像認識をする方法←メイン
✅ Visionが適している場面

注意
資料だと動画が再生されません。

Transcript

1. どうしても じゃんけんアプリで 手を識別したい！！ Vision の活用
2. 自己紹介 りゅう 趣味思考 プログラミング 謎解き, 脱出ゲーム マジック 映画（クリストファーノーラン監督） MARVEL, コナン 旅行（沖縄がとくにすき） ダイビング アクアリウム
3. 自己紹介 りゅう @ryuprogrammer 趣味思考 プログラミング 謎解き, 脱出ゲーム マジック 映画（クリストファーノーラン監督） MARVEL, コナン 旅行（沖縄がとくにすき） ダイビング アクアリウム
4. 自己紹介 りゅう @ryuprogrammer 趣味思考 プログラミング 謎解き, 脱出ゲーム マジック 映画（クリストファーノーラン監督） MARVEL, コナン 旅行（沖縄がとくにすき） ダイビング アクアリウム ３才
5. じゃんけんって運？
6. 勝敗をコントロールしたい！
7. 画像認識を用いたじゃんけんアプリ
8. 画像認識を用いたジャンケンアプリ
9. 苦労した点 画像認識を用いたジャンケンアプリ グー・チョキ・パーの識別方法
10. じゃんけんの手の識別方法
11. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
12. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
13. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
14. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
15. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
16. １ データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成
17. １ データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成
18. １ データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成 3000 以上 3000 以上
19. １ ２ データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成して画像認識 CreateML でモデルを作成
21. １ データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成
22. １ データサンプルを撮影！！（質と量が大切） CreateML でモデルを作成
23. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
24. １ ３ ２ ４ Apple の公式サンプルモデルを使用して画像認識 Python でモデルを作成して画像認識 CreateML でモデルを作成して画像認識 Vision のみで画像認識 iOS App で画像認識する方法
25. 顔、体、手のランドマークの検出、テキストの 検出、バーコードの認識、画像登録、特徴追跡 などができます。 Vision Framework とは、、
26. 曲がっている指の種類で識別 グー・チョキ・パーの識別方法
27. １ ３ ２ ４ 親指以外の「指先、第二関節、手首」の座標データを取得 それぞれの指で２つの長さを比較して曲がっているか判定 「手首から指先の長さ」「手首から第二関節までの長さ」を算出 曲がっている指によってグー・チョキ・パー 識別方法の詳細
28. １ ３ ２ ４ 親指以外の「指先、第二関節、手首」の座標データを取得 それぞれの指で２つの長さを比較して曲がっているか判定 「手首から指先の長さ」「手首から第二関節までの長さ」を算出 曲がっている指によってグー・チョキ・パー 識別方法の詳細
29. １ 親指以外の「指先、第二関節、手首」の座標データを取得
30. １ 親指以外の「指先、第二関節、手首」の座標データを取得
31. １ 親指以外の「指先、第二関節、手首」の座標データを取得 (12.392, 0.536) (5.860, 42.536) (10.524, 53.483) (3.998, 21.003)
32. １ ３ ２ ４ 親指以外の「指先、第二関節、手首」の座標データを取得 それぞれの指で２つの長さを比較して曲がっているか判定 「手首から指先の長さ」「手首から第二関節までの長さ」を算出 曲がっている指によってグー・チョキ・パー 識別方法の詳細
33. 2 「手首から指先の長さ」「手首から第二関節までの長さ」を算出
34. 2 「手首から指先の長さ」「手首から第二関節までの長さ」を算出
35. 2 「手首から指先の長さ」「手首から第二関節までの長さ」を算出
36. １ ３ ２ ４ 親指以外の「指先、第二関節、手首」の座標データを取得 それぞれの指で２つの長さを比較して曲がっているか判定 「手首から指先の長さ」「手首から第二関節までの長さ」を算出 曲がっている指によってグー・チョキ・パー 識別方法の詳細
37. 3 それぞれの指で２つの長さを比較して曲がっているか判定 人差し指
38. 3 それぞれの指で２つの長さを比較して曲がっているか判定 人差し指 →指先までのが長い
39. 3 それぞれの指で２つの長さを比較して曲がっているか判定 人差し指 →指先までのが長い →曲がってない
40. 3 それぞれの指で２つの長さを比較して曲がっているか判定 人差し指 →指先までのが長い →曲がってない 小指
41. 3 それぞれの指で２つの長さを比較して曲がっているか判定 人差し指 →指先までのが長い →第二関節までのが長い →曲がってない 小指
42. 3 それぞれの指で２つの長さを比較して曲がっているか判定 人差し指 →指先までのが長い →第二関節までのが長い →曲がってない 小指 →曲がってる！
43. １ ３ ２ ４ 親指以外の「指先、第二関節、手首」の座標データを取得 それぞれの指で２つの長さを比較して曲がっているか判定 「手首から指先の長さ」「手首から第二関節までの長さ」を算出 曲がっている指によってグー・チョキ・パー 識別方法の詳細
44. ？？？ ？？？ ４ 曲がっている指によってグー・チョキ・パーを識別
45. ？？？ ？？？ ４ 曲がっている指によってグー・チョキ・パーを識別
46. ？？？ ？？？ ４ 曲がっている指によってグー・チョキ・パーを識別
47. パー ？？？ ４ 曲がっている指によってグー・チョキ・パーを識別
48. パー ？？？ ４ 曲がっている指によってグー・チョキ・パーを識別
49. パー ？？？ ４ 曲がっている指によってグー・チョキ・パーを識別
50. パー グー ４ 曲がっている指によってグー・チョキ・パーを識別
51. 識別精度
52. 識別精度 →めっちゃいい！
53. Vision のみで識別が適している場面
54. ・顔、体、手の座標データから簡単に識別できる場合 Vision のみで識別が適している場面
55. ・顔、体、手の座標データから簡単に識別できる場合 ・座標データの変化量を使用したい場合 Vision のみで識別が適している場面
56. いままでとこれから ７才 ３年前 ６年前 去年の冬 将来
57. いままでとこれから マジックに出会う ７才 ３年前 ６年前 去年の冬 将来
58. いままでとこれから マジックに出会う ７才 プログラミング触る ３年前 ６年前 去年の冬 将来
59. いままでとこれから マジックに出会う ７才 プロマジシャン & 大学生 プログラミング触る ３年前 ６年前 去年の冬 将来
60. いままでとこれから マジックに出会う ７才 プロマジシャン & 大学生 プログラミング触る ３年前 ６年前 マジックできなくなる ↓ 本格的にプログラミング始める 去年の冬 将来
61. いままでとこれから マジックに出会う ７才 プロマジシャン & 大学生 プログラミング触る ３年前 ６年前 マジックできなくなる ↓ 本格的にプログラミング始める 去年の冬 iOS エンジニア 将来
62. サマーインターンに向けて絶賛活動中！
63. ありがとうございました！