Tweet
Tweet

Slide 1

Slide 1 text

VisionKit Basics Kohei Arai @kokoheia iOS 13 update (petit)

Slide 2

Slide 2 text

Kohei Arai @kokoheia ● Mercari / 新卒 iOS Engineer ● Twitter: @kokoheia ● Instagram: @kokoheia ● 趣味でポートレート撮ってます ● 最近Looking Glass買いました

Slide 3

Slide 3 text

iOS13発表！！


Slide 4

Slide 4 text

Swift UI combine CoreML 3 ARKit 3 Sign in with Apple RealityKit Audio ...

Slide 5

Slide 5 text

目立ちたがりなアップデート多し！


Slide 6

Slide 6 text

今日は、めちゃくちゃ注目されてるわけじゃないけど面白そ うだと思ったフレームワークを紹介します


Slide 7

Slide 7 text

VisionKit “Use the iOS camera to scan documents like those you capture in the Notes app.” (Apple公式 Documentより)

Slide 8

Slide 8 text

● iOS13からNotesアプリに搭載されるOCRの機能を提供してくれ ている ● 数行のコードで非常にシンプルに使うことができる ● Beta版でまだ改善中のよう OCRにより画像とその内容
 を読み取ることができる機能


Slide 9

Slide 9 text

1. VNDocumentCameraViewController 2. VNDocumentCameraViewControllerDelegate 3. VNDocumentCameraScan 2 Classes + 1 Protocol


Slide 10

Slide 10 text

● 社会人向けの名刺管理アプリ ● 大学生向けの授業ノート交換アプリ ● フリマアプリの商品情報入力取得 ● ホワイトボードのスクショ画像をテキストベースで検 索 ● and so on... 用例はたくさんありそう


Slide 11

Slide 11 text

実際に作ってみた


Slide 12

Slide 12 text

Demo
 https://github.com/kokoheia/VisionKit-Sample

Slide 13

Slide 13 text

書いているのは3つのDelegate method のみ


Slide 14

Slide 14 text

VNDocumentCameraViewController
 (https://developer.apple.com/documentation/visionkitより)

Slide 15

Slide 15 text

VNDocumentCameraViewController
 Delegate
 (https://developer.apple.com/documentation/visionkitより)

Slide 16

Slide 16 text

VNDocumentCameraScan
 (https://developer.apple.com/documentation/visionkitより)

Slide 17

Slide 17 text

● Good Points ‍♂ ○ とにかくにシンプルに使える ● Bad Points ‍♂ ○ カスタマイズ性にかける ○ 画像からタイトルしか読み取れないのはつらみ ○ 文字認識の精度低い(今の所) ○ Beta版のバグが多い 実際に使ってみて


Slide 18

Slide 18 text

改善してほしいバグ
 1. Save Buttonを押した時にdismissする処理(didFinishWith)は自 分で書く必要がある。
 (じゃないとクラッシュする)
 2. 写真編集画面でDoneボタンを押すとクラッシュする
 3. 画像のデータがうまく読み込めていないようでちゃんと表示でき ない
 4. 何回読み取っても Title を取得することができない


Slide 19

Slide 19 text

Notesアプリでは動いている


Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

これからの改善に期待！


Slide 22

Slide 22 text

ご清聴ありがとうございました。


Slide 23

Slide 23 text

● https://developer.apple.com/documentation/ visionkit 参考
 ● https://github.com/kokoheia/VisionKit-Sample サンプルコード
 ● https://qiita.com/kokoheia/items/1e5a7980d7a46cacb209 Qiita 記事