VisionKit_Basics.pdf

Transcript

1. VisionKit Basics Kohei Arai @kokoheia iOS 13 update (petit)
2. Kohei Arai @kokoheia • Mercari / 新卒 iOS Engineer • Twitter: @kokoheia • Instagram: @kokoheia • 趣味でポートレート撮ってます • 最近Looking Glass買いました
3. iOS13発表！！

4. Swift UI combine CoreML 3 ARKit 3 Sign in with Apple RealityKit Audio ...
5. 目立ちたがりなアップデート多し！

6. 今日は、めちゃくちゃ注目されてるわけじゃないけど面白そ うだと思ったフレームワークを紹介します

7. VisionKit “Use the iOS camera to scan documents like those you capture in the Notes app.” (Apple公式 Documentより)
8. • iOS13からNotesアプリに搭載されるOCRの機能を提供してくれ ている • 数行のコードで非常にシンプルに使うことができる • Beta版でまだ改善中のよう OCRにより画像とその内容
 を読み取ることができる機能

9. 1. VNDocumentCameraViewController 2. VNDocumentCameraViewControllerDelegate 3. VNDocumentCameraScan 2 Classes + 1 Protocol

10. • 社会人向けの名刺管理アプリ • 大学生向けの授業ノート交換アプリ • フリマアプリの商品情報入力取得 • ホワイトボードのスクショ画像をテキストベースで検 索 • and so on... 用例はたくさんありそう

11. 実際に作ってみた

12. Demo
 https://github.com/kokoheia/VisionKit-Sample
13. 書いているのは3つのDelegate method のみ

14. VNDocumentCameraViewController
 (https://developer.apple.com/documentation/visionkitより)
15. VNDocumentCameraViewController
 Delegate
 (https://developer.apple.com/documentation/visionkitより)
16. VNDocumentCameraScan
 (https://developer.apple.com/documentation/visionkitより)
17. • Good Points ‍♂ ◦ とにかくにシンプルに使える • Bad Points ‍♂ ◦ カスタマイズ性にかける ◦ 画像からタイトルしか読み取れないのはつらみ ◦ 文字認識の精度低い(今の所) ◦ Beta版のバグが多い 実際に使ってみて

18. 改善してほしいバグ
 1. Save Buttonを押した時にdismissする処理(didFinishWith)は自 分で書く必要がある。
 (じゃないとクラッシュする)
 2. 写真編集画面でDoneボタンを押すとクラッシュする
 3. 画像のデータがうまく読み込めていないようでちゃんと表示でき ない
 4. 何回読み取っても Title を取得することができない

19. Notesアプリでは動いている

21. これからの改善に期待！

22. ご清聴ありがとうございました。

23. • https://developer.apple.com/documentation/ visionkit 参考
 • https://github.com/kokoheia/VisionKit-Sample サンプルコード
 • https://qiita.com/kokoheia/items/1e5a7980d7a46cacb209 Qiita 記事