Foundation Model × VisionKit で実現するローカル OCR

■ イベント
Sansan x DMM.swift #2 〜 テーマ: iOS × AI 〜
https://sansan.connpass.com/event/362644/

■ 発表者
技術本部 Eight Engineering Unit Mobile Applicationグループ
藤門 莉生

■ iOSエンジニア 採用情報
https://media.sansan-engineering.com/ios-engineer

Transcript

1. Foundation Model × VisionKit で 実現するローカル OCR Sansan株式会社 技術本部 Eight Engineering Unit Mobile Application グループ 藤⾨ 莉⽣
2. 2 © Sansan, Inc. ⾃⼰紹介 - 名前：藤⾨ 莉⽣（Rio Fujimon） - 所属：Eight Engineering Unit Mobile Application グループ - 担当：Eight の iOS 版アプリを開発 - 趣味：ランニング 🏃, 野球観戦 ⚾, etc
3. 3 © Sansan, Inc. © Sansan, Inc.
4. 4 © Sansan, Inc. 出典：Apple公式サイト（https://www.apple.com/jp/newsroom/2025/05/apples-worldwide-developers-conference-kicks-off-june-9/）
5. 🗣 様々な内容が発表されましたね ✨
6. 6 © Sansan, Inc. 出典：Apple公式サイト（https://www.apple.com/jp/newsroom/2025/06/apple-elevates-the-iphone-experience-with-ios-26/）
7. 7 © Sansan, Inc. iOS 26 の登場 & Liquid Glass へのデザイン変更 出典：Apple公式サイト（https://www.apple.com/jp/newsroom/2025/06/apple-elevates-the-iphone-experience-with-ios-26/）
9. Speech Analyzer による ⾼度な⾳声のテキスト変換が可能になった
10. ⾊々発表されていますが、 やはり今後特に注⽬していくのは... 👀
11. 11 © Sansan, Inc. 出典：Apple公式サイト（https://developer.apple.com/jp/machine- learning/） Foundation Models
12. 12 © Sansan, Inc. - Foundation Models とは？ - オンデバイスの⼤規模⾔語モデル（Local LLM） - メリット - オフラインで動作する - プライバシーを完全保護する - OS に組み込まれているため、アプリサイズが増加しない - 型安全な構造化データが⽣成できる - デメリット - Server Scale の LLM より性能が低い - 得意なこと - 要約・分類・抽出 - 苦⼿なこと - ⾼度な推論・最新の知識・⼤規模計算 → Server Scale の LLM に任せる Foundation Models の概要
13. 本⽇の話を理解するために抑えるべき Foundation Models の内容は基本のみ 🔰
14. 1. LanguageModelSession を作成 a. instructions：モデルの動作を制御する指⽰ 2. .respond(to: Prompt) で、結果を⽣成
15. 1. .streamResponse(to: ) -> sending LanguageModelSession.ResponseSteram で、 レスポンスのストリームを取得 2. for await ループを利⽤することで、逐次的な⽣成結果として、 Optional な Generable.PartiallyGenerated を取得
16. Generable Macroを付与した型を Generable 型に変 換 プロパティの許可値を制御 Generable 型の ネストも扱える GenerationGuideで プロパティの⽣成⽅法を制御
17. 「generating: 」に、Generable Macro を付与した型を指定すると、 指定した型が⽣成される
18. Foundation Models の基本はバッチリ 👍
19. ここからが本題です 🔥
20. VisionKit × Foundation Models で、 名刺撮影の ローカル OCR 機能を実装する
21. 21 © Sansan, Inc. VisionKit（DataScannerViewController）
22. 22 © Sansan, Inc. DataScannerViewController.init & RecognizedDataType
23. 23 © Sansan, Inc. RecognizedDataType & TextContentType
24. テキストは取得できるが、 テキストの内容（意味）は ⼀部しか判定できない 😭
25. 外部 API などを利⽤せずに 認識するテキスト内容の制限の 壁を超えたい 🧐
26. Foundation Models を 利⽤することで解決可能では 💡
27. 27 © Sansan, Inc. 読み取り内容を @Generable や @Guide を付与した型として定義
29. 29 © Sansan, Inc. 実⾏結果
30. 30 © Sansan, Inc. まとめ Foundation Models × Apple 標準の API で、 オンデバイスで可能な実装の幅が広がる 🔍
31. 31 © Sansan, Inc. 採⽤募集中
32. 32 © Sansan, Inc. Appendix（1枚の名刺と判定する処理の流れ）
33. 33 © Sansan, Inc. Appendix（初期クラスタリング）
34. 34 © Sansan, Inc. Appendix（クラスターの結合）
35. 35 © Sansan, Inc. Appendix（読み順ソート）