実践ChatGPT - 4o プログラミング 〜 OCRによる名刺データの抽出 〜

■イベント
Sansanモバイル勉強会 vol.1
https://sansan.connpass.com/event/321996/

■発表者
技術本部 Mobile Applicationグループ　藤門 莉生

■ iOS エンジニア採用情報
https://media.sansan-engineering.com/ios-engineer

■Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. 実践ChatGPT - 4o プログラミング 〜 OCRによる名刺データの抽出 〜 Sansan株式会社 技術本部 Mobile Applicationグループ 藤⾨ 莉⽣
2. 2 © Sansan, Inc. - 名前：藤⾨ 莉⽣（Rio Fujimon） - 所属：Mobile Application グループ - 🧑💻 23卒 iOSエンジニア - 🍎 Eight （iOS版）を開発 - SNS：@RioFujimon
3. © Sansan, Inc.
5. AppleがOpenAIと提携 https://developer.apple.com/jp/videos/play/wwdc2024/101/?time=3870
6. iOSアプリでChatGPTが利⽤可能 https://developer.apple.com/jp/videos/play/wwdc2024/101/?time=3870
7. ChatGPTプログラミングやるしかない🤩
8. https://github.com/MacPaw/OpenAI OpenAI
9. 実装を⾒ていく👀
10. OpenAIインスタンスの⽣成
11. ChatGPTへの命令を定義 💡レスポンスの形式が⼀意に定まるようにする
12. 画像データの取得 今回は、簡略化のためにAssetsから名刺データを取得 利⽤した検証⽤の名刺画像
13. ChatCompletionMessageParamとChatQueryの⽣成
14. OpenAI APIにChat Queryの送信と応答結果の取得 OpenAI APIにチャットクエリを送信し、応答を取得 取得したChatGPT 4oからの応答
15. ChatGPTからの応答結果を整形
16. 作成したメソッドの実⾏ 作成したメソッドを実⾏ 作成したメソッドを実⾏して得られた最終的な結果
17. - 良かった点 > ⼀度に読み込ませる名刺枚数を1〜10枚で設定したが全て成功 👏 - OCRの精度が⾮常に良い - ※各画像の中に名刺が1枚のみ存在している場合 > 画像の中に複数枚の名刺が存在している場合でも読み取りが成功👏 - 4枚、5枚、6枚まで検証 ✅ - Open AI APIを利⽤する上での注意点 > Chat GPTからの応答が必ず⼀意になるような命令を定義 - 応答が⼀意になるようにチューニングが必要 > 抽出する項⽬が存在しない場合の応答も命令で定義が必要 > APIの利⽤が無料では無い（個⼈で試す程度な問題はない）💸 - 今回の場合は1ドル程度 まとめ
18. まとめ 画像中に4枚の名刺 OCR結果
19. まとめ 画像中に6枚の名刺 OCR結果
20. ⼀緒にSansan / Eightのモバイルアプリ開発をしていく仲間を募集中です！ 終わりに https://open.talentio.com/r/1/c/sansan/pages/76610 https://open.talentio.com/r/1/c/sansan/pages/76400