Tweet
Tweet

Slide 1

Slide 1 text

実践ChatGPT - 4o プログラミング 〜 OCRによる名刺データの抽出 〜 Sansan株式会社 技術本部 Mobile Applicationグループ 藤⾨ 莉⽣

Slide 2

Slide 2 text

2 © Sansan, Inc. - 名前：藤⾨ 莉⽣（Rio Fujimon） - 所属：Mobile Application グループ - 🧑💻 23卒 iOSエンジニア - 🍎 Eight （iOS版）を開発 - SNS：@RioFujimon

Slide 3

Slide 3 text

© Sansan, Inc.

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

AppleがOpenAIと提携 https://developer.apple.com/jp/videos/play/wwdc2024/101/?time=3870

Slide 6

Slide 6 text

iOSアプリでChatGPTが利⽤可能 https://developer.apple.com/jp/videos/play/wwdc2024/101/?time=3870

Slide 7

Slide 7 text

ChatGPTプログラミングやるしかない🤩

Slide 8

Slide 8 text

https://github.com/MacPaw/OpenAI OpenAI

Slide 9

Slide 9 text

実装を⾒ていく👀

Slide 10

Slide 10 text

OpenAIインスタンスの⽣成

Slide 11

Slide 11 text

ChatGPTへの命令を定義 💡レスポンスの形式が⼀意に定まるようにする

Slide 12

Slide 12 text

画像データの取得 今回は、簡略化のためにAssetsから名刺データを取得 利⽤した検証⽤の名刺画像

Slide 13

Slide 13 text

ChatCompletionMessageParamとChatQueryの⽣成

Slide 14

Slide 14 text

OpenAI APIにChat Queryの送信と応答結果の取得 OpenAI APIにチャットクエリを送信し、応答を取得 取得したChatGPT 4oからの応答

Slide 15

Slide 15 text

ChatGPTからの応答結果を整形

Slide 16

Slide 16 text

作成したメソッドの実⾏ 作成したメソッドを実⾏ 作成したメソッドを実⾏して得られた最終的な結果

Slide 17

Slide 17 text

- 良かった点 > ⼀度に読み込ませる名刺枚数を1〜10枚で設定したが全て成功 👏 - OCRの精度が⾮常に良い - ※各画像の中に名刺が1枚のみ存在している場合 > 画像の中に複数枚の名刺が存在している場合でも読み取りが成功👏 - 4枚、5枚、6枚まで検証 ✅ - Open AI APIを利⽤する上での注意点 > Chat GPTからの応答が必ず⼀意になるような命令を定義 - 応答が⼀意になるようにチューニングが必要 > 抽出する項⽬が存在しない場合の応答も命令で定義が必要 > APIの利⽤が無料では無い（個⼈で試す程度な問題はない）💸 - 今回の場合は1ドル程度 まとめ

Slide 18

Slide 18 text

まとめ 画像中に4枚の名刺 OCR結果

Slide 19

Slide 19 text

まとめ 画像中に6枚の名刺 OCR結果

Slide 20

Slide 20 text

⼀緒にSansan / Eightのモバイルアプリ開発をしていく仲間を募集中です！ 終わりに https://open.talentio.com/r/1/c/sansan/pages/76610 https://open.talentio.com/r/1/c/sansan/pages/76400

Slide 21

Slide 21 text

No content