OpenAI APIを利用して業務改善やってみた

Meetup for Ruby Engineers(メドピア株式会社 × 株式会社SmartHR合同LT会)
https://medpeer.connpass.com/event/292464/

Transcript

1. OpenAI APIを利用して 業務改善やってみた
2. • 森 陽祐 • 2022/02 にFitsPlus(MedPeer)にRailsエンジニア として入社 • 趣味 ◦ #club_bouldering_neo • メドピア開発者ブログ ◦ 開発合宿に行ってきました！ @軽井沢 自己紹介
3. • MedPeerの子会社 • 予防医療プラットフォームを開発 • 特定保健指導事業を軸にサービスを展開 • 特定保健指導とは ◦ 生活習慣病の予防のために、 40歳～74歳の方にメタボリックシン ドロームに着目した健診を行ってい る ◦ 受診の結果、生活習慣の改善が必 要な方へ、保健指導を実施 
 FitsPlusの紹介
4. 困っていたこと 管理栄養士 公法人 (国民健康保険団体連合会 ) レポート 指摘！ 弊社でも確認して フィードバック 管理栄養士が記載するレポートで誤字などの指摘が多い 誤字のチェックや修正作業の手間も多く作業に時間がかかっている 2022年度の場合、レポート 1件にかかる作業時間の合計が 57分 × 2,700件 = 約2,565時間
5. 指摘を受けそうなレポートの例
6. 文章校正機能を開発してみた
7. 文章校正機能を開発してみた 全角が半角 に修正 「100均」や「ポカリ」が置き換 えられている
8. 文章校正機能の効果 • レポート1件にかかる作業時間を約 20%(11分)削減できた • レポート1件にかかる作業時間の合計 ◦ 2022年度: 57分 × 2,700件 = 約2,565時間 ◦ 2023年度: 46分 × 2,700件 = 約2,070時間 ※想定 • 年間で約450~500時間削減できそう
9. 処理の流れ 弊社システム レポート入力 (校正対象の入力は最大 11箇所) 校正結果 入力内容を入力欄ごとに並列で 校正するように依頼 管理栄養士 校正結果を画面に表示 校正結果を受けて、入力内容を修正して登録 https://api.openai.com /v1/chat/completions
10. • Few-Shotプロンプティングを使ったところいい感じになった ◦ プロンプトで回答例を示して、依頼する ◦ OpenAI のドキュメントにもベストプラクティスとして記載されている ▪ https://platform.openai.com/docs/guides/gpt-best-practice s/strategy-write-clear-instructions • 今回は「校正のルール」と「校正の例」をセットでリクエストした 開発で工夫したこと <プロンプト・エンジニアリング>
11. 開発で工夫したこと <プロンプト・エンジニアリング>
12. 開発で工夫したこと <プロンプト・エンジニアリング>
13. 開発で工夫したこと <プロンプト・エンジニアリング>
14. • 末尾に「である。」がついてしまう頻度が多かったので、調整した 開発で工夫したこと ~プロンプト・エンジニアリング~ このように修正したら、 「である。」がつく頻度が激減
15. • 個人情報はOpen AIへ送信しないように！ ◦ Open AIへの個人情報の入力が許諾されていないため ◦ 氏名や電話番号が含まれているか Rails上でチェックして、含まれていそうな 場合は、管理栄養士向けに画面に警告を表示する • 商品名はRails上で置き換える ◦ レポート上で具体的な商品名を記載してはいけないルールがあるため ◦ Open AIへリクエストする前に特定の名詞は置き換え ▪ ガスト → レストラン ▪ カルピス → 乳酸菌飲料 ▪ グリコ → 特定の食品メーカー ▪ ポカリ → スポーツドリンク ▪ YouTube → ネット動画 開発で工夫したこと <Rails上での前処理>
16. リリース後の話 • 最近は他部署のメンバーに、 OpenAI Playgloundを利用してもらい、プロンプト・エ ンジニアリングをしてもらえるようになってきた！ • 過去一週間のエラー率の平均が約 1.5%でした ◦ OpenAIへ並列でリクエストするので、エラー率が気になっていたが、今回は 問題ありませんでした • 課題 ◦ 「入力した文章と校正結果との差分に色をつけてほしい」と要望がある
17. Fine-tuningやEmbeddingsは利用せず、 ChatのAPIだけでも業務改善は可能 気軽に取り入れてみると効果がでるかもしれ ないのでおすすめです 開発談などあれば 伺いたいです！