生成AIと人間の協働による業務品質の確保

by Daisuke Kawamura

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© Kakaku.com Inc. All Rights Reserved. 自己紹介河村大輔 ■ 所属 ■ 経歴 • 株式会社カカクコム • 食べログ開発本部技術部データサイエンスチーム生成AIの社内利用を推進する活動を実施中 SIer(20年)、スタートアップ(2年)を経て現職にもともとはWebシステムに強みを持つフルスタックエンジニア生成AIの可能性に魅力を感じ、現職に転身。プライベートではスマホアプリ開発も手掛けており、全アプリの累計ダウンロード数は150万を突破。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© Kakaku.com Inc. All Rights Reserved. 5 食べログにおける主な生成AIの活用状況サービス活用と業務効率化の２つの軸で生成AIを活用 2023/5 (サービス活用) ChatGPT plugin(日本初) 2023/7 (サービス活用) AIチャット検索機能(β版) 2023/5 (業務効率化) GitHub Copilot導入 2023/12 (業務効率化) 店舗紹介記事の作成支援 2024/1 (業務効率化) ユーザ投稿画像の自動分類(CLIP) ※リリースプロジェクトのみ記載 2024/7 (業務効率化) (業務効率化) Difyチャットボットの全社導入 2024/9 (サービス活用) インバウンドページでの翻訳

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© Kakaku.com Inc. All Rights Reserved. 12 実運用可能な確認・修正ツールの構築業務で活用するには、確認・修正コストを減らすことが重要であるそれを実現するためには、業務理解や課題解決能力など、生成AI以外の要素も必要となる UI/UXの最適化 AIの最適化業務の理解幅広い課題解決能力生成AIの知見業務で求められる品質を踏まえ修正作業を簡単・効率的に行えるよう最適化 AIの品質を高めて修正作業を削減したり、 UI/UXに合わせた出力にするなどの最適化生成AIに限らない幅広い解決能力作業内容・ドメインの理解目標品質・妥協点の把握生成AIのアウトプット品質の最大化確認・修正コストの削減実現に必要な要素

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© Kakaku.com Inc. All Rights Reserved. 14 メニュー入稿業務について飲食店様からメニュー画像の写真をいただき、その内容を文字起こしして、データ投入している。飲食店様からの依頼に基づき、飲食店ページの作成支援を行っています。その中のメニュー画面のデータを作成する業務が今回の対象です。レストラン食べログ ★★★★★ 3.41 料理メニュー (税込価格) サンドイッチパスタカレーライス 900円 1,100円 1,000円文字起こし作業を生成AIで代替する

Slide 15

Slide 15 text

© Kakaku.com Inc. All Rights Reserved. 15 生成AIの文字抽出能力の把握 ChatGPT(gpt-4o)を用いて、さまざまな画像でどの程度のアウトプットが出せるのか確認してみた。精度高く読めるメニューもあるが、読めないメニューも多い。アウトプット品質がバラバラ。横書き縦書き自由レイアウト写真が多く、自由なレイアウト手書き・達筆手書きや毛筆などで書かれている概ね良い。100点もある。縦書きの構成を理解しておらず、左から右に読んでしまう抽出はできるが、順番の予測が難しい読めない字が多い

Slide 16

Slide 16 text

© Kakaku.com Inc. All Rights Reserved. 16 目次 UI/UXの最適化 AIの最適化業務の理解幅広い課題解決能力生成AIの知見確認・修正コストの削減実現に必要な要素 1. 高い品質が求められる業務で生成AIを活用するために 2. 対象業務と課題 3. UI/UXの最適化 1. 現行作業の理解 2. OCR技術の活用 4. AIの最適化 1. モデル選択 2. 複数価格の精度向上 3. 税込・税抜判定の精度向上 5. まとめ

Slide 17

Slide 17 text

© Kakaku.com Inc. All Rights Reserved. 17 現行作業の理解実際に作業している様子を見させてもらい、分析を実施 • メニューの写真を見ながら、文字起こし作業を手作業で実施。 • この作業の結果がそのままページに掲載される。一件も間違えられない。準備文字起こし確認作業 1.準備・画像・エディタを開く・全体感の確認順番の制約などもあり、全画像を見渡して作業順を考えておくなど 2.文字起こし・エディタで文字入力入稿用フォーマットは決まっており、そのフォーマットに合わせてひたすら文字入力を行う 3.確認作業・入力した内容のチェック作業先頭から全メニューを対象に、入力した文字列と画像を再度見比べ、誤りがないか最終確認を実施。指差し確認を実施している。実際に作業している際の画面エディタを開き、入稿用のフォーマットで文字起こし作業を行なっている 3.5 46.3 10.2 合計 60 作業時間(分) 唐揚げ定食 750 --- 生姜焼き定食 790 --- 麻婆豆腐定食 850 --- ミックスフライ定食 850 ---

Slide 18

Slide 18 text

© Kakaku.com Inc. All Rights Reserved. 18 OCR技術の活用注目したのはOCR技術 • OCR技術は、画像内の文字を読み取る技術であるが、読み取った文字の位置情報も取得可能。（右の図は位置情報を用いて枠を作ってみたサンプル) OCR機能を利用し、テキスト部分に赤枠を付与したサンプル位置が取得できるので、様々な活用が可能生成AIとOCR機能を活用することで、確認作業を支援するツールが作れないか。という方向で支援ツールの開発に着手！照合作業（指差し確認）を実現したいが、生成AIが抽出したメニューの位置がわからない。生成AIは場所(座標)を答えてくれない。

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© Kakaku.com Inc. All Rights Reserved. 21 目次 UI/UXの最適化 AIの最適化業務の理解幅広い課題解決能力生成AIの知見確認・修正コストの削減実現に必要な要素 1. 高い品質が求められる業務で生成AIを活用するために 2. 対象業務と課題 3. UI/UXの最適化 1. 現行作業の理解 2. OCR技術の活用 4. AIの最適化 1. モデル選定 2. 複数価格課題の精度向上 3. 税抜・税込課題の解決策模索 5. まとめ

Slide 22

Slide 22 text

© Kakaku.com Inc. All Rights Reserved. 22 1. モデル選定 • ChatGPT(gpt-4o)とClaude 3.5 Sonnetとの比較で特性がかなり異なっていた。 • 特に縦書き性能は業務でも重要なため、Claudeを採用している。特製中華そば \1,100 味玉中華そば \950 特製辛そば \1,100 ネギ中華そば \1,030 岩のり中華そば \1,080 特製辛そば \1,100 券売機 ChatGPT gpt-4o 位置を見ておらず、文字が同じものを探す。 Claude3.5 Sonnet 位置を見て判断している。特製辛そば(¥1,100)の位置 ChatGPT gpt-4o 左から右に読んでしまう。価格を読みとばすケース多発。 Claude3.5 Sonnet 右から左に読もうとする。価格も読める。料理名内に改行が含まれるなど、OCR結果において料理名が1行に収まらないケースでのマッピング性能縦書き画像における、料理名の抽出精度特に抽出順と、価格の抽出精度に差が出る

Slide 23

Slide 23 text

© Kakaku.com Inc. All Rights Reserved. 参考情報 (数ケース試したのみ) 23 1. モデル選定 • 生成AIとOCRデータのマッピング処理における性能比較 gpt-4o- 2024-08-06 claude-3.5-sonnet 20241022 マッピング性能正しくないことがある座標位置を考慮縦書き対応左から右に読む右から左に読める位置情報出力できないできない gemini-2.0-flash-exp 座標位置を考慮右から左に読める Bounding Box出力可能

Slide 24

Slide 24 text

© Kakaku.com Inc. All Rights Reserved. 24 2. 複数価格課題の精度向上 • 業務で利用しているルールをそのままプロンプトにしたところ、エラー頻出唐揚げ定食・…1,000円・…1,100円カレーライス： • フォーマットが指示通りにならない • 複数の価格を一つの価格欄に出力 • 複数の価格を複数のメニューに分けてしまう • 税抜・税込を複数の価格として出力 • 税抜価格のみを価格欄に出力コーヒー(Hot/Ice) ・Sサイズ…500円・Lサイズ…600円シャルドネ樽からくるヴァニラの香り 1,210円税込価格(数字) 料理名(文字列) 説明(文字列) データ構造価格が複数ある場合説明欄に”{サイズ}…{価格}円”という形式で出力 type Menu = { name: string, price: number, description: string } 料理名・説明・価格(税込価格)を抽出する。価格が複数ある場合は説明欄に下記形式で出力する。 “・{サイズ}…{価格}円” 最終出力フォーマットは下記とする。作成したプロンプト価格が複数ある場合に想定通りに出力できないケースが頻出「複数の価格を複数のメニューに分けてしまう」の例「税抜・税込を複数の価格として出力」の例コーヒー(Hot/Ice) コーヒー(Hot/Ice) 500円 600円コーヒー(Hot/Ice) 唐揚げ定食カレーライス Sサイズ 500円 Lサイズ 600円 1,000円(1,100円) 900円(990円)

Slide 25

Slide 25 text

© Kakaku.com Inc. All Rights Reserved. 25 2. 複数価格課題の精度向上 type Menu = { name: string, prices: Price[], description: string } type Price ={ size: string, price: number, } 料理名・説明・価格(税込価格)を抽出する。価格が複数ある場合はsizeにそれらを識別する文字列を入れる。最終出力フォーマットは下記とする。プログラムで現状の業務データに変換 type Menu = { name: string, price: number, description: string } 料理名・説明・価格(税込価格)を抽出する。価格が複数ある場合は説明欄に下記形式で出力する。 “・{サイズ}…{価格}円” 最終出力フォーマットは下記とする。現状の業務データにとらわれず、実データをしっかり観察し、最適な出力フォーマットを定義する。生成AIが出力しやすい型を用いることで、難しい指示がなくなり、クオリティが飛躍的に向上。

Slide 26

Slide 26 text

© Kakaku.com Inc. All Rights Reserved. 26 3. 税抜・税込課題の解決策模索 • 税抜・税込価格の課題は解決できず。頻度は低いが発生した場合の影響が大きい。唐揚げ定食・税抜…500円・税込…550円 • 税抜・税込を複数の価格として出力 • 税抜価格のみを価格欄に出力右図のように直す必要がある。全メニューで発生するため作業工数への影響が大きい解決できなかった課題プロンプト改善では、解決できませんでした…

Slide 27

Slide 27 text

© Kakaku.com Inc. All Rights Reserved. 27 3. 税抜・税込課題の解決策模索担当者が苦痛に感じていたのは「たくさんの手入力が大変」だった。生成AIの品質向上はあきらめて… 生成AIの誤った出力を、手入力なしに修正できる機能を開発メニューに紐づいた全ての金額から必要なものを選べるUIを作成一括変更機能も作成生成AIで解決できず、UIの工夫などあらゆる解決策を模索運用可能な妥協点を提案

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© Kakaku.com Inc. All Rights Reserved. 29 実運用可能な確認・修正作業の構築業務で活用するには、確認・修正コストを減らすことが重要であるそれを実現するためには、業務理解や課題解決能力など、生成AI以外の要素も必要となる UI/UXの最適化 AIの最適化業務の理解幅広い課題解決能力生成AIの知見業務で求められる品質を踏まえ修正作業を簡単・効率的に行えるよう最適化 AIの品質を高めて修正作業を削減したり、 UI/UXに合わせた出力にするなどの最適化生成AIに限らない幅広い解決能力作業内容・ドメインの理解目標品質・妥協点の把握生成AIのアウトプット品質の最大化確認・修正コストの削減実現に必要な要素 • OCR技術の統合 • UI/UX開発力 • 正しい業務ドメインを定義 • 運用可能な妥協点の提案 • モデル選定 • プロンプトエンジニアリング