AIの誤りが許されない業務システムにおいて“信頼されるAI” を目指す / building-trusted-ai-systems

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© LayerX Inc. 2 バクラク事業部 AI‧機械学習部部⻑ / 機械学習エンジニア経歴 2018/3：京都⼤学⼤学院情報学研究科修⼠課程修了 2018/4：ウォンテッドリー株式会社⼊社 ● ⼀⼈⽬データサイエンティストとして推薦システム開発チームの⽴ち上げなど ● その後、テックリードやEM、PdMなどを兼任 ● 退職後は機械学習領域の技術顧問に就任 2022/10：株式会社LayerX ⼊社 ● 機械学習とかLLMとかAgentとかやってますその他、⼤学にて⾮常勤講師やスタートアップの技術⽀援等画像を入れてね⾃⼰紹介松村優也（Yuya Matsumura） @yu__ya4

Slide 3

Slide 3 text

3 © LayerX Inc. 経理の現場では、AIの「間違い」は許されない「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか「AIなんだから間違えることもある」「１円のミスも許されない」

Slide 4

Slide 4 text

4 © LayerX Inc. LLM時代がもたらす新たな難しさ「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか出⼒の曖昧さ唯⼀の正解が存在しないタスクへの適⽤。正解‧ 誤りにも “程度” がある。期待の変化世の中のAIリテラシーへの向上により、「改善されないAI」は信頼されない時代に toB特有の制約低頻度利⽤、⾼い精度要求、多様な社内ルール。誤りが業務を⽌めてしまうリスク。

Slide 5

Slide 5 text

5 © LayerX Inc. AIプロダクトを「作る」から「育てる」へ「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか

Slide 6

Slide 6 text

6 © LayerX Inc. ユーザーフィードバックの２つの種類「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか明示的フィードバック（Explicit Feedback）暗黙的フィードバック (Implicit Feedback) ユーザーが意図して「良い/悪い」を直接⽰すことで得られる。ユーザーの⾏動から間接的に意図を推測することで得られる。

Slide 7

Slide 7 text

7 © LayerX Inc. 明⽰的フィードバック：正確だが、量は少ない「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか⾼い正確性（意味が明確な教師データとして有⽤）ユーザーがAIの出⼒に対し、直接ラベルを付ける⾏為。データ量が少ない、ユーザー負担が⼤きい（多くのユーザーは⾯倒に感じる）

Slide 8

Slide 8 text

8 © LayerX Inc. 暗黙的フィードバック：⼤量に得られるが、ノイズも多い「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すかデータ量が豊富、ユーザー負担が少ないユーザーの⾏動ログから間接的に満⾜や不満を推測する解釈が難しい（⾏動の理由が⼀意に定まらない） ● 記事をクリックした ● ChatGPTの出⼒をコピーした ● 動画を最後まで視聴した

Slide 9

Slide 9 text

9 © LayerX Inc. 2種類のフィードバックを組み合わせることで良いループを作成する「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか明⽰的フィードバックで精度を担保しつつ、暗黙的フィードバックでカバレッジを広げる

Slide 10

Slide 10 text

10 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すかレビュールール過去の申請データ社内規定等レビュー AI 交通費の経費精算時には「訪問先」と「訪問⽬的」を「内容‧メモ」に⼊⼒する必要があるバクラクAI申請レビューでの挑戦申請内容の不備をAIが⾃動で検知‧指摘することで、正しい申請作成をサポートするAIエージェント

Slide 11

Slide 11 text

11 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すかユーザー体験を毀損せずに、フィードバックを収集するユーザー体験誤った指摘を無視して作業を進めるという⾃然な⾏動裏側の仕組み AIに対する「間違っていた」という明確なフィードバックとして記録業務フローの中にフィードバック収集の仕組みを⾃然に組み込む

Slide 12

Slide 12 text

12 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか明⽰的フィードバックとはいえ、必ず正しいとは限らない。量も少ない差し戻しが、実はユーザーは修正がめんどうでスキップしただけかもしれない...

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

15 © LayerX Inc. 「AIの誤りが許されない」業務システムで、いかにしてフィードバックループを回すか（そもそも不可能な）100%正解する “完璧なAI”ではなく、誤りから学び、成⻑し続けることで中⻑期でより⼤きな価値を提供する “信頼されるAI” を⽬指すそのために不可⽋なのは、 “⾃然な体験でフィードバックを収集できるUX”と “フィードバックから学ぶ仕組み” の設計である。