精度と価値を最大化！AIプロダクト開発・実装の勘所

Slide 1

Slide 1 text

精度と価値を最⼤化！エンタープライズAIプロダクト開発‧実装の勘所 @zawakin (株式会社ナレッジワーク)

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© Knowledge Work Inc. NEWS: ナレッジワークはセールスイネーブルメントAIを作っています 5 ナレッジワーク、営業ナレッジの発⾒体験を⼤幅に向上する新機能「ジョブ検索」を正式リリース。特許出願完了ナレッジワーク、顧客向け提案書などの共有体験を⼤幅に向上する新機能「⾃動マスキング」をリリース。特許出願完了ナレッジワーク、新プロダクト「ナレッジワークAI商談記録」をリリース。正価から50%割引である1ユーザー 2,500円/⽉の特別価格で提供「ジョブ検索」正式リリース(2025/5/12) 「⾃動マスキング」リリース(2025/5/13) 「AI商談記録」リリース(2025/5/15)

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© Knowledge Work Inc. エンタープライズAI開発で避けて通れない3つの⼤きな壁 13 13 難易度⾼めの課題壁１：利⽤可能モデルの選択肢とその能⼒の限界 ● 限られた選択肢の中で、その中での能⼒最⼤化する必要がある！ ● 例: プロバイダー(OpenAI/Azure/Google Cloud/AWS/ローカルLLM) x モデル(Gemini/GPT-x/…), ⾃前モデル, … 壁２：エンタープライズデータの多様性 ● 多様な種類のデータ（構造化/⾮構造化, テキスト/動画, …）が対象 ● 単純なLLMアプローチの限界と、データノイズ対処の重要性壁３：実業務で求められる厳格な出⼒要件 ● 「結果のソース提⽰」などの出⼒要件に対応する際のAIの精密な制御の難しさ

Slide 14

Slide 14 text

© Knowledge Work Inc. 限られた選択肢の中で、その中での価値を最⼤化する必要がある！ 14 壁１：利⽤可能モデルの選択肢とその能⼒の限界プロバイダーモデル Gemini 1.5/2.0/2.5,... GPT-o4-mini, GPT-4o, GPT 4.1, … Claude 3.5/3.7 Haiku/Sonnet, … … エンタープライズAI開発では、利⽤可能なプロバイダーやモデルが限られてしまう！本当は⾊々あるけれど...

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© Knowledge Work Inc. 23 「⾼速に試せる環境」を作る ● Print Debug上等！ ● 全実⾏ログ保存 (JSON/JSONL) ● ステップ毎の⼊出⼒検証 ● ローカル環境整備勘所１：⾼速試⾏環境成果物１⼊⼒成果物２出⼒途中経過を print 全実⾏ログ保存ローカル環境で回せるようにする jsonl {“timestamp”: “...”, “hoge”: “value1”, …} {“timestamp”: “...”, “hoge”: “value2”, …}

Slide 24

Slide 24 text

© Knowledge Work Inc. 24 課題: エンタープライズデータの多様性、ノイズ、個社固有性コンセプト : AIが最高のパフォーマンスを発揮できるように、入力を整える勘所２：AIへの⼊⼒情報を徹底的に「お膳⽴て」する心構え：「 LLMの気持ちになる」 (この入力で、本当に良いアウトプットが出せる？) AIのポテンシャルを最大限引き出す！ノイズの多いデータ LLM ノイズの少ないデータ LLM 良い出⼒例: 粗めの検索結果 Rerank＆フィルター実際の処理⾼精度rerank結果等 ☺