5W1H ～LLM活用プロジェクトを推進するうえで考えるべきこと～

5W1H ～LLM活用プロジェクトを推進するうえで考えるべきこと～ 2024/06/28 【LT大会】生成AI・LLMを活用した業務効率化・課題解決について語る会

プロフィール natsuume Twitter(X): @_natsuume - 株式会社オプト AIソリューション開発部 (2019～) - NLP・生成AI・LLMに関するPoC,
プロダクト開発 ChatGPT(OpenAI API)を活用した広告制作支援ツール「CRAIS for Text」にてテックリード担当 https://optipschannel.opt.ne.jp/solutions/crais-for-text

※今回の発表では技術的な内容はあまり含まれません

突然ですが生成AIの活用、順調ですか？

「生成AI以外のところで時間がかかる」「PoCが思ったように進まない」・・・

もし心当たりがあるなら…… 技術検証の前に決めるべきことを決められていないかも

①When（いつ）その取り組みの期限は？ - 1ヶ月後 / 半年後 / 1年後 / …
- 1年後を見据えた取り組みなら、現時点のLLMモデルに合わせてプロンプトを頑張ってチューニングする必要はない成果物はいつまで使う（耐用年数は）？ - （前提として不確実性は非常に高い） - 類似機能がSaaSとして提供されたらどうする？ - どの程度先までを見据えて作り込むか

②Where（どこで）業務フローのどこで LLMを使う？ - ユーザが直接使う / 何らかの中間処理として生成AI・LLMを使うどこで/どこの生成 AI・LLMを使う -
ChatGPT：OpenAI API / Azure Open AI - Claude：Amazon Bedrock / Anthoropic Cluade API - Gemini：Google AI Studio / Vertex AI 法務確認, セキュリティ, …etc

③Who（誰が）この取り組みで誰が恩恵を受ける / 誰が使う？ - 相談者・発案者は必ずしも直接的な受益者ではない場合があるユーザ側の業務スキルの差は？　スキルの差で得られる恩恵に差がある？ - ジュニア /
ミドル / エキスパートなどユーザのリテラシーは？ - 素のChatGPT/LLMをどれくらい使いこなせる？ - プロンプトエンジニアリングに関する知識は？ - ハルシネーションなどAIの特性に関する理解は？

④What（何を）そもそも何を解決したい？ - LLM・生成AIが得意なこと / 苦手なこと - 要約, 翻訳, 情報抽出,
フォーマット変換, 分析, 提案, 壁打ち, 検索ビジネスインパクト・ニーズは十分か？ - ヒアリングは大事だが、鵜呑みにしてはいけない - 御用聞きにならない何を達成したら成功？ - どの程度の精度を求める？ - やらないことを決める

⑤Why（なぜ）なぜ生成AI・LLMを使うのか - ルールベースの処理 or 人手ではだめ？ - （会社としてのアピールのために「生成 AI・LLMを使っていること」が重要な場合もある） -
既存の機械学習手法ではだめ？ - RAG・ChatBotにする必要はある？ - 検索結果を一覧で表示する場合との差分は？（特に既存業務改善の場合は）既存の手法との比較方法を考える必要がある

⑥How（どのように）生成AI・LLMをどう使う？ - リアルタイム性, インタラクティブ性は必要？ - Batch APIの利用など、基本的にリアルタイム性・インタラクティブ性が必要ないほど選択肢の幅は広い（ユーザが使う機能の場合）
UIはどうする？ - チャット形式 or フォームに必要事項を入力？ → PoCの段階からアプリケーション全体での　ユーザ体験まで含めて考えるのが良い

まとめ生成AI・LLM活用プロジェクト/PoCをスムーズに進めるためには - 「いつまでに」「何を」やるのか - 「どこの」生成AI・LLMを使うのか, 業務フローの「どこで」使うのか - 「なぜ」生成AI・LLMを使うのか -
「誰が」「どのように」生成AI・LLM使うのかを最初に明確化することが大事

5W1H ～LLM活用プロジェクトを推進するうえで考えるべきこと～

5W1H ～LLM活用プロジェクトを推進するうえで考えるべきこと～

natsuume

More Decks by natsuume

Other Decks in Technology

Featured

Transcript