自作AIアプリの品質を上げるためにプロンプトエンジニアリングに再入門する

Transcript

1. 自作AIアプリの品質を上げるためにプロンプトエンジ ニアリングに再入門する
2. プロンプトエンジニアリングは終わった？ ChatGPT、Geminiアプリ、Devin、Claude Codeのような高度なAIエージェントは、適 当な指示でもいい感じに仕事をしてくれる。 が、その感覚でAIアプリを自作すると、AIのできることの小ささを思い知らされる。 プロンプトエンジニアリングは、自分でAIアプリを作るときにこそ有効。
3. 今回紹介するワークフロー AI商品検索：チャットで最適なスニーカー・アパレルを検索できるアプリ
4. One-Shot / Few-Shot What? タスクに対する回答例を与える How? 検索戦略のフォーマット(JSONやEnum)や、回答のフォーマット（共感->結論-> 回答一覧->再度結論の流れ）の指示で利用 このテクニックは強力で、守らせたいルールは例示することで確度がかなり高ま る。逆にある程度多様な回答が欲しい場合には例に引っ張られすぎて逆効果にな ることも
5. Chain Of Thoughts What? タスクに反射的に答えようとせず、サブタスクに要素分解させて段階的に回答を 作るようにさせる How? 「xx(ブランド)のような服が欲しい」というようなユーザの要求に対して、検索戦 略計画AIは「xx(ブランド)のような服」をそのままベクトル検索に投げようとす る。 そこで、 「xx(ブランド)のような服」とは何か？をAIに分析させて、それを元に検 索計画を出力する。色、雰囲気、ターゲット層、デザインなど。
6. Prompt Chaining What? タスクを物理的にサブタスクに分割して複数のAIを協調して回答を作る How? AI商品検索では、検索計画→検索→解答生成の3ステップのチェーンを作っている 経験則だが、1つのLLMに複数のタスクを持たせすぎると、各タスク（特に中間の タスク）の出来がイマイチになる。AIにも単一責任則は有効
7. Tree of Thoughts What? 1つのプロンプトの中で分岐ができている場合に、物理的に分岐させる戦略 How? ユーザからの追加質問に「そのまま質問に回答する」または「ナレッジベースで 追加検索する」の2つに分岐させている 欲を言えば検索計画の内部処理もToTやPCで分割したい。現状CoTを採用している が、精度に限界を感じている。コストの都合
8. Active Prompting What? LLMが不確実性を感じた場合に、その点を人間（または別の高精度モデル）に問 い合わせ、フィードバックを得て学習するテクニック How? AIはそのままだと無理して滅茶苦茶な回答を作ってしまう。 「Q. 数学の宿題を教え て」 「A. 数学に関するファッションをお教えします」 なので、回答を評価させ、精度の低い回答の場合は回答を出すよりも、追加の質 問を自然に促すように指示している。
9. ReAct What? 1回のフローで回答せず、納得のいく回答ができるまで、思考、行動、観測のルー プを回す Reasoning + Acting AIエージェントのベースとなる技術の1つ How? 検索結果が納得いかない場合は、再度検索計画を立て直す。欲しい検索結果が得 られるまでループして、最適な検索結果を得る（コストが掛かるため現在は採用 していない）
10. Reflection What? ループの経験をメモリに残して次に活かす AIエージェントのベースとなる技術の1つ How?（未実装） 検索計画AI: 検索結果やその評価を残す 回答AI: 回答をユーザに評価してもらい残す
11. 結び 賢いAIエージェントとは、ユーザの曖昧な質問や複雑な課題に対して、単に1回で回答 を出すのではなく、高度な思考・行動プロセスを自律的に実行できる存在である。 1. 計画立案（ToT, CoT）: ユーザの質問の意図や構造を理解し、 「何をすればよいか」 を自分で分解・計画できる。 2. 自己評価とアクション選択（ReAct, Reflection, Active Prompting）: 計画に基づいて アクションを実行し、その結果を自分で評価して、最終的な回答を出す。 このような技術を組み合わせることで、AIは「一発回答型」から「自律的に思考し、 最適な解を探し続けるエージェント型」へと進化する。