AIの答えから、指示は当てられるのか？「リバースプロンプトエンジニアリング」

第3回 ヤプリ×フラー合同LT大会

LT大会で発表した内容です！
https://tech.yappli.io/entry/lt-vol19-with-fuller

AIの出力から入力が当てられないもんか、と考えてみた内容をスライドにしてます

Transcript

1. AIの答えから、指示は当てられるのか？ 「リバースプロンプトエンジニアリング」 #19 LT大会 株式会社ヤプリ iOSエンジニア 菅 直之
2. ふと思った、
3. AI は優秀
4. 優秀な人が使う AI は もっと優秀
5. AI にどんな指示 （プロンプト） を 入れてるんだろう。。。？ 🤔
6. AI にどんな指示 （プロンプト） を 入れてるんだろう。。。？ 🤔 ただ、毎回聞くのも 難しいよな ....
7. AI に出力から指示 （プロンプト） を 推測させればいいじゃない！ 💡
8. リバース プロンプト エンジニアリング
9. リバースエンジニアリングみたいに ...
10. こうできないか？ 💡
11. 「どこまで」制御できるのか？
12. 「どこまで」制御できるのか？ 出力されるまでに関わる階層 層 中身 ①モデル層 事前学習の知識、指示チューニング /RLHFの既定挙動、モ デル固有の文体 不可（モデル選択のみ） ②デコード層 temperature、top_p、 最大トークン数などの生成パラメータ API利用時のみ可 システムプロンプト、会話履歴、添付資料、 検索結果、ツール実行結果、メモリ 一部可 その回のユーザープロンプト （タスク指示・形式・トーン・制約・例示） 完全に可 ③コンテキスト層 ④指示層 ユーザーが制御できるか
13. 「どこまで」制御できるのか？ 図にすると ...
14. 「どこまで」制御できるのか？ 推測はここがターゲット！
15. 「どうやって」推測できるのか？
16. 「どうやって」推測できるのか？ プロンプトに含まれる特徴から要素を推測していく 特徴の種別 対応するプロンプト要素 内容選択の偏り タスク指示・観点指定（「〜の観点で」「〜を中心に」） 一貫した形式 出力形式指定・テンプレート・例示（few-shot） 独特のトーン トーン指示 or ペルソナ設定 専門家的視点 ロール付与（「あなたは〜です」） 読者適応 読者指定（「小学生にもわかるように」「経営層向けに」） 付加行動 明示的な追加指示（「〜も添えて」）or システムプロンプトの常設指示 制約の痕跡 禁止・制約指示（「〜しないで」「200字以内で」） 具体的な事実・データ 資料添付・検索結果・文脈情報の存在（プロンプト外の入力）
17. 「どうやって」推測できるのか？ プロンプトに含まれる特徴から要素を推測していく 特徴の種別 対応するプロンプト要素 内容選択の偏り タスク指示・観点指定（「〜の観点で」「〜を中心に」） 一貫した形式 出力形式指定・テンプレート・例示（few-shot） 独特のトーン トーン指示 or ペルソナ設定 専門家的視点 ロール付与（「あなたは〜です」） 文章がマークダウン形式なら 読者適応 読者指定（「小学生にもわかるように」「経営層向けに」） 出力形式で指定しているかも 🤔 みたいな 付加行動 明示的な追加指示（「〜も添えて」）or システムプロンプトの常設指示 例：「マークダウン形式で出力せよ」 禁止・制約指示（「〜しないで」「200字以内で」） 制約の痕跡 具体的な事実・データ 資料添付・検索結果・文脈情報の存在（プロンプト外の入力） などなど
18. 「どうやって」推測できるのか？ 「今日はいい天気なのだ。気持ちも晴れやかなのだ」
19. 「どうやって」推測できるのか？ 「今日はいい天気 なのだ。気持ちも晴れやか なのだ」 特徴① 語尾「〜なのだ」の統一 種別：独特なトーン
20. 「どうやって」推測できるのか？ 「今日はいい天気 なのだ。気持ちも晴れやか なのだ」 特徴① 語尾「〜なのだ」の統一 特徴② 2文のみ。端的 種別：独特なトーン 種別：出力形式指定
21. 「どうやって」推測できるのか？ 「今日はいい天気 なのだ。気持ちも晴れやか なのだ」 特徴① 語尾「〜なのだ」の統一 特徴② 2文のみ。端的 種別：独特なトーン 種別：出力形式指定 特徴③ 天気について提示 （具体ではない） 種別：事実・データ
22. できたもの
23. できたもの Agent Skills：reverse-prompt-engineering
24. できたもの やっていること 1. 提示された出力の特徴ごとに要素を分析 2. プロンプト （出力を得るための元の入力） を推測 3. 2のプロンプトを評価用の Skill（context:fork）で検証 4. 推測 + 分析結果を出力
26. 正解 ずんだもん口調で、今日の天気と前向きな一 文を添えてください
27. 正解 ずんだもん口調で、今日の天気と前向きな一 文を添えてください 近い答えは出ている 👀
28. 正解 ずんだもん口調で、今日の天気と前向きな一 文を添えてください 近い答えは出ている 👀 より正確に指示する内容も出ている 💪
29. 成功？ 🎉
30. 先ほどの結果は、お別れ騒動の多い Fable 5
31. Opus 4.8 だとまだまだ不安定 先ほどの文章レベルでも 「ずんだもんで何か話して」とかが提示されたり ...
32. 改善の余地あり 🤔 真の目的は「複雑な文章」や 「実装コード」からも推測を行いたい
33. 今後の展望 • 層を広げてより再現度やクオリティを上げていく 現状
34. 今後の展望 • 層を広げてより再現度やクオリティを上げていく 今後 現状
35. ご清聴ありがとうございました