Claude Codeを使って不確実性と戦う / claude-code-fights-uncertainty

Transcript

1. Clade Codeを使って不確実性と戦う (2025/07/17) Claude Code Meetup #claudecode_findy Claude Codeを使って不確実性と戦う @erukiti 1
2. 自己紹介 erukiti (左が旧アイコン) 株式会社AlgomaticのAIエンジニア 「AI革命で人々を幸せにする」 「時代を代表する事業群を創る」という会社です アポドリとかリクルタとかDMMゲーム翻訳とかにじボイス（とか他いっぱい）やってます！ 2023年にできたスタートアップだけど、いま表に出てるカンパニーだけでも4つあって、全部売り 上げがたってて、全事業、全職種募集してます！生成AIで何か事業やりたい人も来てください 僕のスライド作りが度を超えて下手くそすぎてちゃんとした会社スライド仕込めてないんですが、 興味ある人は「Algomatic（アルゴマティック） 」で検索して！！！ 2023年から本当の意味で「LLMにAll in one」です 興味ある人は「Algomatic erukiti 入社エントリ」読んでみて AI革命(LLM)がもたらす未来にしか興味ないです LLMプロダクト専業で、チャット型とかRAGやAIエージェント作ったり、新規事業開発をやりつづけて ます Claude Codeを使って不確実性と戦う @erukiti 2
3. 運営サービス一覧（一例） 「アポドリ」は、AIエージェントが各企業専属のインサイドセールス担当として、 顧客企業のキーパーソンとの商談を獲得・提供するサービスです。 事業紹介 @erukiti 3
4. Clade Codeでコーディングをさせる 大体世の中にClaude Code触ってみたの記事とかLTとか山のようにあるので、そう いうのは皆さんにお任せします ただ、ちょっとだけ思うんですけど、Claude Code でコーディングをしてみた！の 類いは、本当に有用な情報なのか？ コーディングは、あくまで開発プロセスのごく一部なのではないか？ もちろん、実際には話がここで分岐するはずで、 「コーディングが多くを占めるか らコーディングでいいんだ」は確実にあるはず 世の中の多くの事例は、その「それで大丈夫な事例」に役立つのは間違いな い 今回は、そうじゃないものを取り上げたい Claude Codeを使って不確実性と戦う @erukiti 4
5. 散々語られているけど、AIコーディングで、極めて重要なこと AIコーディングエージェント（というかLLM）の認知特性および知性は人間と大きく違う 人間との会話なら期待値調整もできるが、人間とは明らかに違うので無意味 一ヶ月前とモデルが変わることがザラ（先月ならこの言い方で通じたのに！） 人間との会話作法では疲弊する AIはよかれと思って、とんでもないことをやらかす 「この目的を達成するためには rm -rf ~ が必要なんです！！！」 「テストを通すために .ts を .js にリネームします！！！！」 AIはギザギザのAGI（汎用人工知性）だと思っている 部分的にはめちゃくちゃ賢い。人間よりも遙かに。 でも「この会話ができるなら、この言い方で通じるやろ」が全く通じない ミドル以上の優秀なエンジニアとの対話を期待すると期待外れに終わる Claude Codeを使って不確実性と戦う @erukiti 5
6. 必然的にAIの使い方の 大前提 AIに頼むタスクは小さくしなければいけない でかいタスクは「とんでもないことをしがち」 「制御に苦労する」 「コンテキスト汚染」 特にClaude4は200k contextしかない上に、Geminiよりも遙かにContext汚染に弱いので、context が大きくなったら負けのゲーム AIに頼むタスクは失敗を前提にしなければいけない 同じタスクを三つくらいは投げるのが望ましい temperatureが高いので、バリエーションは豊富 AIの書くコードは提案であって、決して確定ではない 油断した頃に「とんでもないもの」を差し込んでくる ※ ただし2・3世代先には事情が変わってるはず Claude Codeを使って不確実性と戦う @erukiti 6
7. 僕のClaude Codeの使い方 自動化ツール作って issues.md を食わせるとqueueにjobを積む dispatcherが受け取って、指定した並列度でjobを終わらせる Docker + Hooks で自動制御 基本的には、 「AIの使い方の大前提」に沿って小さいタスクでコーディングをさせ る 小さいタスクはレートリミットにひっかかりにくい 観測系のタスクは注意しないとレートリミットひっかかる（コンテキストが大き くなり安い） というか、Anthropic最近締め付けきつくしてません？気のせい？？？ どっかでGemini CLIやChatGPT Codexも検証する必要性は高そう Claude Codeを使って不確実性と戦う @erukiti 7
8. 改めて今日のテーマ Claude Codeを使って不確実性と戦う Claude Codeを使って不確実性と戦う @erukiti 8
9. 逆説的に考える 「確実性が高いもの」は期間はさておいても、必ずどこかでAIに置き換えられる -> つまり確実性の高いことは、我々人類が取り組むべき課題ではない -> 人類が取り組むべき課題は、不確実性である Claude Codeを使って不確実性と戦う @erukiti 9
10. メンタルモデルの話 そもそも、現代の開発において、100%の完璧なメンタルモデルを（人力で）構築 するのは難しい 新しくjoinした 生き証人がいない ソースコードが頻繁に書き換わる メテオフォール 事業開発！ Claude Codeを使って不確実性と戦う @erukiti 10
11. たとえば事業開発 2023年末からRAGやAIエージェント作ってた ところが、その頃、RAGやAIエージェントに関しての情報はArxivにあれば上等な 方で、大抵の場合どこにも資料がない RAGに関して制御可能な変数なんて、一番最初に雑に考えても、10個以上あ るよね？ 評価どうやんの？ マネージドサービスもあるよね？精度は？ 精度上がっても、汎化できる？ 精度上げたとして、それは金になるの？ 考えて実験して計測して使ってもらってを繰り返すしかない。 Claude Codeを使って不確実性と戦う @erukiti 11
12. 観測をする1: 脳内モデリングを強化させる（現状を把握する） プロダクトにおいて脳内モデリングが100%になるのは難しい。 コード分析をさせる コードから読み取れるべき情報を言語化させて、ズレを計測する あるI/Fに対するコードを書かせて、クセを計測する Mermaidなどの図を書かせる Claude Codeを使って不確実性と戦う @erukiti 12
13. 観測をする2: 理想に至るためのギャップを観測する 理想像を書いた上で「現状は、先ほど記述した理想像とはほど遠い。どのあたり が現実かを精緻に調べて調査してレポートしてほしい」 「レポート結果を元に、ギャップが何かを詳細にまとめてほしい」 「ギャップをうめるために何が必要かを詳細にまとめてほしい」 ある種のChain of Thouhgtなんですが「TOBE-ASIS-GAP法」と読 んでます。ちゃんと知らればもっとちゃんとした名前ありそう Claude Codeを使って不確実性と戦う @erukiti 13
14. 観測をする3: わざと大きな実装をさせる 当然失敗する。むしろ、どういう失敗をするかを観測する バグだらけでも動けば、PoCとして使えるかもしれない ここでも重要なのは「ズレ」 「クセ」を見ること 人間は脳内でどれだけ考えても、テキストに書き起こしてもだめ で、実際に動くものを見てはじめて気づくことが多い Claude Codeを使って不確実性と戦う @erukiti 14
15. 観測をする4: 技術調査 現行のLLMは例外なく、ライブラリの使い方が下手くそ Claude Codeの場合はWebSearchとWebRequestをツールとして持ってるので、検 索させつつ試行錯誤させる 知識ではなく「実測」のみを正しいものとして扱う 失敗させつつ、自分の知識を補強をしていく 本当は、ここもうちょっとプロンプトとかメソッドに落とし込め そうな予感はしてる Claude Codeを使って不確実性と戦う @erukiti 15
16. 具体的にどれくらいの割合でコーディングさせてるか？観測させ てるか？あるいはほか？みたいなのを聞いてみたい Claude Codeを使って不確実性と戦う @erukiti 16
17. ご清聴ありがとうございました！ Claude Codeを使って不確実性と戦う @erukiti 17