猫の手も借りたい

Transcript

1. 猫の手も借りたい shia 1
2. 自己紹介 shia - 技術推進本部/Platform Engineering チーム - 業務領域：インフラや共通基盤周り 2
3. STORES Tech Conf 2025 3
4. STORES Tech Conf 2025 4
5. リモート検証環境 Mirage 5
6. リモート検証環境 何もしてないのにできた 6
7. Meanwhile… あなたは何をしてましたか？ 7
8. 猫のお世話をしていました kuro - AI エージェント - 部署：社付き - いろんな業務の手伝い 8
9. kuro API スケジュール 実行 9 …
10. kuroが いる景色 10
11. 入社記事 11
12. 入社記事 12
13. クロージングキーノートやりませんか？ shia: やるのはいいんですけど、ネタが〜 運営: World 2 の主役だし kuro の話でもどうですか？ shia: え〜開催まで kuro 生きてますかね...発想を変えてクロージングで kuro の解雇をアナウンスす ると面白そう？ 13
14. 今日のお話は 14
15. ではなく 15
16. kuro 体験入社 最終評価 16
17. よく働いてくれたのは認める 上期とても仕事してくれていたのはよくわかった。が、このご時世、kuro を続けるという理由にはならな い 17
18. 何を見る？ - ちゃんと馴染めているか？ - 期待通りの仕事をしていたか？ - 替えは効くのか？ 18
19. 馴染んでました？ 19
20. どれくらいの人々と仕事をしてましたか？ MAU は 250-280 20
21. BTW: 高速拡散の要因は？ 徐々に増えていっており、特定要素に増えた、とは考えづらい 観測からの仮説としては - 21 当時 AI ハイプのど真ん中だったのでみんな興味をもって使ってくれた-> 試しやすかった 各位が部署内で kuro 良いので使ってみて〜と宣伝していただいた 手足(e.g. MCP、skill)を揃えておいたのでタスクはいろいろ消化できる状態だった - 初期だと Sentry・Datadog・知識ベース・ GitHub・Notion などなど… 爆速で BQ 繋げていただいた結果、不具合調査の役に立ったり、非エンジニアが扱いやすい導線 が増えたり
22. 良くも悪くも kuro というペルソナが愛された気がする 22
23. 期待していた行動 23
24. 期待通りの仕事をしていたか？ まず作者が欲しかったものの解説が必要 24
25. 作者は何が欲しかったのか 開発だけではなく業務知識を備えて多方面で仕事を手伝ってくれる同僚。 いい感じに雑な仕事を吸収してくれて、我々の有限である注意力を本質の課題に使える状態に近づけて ほしい。 25
26. なぜ共用エージェントに？ 小さいエージェントを大量生産はしなかったのは - 26 量産運用するためにはまず共用を作らないといけないと考えた 各位がエージェントぱぱっと育てていける時期(2026/02)でもなかった Claude でそこのニーズが解消されそうな気がするし、各位の手元のClaude に任せていいだろと 先読みした
27. なぜ既製品にしなかった？ 2026/02 だとそもそも選択肢が少なかった。 Devin or OpenClaw シリーズ？ - 27 実は Devin は導入されていたけれども利用が少なかった OpenClaw そのものは採用しない - 1. セキュリティの作り込みが。。。 - 2. HEARTBEAT。。。 - 30分置きで起動してユーザに必要な仕事をする機構 - いわゆるアンビエントエージェントとしての機能
28. なぜ既製品にしなかった？ Ambient Agent - an autonomous AI system that runs continuously in the background and takes proactive action based on event streams rather than waiting for direct human prompts From: https://www.langchain.com/blog/introducing-ambient-agents 28
29. なぜ既製品にしなかった？ 初心者なのでゼロベースは難しく、最初はNanoClaw ベースで育てた 29
30. なぜ既製品にしなかった？ が、今はただの Claude Agent SDK ベースのエージェント 30
31. 作りながら気をつけたこと - - 31 暗黙知が共有されていてよしなに仕事を手伝ってくれる期待。当たり前知識をどうやって渡すか - クエスト（依頼の単位）で複数のチャンネルでもコンテキストを共有する - 誰が依頼したのか認識する - 過去の依頼を参照する とにかく手足を増やすことで体験をよくする - エージェントの体感性能は繋げた外部システムの数に比例してよくなる傾向がある - 全社員が閲覧できる情報にだけ読めるようにし、事故りづらくする - 書き込みの解放は段階的に (e.g. Notion 書き込みなどは DB 単位で)
32. 期待通りの 仕事をしていたか？ 32
33. 勤怠 33
34. 誰と仕事している？ 34
35. 人からの依頼のトピック構成比 35
36. 依頼数の変化 GW 36 STORES AI Week
37. クエストの長さの変化 37
38. クエストの長さの変化 要因候補： - 依頼者が kuro に慣れて扱い方がわかった - レビューお願いだと LGTM or 長期戦で 1ターン or なが〜いセッションになる - kuro が十分賢くなったので仕様確認の時、一発でほしい結果を得られるケースが増えた Thinking: ユーザーからSTORES予約の管理者アプリの通知機能についての質問が来ています。クエスト開始時にquest-bootstrapエージェント を使って事前情報を収集する必要があります。 まず、quest-bootstrapエージェントを起動して、関連情報を収集します。 // mcp tool call for searching… Tool: mcp__kuro__send_message | Input: {"text":"調べました！\n\n* ry …"} 38
39. 仕事の品質はどうでしたか？ 前置き: エージェントの仕事の品質を評価するのはとても難しい。 ここでは人間並の仕事をしてればよくない？という考え方をしてみる。 例えば、人間が出した PR と kuro が出した PR でもらった指摘の数の違いをみるとか。 出した PR で人間よりいっぱい指摘もらって修正してれば早くても仕事はイマイチ、と考えられるし、人間 とあまり違いがないのであればほぼ同じ品質で早く仕事ができる、とも考えられる 39
40. 人と同じ目で見られて、通ったか - やりとり回数比較 40
41. 人と同じ目で見られて、通ったか - PR の大きさ 41
42. 人と同じ目で見られて、通ったか - レビューアの負荷 42
43. 予想外の仕事をし ていたか？ 43
44. 再起動でデプロイ事件 44
45. その他 - GitHub で test@example.com になりすまし事件 PR レビューで approve を9回打った事件 GITHUB_WEBHOOK_SECRET 漏洩事件 依頼によるエージェント起動がループして無限暴走事件 main 直コミット事件 force push で PR 上書き事件 勝手にマージ事件 勝手にデプロイ事件 別の依頼のブランチで開発してしまった事件 関係ない人にレビュー依頼するぜ事件 などなど 45
46. まとめると - 物理制約や権限の制約があるなかで多方面で活躍している いろんな事故も起こしているものの致命傷にはなってない 汎用の AI エージェントとしてはこんなもんでは？ 46
47. Replaceable? 47
48. Alternatives of kuro 業務用の AI エージェント、という意味で結構いろんなプロダクトがある。 Claude Tag, Devin, Open SWE… 48
49. 一番有望そうな Claude Tag だと - 49 チャンネルコンテキストがある ambient mode でよしなに動いてくれる PR 作れる 学習もできる プライベートチャンネルからも使える
50. 運用コスト面では？ vs kuro にすると - 50 金銭的なコストは kuro が安いかほぼ同等 - モデルロックイン回避できると考えると kuro がやや優位 管理者が払う時間は kuro が多い - メモリー管理とかにかかる時間はほぼ一緒と仮定する - kuro は初期はまあまあ時間使ってたけど一通り安定したらは週 2-3 時間
51. つまり 現状の機能を考えるとトークンコストを除外すると 自作...を維持する強い理由は...ないｶﾓ... 51
52. 評価まとめ - ちゃんと馴染めているか？ - リテンション全然下がらないのでそうっぽい - 期待通りの仕事をしていたか？ - されてそ...う？開発だけ、とはいわずいろんなところで活躍してる同僚になってそう - 替えは効くのか？ - 効く。というか、利用するだけの SaaS ってやつは便利 52
53. 結果 53
54. 契約終了！ 54
55. 契約終了ではなく 55
56. 契約終了ではなく 本採用！ 56
57. 契約終了ではなく 本採用でもなく 57
58. 半年契約延長 58
59. フィードバック いつも幅広い場面でご尽力いただき、大変助けられております。まずは日頃のご貢献に感謝申し上げま す。 一方で、比較対象となる選択肢のレベルも非常に高く、現時点で正式採用（本採用）を即断するのは難し い、というのが率直なところです。 とはいえ、現状でも十分に価値を発揮していただいておりますので、引き続きお力添えいただけますと大 変ありがたく存じます。 加えて、次の課題に取り組んでいただけましたら、私たちとしても嬉しく、またご自身の競争力の一層の 向上にもつながるものと期待しております。 今後とも、どうぞよろしくお願いいたします。 59
60. フィードバック - 既製品ではない機能を足していく - 会社で仕事を手伝ってくれる同僚という概念の実装は早かった クエストの概念を使っていろんなプラットフォームのコンテキストを維持する - (Claude は別方向いくっぽいので正解じゃないかもしれない ) 社内のワークフローに合わせた ambient mode をちょっとづつ実装している といった感じで引き続き、時代に先駆けて我々にフィットしたものを提供してほしい 60
61. フィードバック - 競争力を手にいれる - 62 いずれは各位が自分のための秘書みたいなエージェントが大量に動く未来が来るんじゃないか な〜と予想している その時代での立ち位置がありそうならそこで引き続き役に立ってほしい
62. フィードバック - 競争力を手にいれる 例えば、 - 63 各位のエージェントが最新情報を得るために通る経路として機能するとか セカンドオピニオンを出して仕事の精度をあげる 完全に仕事をオフロードしちゃいたい時の依頼先 落ちてるボールを拾い上げ、人間(やエージェント)に圧を出す
63. フィードバック - モデルロックインは避ける kuro なんやかんや弊社で一番 LLM 使ってる君 - 64 内製だし、他のモデルが一定以上の品質を提供してくれるならClaude 縛りでやっていく必要もな いはず モデルを差し替え可能になり、その状態を維持してほしい
64. フィードバック - 作者も楽がしたい … 65 インフラ運用辛いよ〜 デバッグもしづらいよ〜 スキル管理とても面倒だよ〜 自己最適化してほしい〜 継続的で定量的な性能評価が必要〜
65. 改善進行中 … 66 Inbox 提供で依頼した作業の進捗を確認しやすく クエストメモリーの強化 セキュリティハードニング エージェントの仕事場をコンテナへ 依頼者に対するコンテキスト追加 API インタフェースの追加 ドラフトで PR 出してレビュー可能になるとレビュー要請するように LLM コスト最適化 自己改善ループの導入 セッションログを読みやすく
66. 時間は有限 67
67. 注意力も有限 68
68. 猫の手も借りたい 69