過去のナレッジは全部捨てて AI 用に作り直している話

Transcript

1. ©2017-2025 kikagaku, Inc. All Rights Reserved. 1 過去のナレッジは全部捨てて AI 用に作り直している話
2. ©2017-2025 kikagaku, Inc. All Rights Reserved. 2 アジェンダ 1 2 3 4 5 自己紹介/会社紹介 キカガクの AI ツールの歴史 過去のナレッジは全部捨てるまでの試行錯誤 整備する対象は『知識』から『ワークフロー』へ 未来へ向けての現在の取り組み
3. ©2017-2025 kikagaku, Inc. All Rights Reserved. 3 自己紹介 • 株式会社キカガク • 普段は Next.js, NestJS, PostgreSQL など • toB 向けプロダクトの開発してます • ２人の子どもに囲まれコーディングしてます • Zenn 主催の AI Agent Hackathon で受賞しました @tetsuro_b
4. ©2017-2025 kikagaku, Inc. All Rights Reserved. 4 会社紹介
5. ©2017-2025 kikagaku, Inc. All Rights Reserved. 5 会社紹介
6. ©2017-2025 kikagaku, Inc. All Rights Reserved. 6 キカガクの AI ツールの歴史 • 2023/5 ：GitHub Copilot • 2023/10：ai-pr-reviewer（Code Rabbit） • 2024/2 ：ChatGPT Team • 2024/10：Cursor を一部の社員が使い始める 社内での普及活動、勉強会など • 2025/3 ：Cursor を全エンジニアへ導入 • 2025/5 ：Devin 本日はこのあたりのはなし
7. ©2017-2025 kikagaku, Inc. All Rights Reserved. 7 過去のナレッジは全部捨てるまでの試行錯誤 (1/3) ▪ レビューコメントでファインチューニング（2025/1） • ai-pr-reviewer（Code Rabbit）は導入済み • レビューコメントのチューニングが課題 • コード規約を網羅的にまとめるのが大変（リソース問題） • ドメイン知識がないと人間のようなレビューができないのでは 「過去のレビューコメントを学習させれば最強のレビュー AI を作れるのでは！？」
8. ©2017-2025 kikagaku, Inc. All Rights Reserved. 8 過去のナレッジは全部捨てるまでの試行錯誤 (1/3) ▪ ただ、結果は全くレビュー精度は向上しなかった • 学習データとして利用したレビューコメントのフィルタリングの甘さ • LGTM コメントやお礼のコメントなどは除外していた • が、ただの質問コメントやメモ書きのようなコメントは残っていた • 要約などもしておらず整理されていない情報で学習させてしまっていた • そもそもファインチューニングなどの高度な手法は保守的にベストではない レビューコメントは重要な資産だが、活用できるデータに整形するのは時間的コストが高い
9. ©2017-2025 kikagaku, Inc. All Rights Reserved. 9 過去のナレッジは全部捨てるまでの試行錯誤 (2/3) ▪ デザインシステムに則ったデザインコーディングプロンプト（2025/01） • （まだ MCP のなかった時代） • デザインのコーディングは AI でもっと効率化できるのでは • 既存のデザインシステムのコンポーネントを自動で使ってほしい 「画像からデザインシステムに則ったコーディングができるプロンプトを作ろう」
10. ©2017-2025 kikagaku, Inc. All Rights Reserved. 10 過去のナレッジは全部捨てるまでの試行錯誤 (2/3) ▪ 結果としてはある程度、精度が出るプロンプトができた • ただ作る過程でいくつか課題があった • デザインシステムのルールを詰めれば詰めるほど逆に精度が落ちていく… • そればかりか詰め込んだ知識がコードに反映されないことも… • （ 当時は Claude 3.5 sonnet ） • 知識をどこまで詰め込むべきかちょうどいいレベルを見つけるのがむずかしい どこまで精度を突き詰めるか、検証から実用化までもっていくまでの時間的コストが高い
11. ©2017-2025 kikagaku, Inc. All Rights Reserved. 11 過去のナレッジは全部捨てるまでの試行錯誤 (3/3) ▪ Cursor Rules の整備（2025/2 ） • （ .cursor/rules/*.mdc がリリースされたあたり） • 当時は AI によるコード品質は今ほど高くなかった • そのため「品質 = Cursor Rules」と言っても過言ではなかった • ただ、デザインシステムの経験上コード規約を全部入れるようなことはしたくなかった • 以下のような手順で Rules を整備を始める • ① Cursor Agent でコーディング • ② 期待するアウトプットとの差分を全部 Cursor Rules に都度書く • ③ Rules に基づきコードの再生成…
12. ©2017-2025 kikagaku, Inc. All Rights Reserved. 12 過去のナレッジは全部捨てるまでの試行錯誤 (3/3) ▪ 結果としてはある程度期待するアウトプットをだせるようになった • Rules の整備 Rules の効果検証（再生成）の手法は整備にとても時間がかかる • 整備したとしても常日頃、その整備した Rules が使われるわけではない • 新規の機能開発なのか既存コードの修正なのか • SQL を書くのか、TypeScript を書くのか…など • 整備に時間をかけるならコード補完に頼って手でコード書いたほうが早いのではという疑念 • ただ、未来のためには Rules を整備しなくては…という葛藤 Rules の整備はやるに越したことないそこに時間を BET する判断ができなかった ※ チーム全体で動いていた大きなプロジェクトが佳境でリソースを割きにくいというのもあった
13. ©2017-2025 kikagaku, Inc. All Rights Reserved. 13 整備する対象は『知識』から『ワークフロー』へ ▪ ワークフローは全員が繰り返し使えて整備に対するリターンが大きい ① 知識 ・整備が大変 ・コーディング規約 ・デザイン原則 ・ドメイン知識 ② ワークフロー ・整備が簡単かつ効果を実感しやすい ・PR 作成手順 ・リリースノートの作成手順 ・Issue 駆動開発の手順 ・カスタムコマンド
14. ©2017-2025 kikagaku, Inc. All Rights Reserved. 14 知識の整備も徐々に徐々に… ▪ Claude 3.7 sonnet, Cursor の進化で整備のハードルが下がった • 既存のリポジトリ構成、コードをリーディングする性能の向上 • これまで：勝手に TailwindCSS でコーディングしだす… • 性能の向上：package.json に書いてある CSS ライブラリで書いてくれる • Rules の整備ハードルが下がったことで組織内の Rules 整備方針を決めた • ① まずは静的解析 （ESLint など） などの仕組みで対応 • ② 必要な Rules のみを .mdc で管理 • 何でもかんでも Rules に書く必要はなし
15. ©2017-2025 kikagaku, Inc. All Rights Reserved. 15 未来へ向けての現在の取り組み ▪ AI が働きやすい開発環境づくりへ • 従来：組織のナレッジを活用してアウトプットの質を向上させる • 将来：AI が質のいいアウトプットを出せるための AI ファーストな環境づくり • ① Feature-Sliced Design • AI がすばやく関連知識を取得できるディレクトリ構成 • ② 関数型ドメインモデリング • 複雑なドメインロジックでも AI がフロー的に理解しやすいモデリング手法 • ロジックの適切な分割による AI の編集範囲の制限/制御
16. ©2017-2025 kikagaku, Inc. All Rights Reserved. 16 まとめ ▪ 組織ナレッジは重要な資産…、だがしかし活用まで持っていくのはハードルがある • 過去のナレッジを AI に理解させるように整理するのは大変 • 情報の整理やフィルタリング、集約 • 「知識」だけではなく「ワークフロー」も重要な組織のナレッジとして活用 • 整備をすればすぐに効果を実感できて効果が高い • 主語を「人間」から「AI」に徐々に切り替えていく環境整備 • AI が知りたい情報にすぐにアクセスできる状態 • AI がパフォーマンスを発揮しやすい環境づくり
17. ©2017-2025 kikagaku, Inc. All Rights Reserved. 17 採用情報 • 株式会社キカガクでは一緒に AI 駆動開発を盛り上げてくれる仲間を募集中です！ • Cursor, Devin はもちろん、Claude Code も効果検証中。 • 興味のある方はぜひカジュアル面談でお話しましょうー！