Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI活用するためのドメイン知識を泥くさく整理する / Putting in the Work ...

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers.

AI活用するためのドメイン知識を泥くさく整理する / Putting in the Work to Organize Domain Knowledge for AI

登壇者名:佐藤 拓人
登壇したイベントタイトル:どろんこAI話 Ⅱ 〜綺麗じゃないAIの苦労話〜
登壇したイベントのURL:https://forkwell.connpass.com/event/388934/

More Decks by 株式会社ビットキー / Bitkey Inc.

Other Decks in Technology

Transcript

  1. 2 Copyright © 2025 Bitkey Inc. All right reserved. 自己紹介

    佐藤 拓人 Sato Takuto @takuuuuuuu777 2015.04 2019.05 2020.01 大学(建築学専攻)卒業後、 株式会社ワークスアプリケーションズに入社 会計システムのソフトウェア開発を担当 特に財務会計の仕訳関連 ビットキーへ参画 ECサイトの開発 / 保守、社内システムの開発 TaKuTyの開発 今のhomehub事業の前身となるResidenceチームに配 属。スマートロックを扱う管理画面やバックエンド、 スマホアプリの開発に従事 Now homehub事業のプロダクト責任者 複雑な事象を読み解いて構造化し、抽象化 / 汎用化で きるように設計し、低コストで多くの価値をだせる開 発をすることを好む
  2. 4 Copyright © 2025 Bitkey Inc. All right reserved. 自己紹介

    佐藤 拓人 Sato Takuto @takuuuuuuu777
  3. 8 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 AI活用うまくいっていますか?
  4. 9 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 AI活用うまくいっていますか? 残念ながら私は NO
  5. 10 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待と現実のギャップ ・AI-DLCや仕様駆動開発などを試してみてそれなりのことはできる ・ただしちゃんと人間が事前に道筋(仕様)を整理しておく必要があった ・求めているのはそういうことではない ・AIがいるからこそ、要件の不整合さやユースケースの漏れを事前に検知したり  よりよいテスト戦略を講じられるようになりたい → 一緒に仕様を作り上げたい!
  6. 11 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待  入居者が自身の部屋に交通系ICカードを 登録したら、マンションのエントランスも 同じカードで解錠できるようにしたい!  エントランスに設置されている連携デバ イス経由で、エントランスの解錠デバイス を解錠するための認証データを認証デバイ スに配信して!
  7. 12 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待  入居者が自身の部屋に交通系ICカードを 登録したら、マンションのエントランスも 同じカードで解錠できるようにしたい!  エントランスに設置されている連携デバ イス経由で、エントランスの解錠デバイス を解錠するための認証データを認証デバイ スに配信して! ・退去したらどうする? ・連携デバイスがない場合は? ・デバイスの設置状況は? ・ネットワークが不安定だったら? ・複数のエントランスがあったら? ・複数の部屋に入居していたら? ・家族や同居人の交通系ICカードも対象?
  8. 13 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待  入居者が自身の部屋に交通系ICカードを 登録したら、マンションのエントランスも 同じカードで解錠できるようにしたい!  エントランスに設置されている連携デバ イス経由で、エントランスの解錠デバイス を解錠するための認証データを認証デバイ スに配信して! ・退去したらどうする? ・連携デバイスがない場合は? ・デバイスの設置状況は? ・ネットワークが不安定だったら? ・複数のエントランスがあったら? ・複数の部屋に入居していたら? ・家族や同居人の交通系ICカードも対象? より良い仕様を 策定するために ナビゲートして欲しい
  9. 14 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待  入居者が自身の部屋に交通系ICカードを 登録したら、マンションのエントランスも 同じカードで解錠できるようにしたい!  エントランスに設置されている連携デバ イス経由で、エントランスの解錠デバイス を解錠するための認証データを認証デバイ スに配信して! ・退去したらどうする? ・連携デバイスがない場合は? ・デバイスの設置状況は? ・ネットワークが不安定だったら? ・複数のエントランスがあったら? ・複数の部屋に入居していたら? ・家族や同居人の交通系ICカードも対象? ぜんぜんできない ...
  10. 15 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待  入居者が自身の部屋に交通系ICカードを 登録したら、マンションのエントランスも 同じカードで解錠できるようにしたい!  エントランスに設置されている連携デバ イス経由で、エントランスの解錠デバイス を解錠するための認証データを認証デバイ スに配信して! ・退去したらどうする? ・連携デバイスがない場合は? ・デバイスの設置状況は? ・ネットワークが不安定だったら? ・複数のエントランスがあったら? ・複数の部屋に入居していたら? ・家族や同居人の交通系ICカードも対象? なんでだろう?
  11. 16 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 期待と現実のギャップ 背景となるドメイン知識が圧倒的に不足していたから ・残念ながら社内に整理されてドキュメントはなし。全くないわけではないが、整理されてお らず、古いまま更新されていないものも多くある。 ・ソースコードから推論もできるが、精度は高くなく的外れな解釈することも多くてつらい 以下のような状態からスタートとなってしまう... ・入居者って?賃貸マンションなの?分譲なの?それとも戸建? ・部屋に交通系ICカードを登録するってどういうこと? ・マンションのエントランスってどういう仕組みで解錠できるの? ・解錠デバイス、連携デバイス、認証デバイス、認証データってなに?
  12. 17 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    課題 視野を広げて自律的に動くために必要なもの = 「地図」                      = 「構造化されたドメイン知識」
  13. 21 Copyright © 2025 Bitkey Inc. All right reserved. 2.

    方針 取り組んだこと3選 1:知識の精査と構造化 2:雛形とポリシー作成 3:チーム組織への展開 (進行中) ・構造化して、低コストで管理運用するた  めの土台を整備 ・情報が散らかると、更新や妥当性の判断  がしづらく、参照時のトークンやコンテ  キスト観点で害悪となりえる ・「何を書き、何を書かないか」を型決め ・情報の純度を高めるために慎重に剪定す  る「あったら良い情報」でなく「ないと 困る」情 報に限定する ・価値発揮をするため個人活用に留めない ・継続的に更新しつづけるようにするため  に、チームや組織での活用と日々の開発  プロセスに組み込んでいく必要がある
  14. 22 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    知識の精査と構造化 ・構造化して、低コストで管理運用するための土台を整備 ・情報が散らかると、更新や妥当性の判断がしづらく、参照時のトークンやコンテキストで害悪となりえる ・AIと対話を重ねて構造を整理し、管理しやすさや参照時の迷いづらさを考慮 2. 方針
  15. 23 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    知識の精査と構造化 ・構造化して、低コストで管理運用するための土台を整備 ・情報が散らかると、更新や妥当性の判断がしづらく、参照時のトークンやコンテキストで害悪となりえる ・AIと対話を重ねて構造を整理し、管理しやすさや参照時の迷いづらさを考慮 2. 方針 事業やプロダクトの概要 Mission / Visionなど 事業として関心のある領域 ざっくりどんな領域があるかを 整理し、全体の地図として機 能できるように 日常的に扱っている言語 ラフな会話でも正しく解釈 & 出 力できるように
  16. 24 Copyright © 2025 Bitkey Inc. All right reserved. 1.

    知識の精査と構造化 ・構造化して、低コストで管理運用するための土台を整備 ・情報が散らかると、更新や妥当性の判断がしづらく、参照時のトークンやコンテキストで害悪となりえる ・AIと対話を重ねて構造を整理し、管理しやすさや参照時の迷いづらさを考慮 2. 方針 システム的な境界 責務がどのように分散されている かがわかり、適切な領域にアクセ ス可能に 提供しているアプリケーションやデ バイスごとの情報 システム全体の構成や 詳細な実現方法
  17. 25 Copyright © 2025 Bitkey Inc. All right reserved. 2.

    雛形とポリシーの作成 ・構造化したうえで、ドメイン知識を整える際には、当然LLMを活用する ・しかし...虚偽の情報は含めたくないし、純度の高い状態をできれば維持したい ・分類ごとに最初の2ファイルは全力で自身で記載して、その後2-3ファイルは  「AIに書かせる」→「添削する」→「スキル更新」…繰り返しを実施した ・特に添削時に「あったら良い情報」は除外して、「ないと困る情報」に限定するようにする 2. 方針
  18. 26 Copyright © 2025 Bitkey Inc. All right reserved. 2.

    雛形とポリシーの作成 ・ソースコードから推測が容易な情報は対象外とし、より普遍的な背景やユースケースなどの情報に集中 ・記載ポリシーを適宜更新してできるだけLLMだけで質の高い情報を整理できる状態に ・しかし人間側も全てを言語化できるわけではないので、雛形・サンプルをまずはきっちり作成する 2. 方針
  19. 27 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 2. 方針 ドメイン知識 ドメイン知識 開発プロセス 活用 更新 ・ドメイン知識は継続的に更新していく必要がある ・日々の開発で活用して、更新することで理論上は実現できる ・個人で実践するだけでなく、チームや組織単位で実践することで加速させることができる
  20. 28 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 2. 方針 ドメイン知識 ドメイン知識 開発プロセス 活用 更新 ・ドメイン知識は継続的に更新していく必要がある ・日々の開発で活用して、更新することで理論上は実現できる ・個人で実践するだけでなく、チームや組織単位で実践することで加速させることができる
  21. 29 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 2. 方針 ドメイン知識 ドメイン知識 開発プロセス 活用 更新 ・ドメイン知識は継続的に更新していく必要がある ・日々の開発で活用して、更新することで理論上は実現できる ・個人で実践するだけでなく、チームや組織単位で実践することで加速させることができる ・ただし...課題もある...
  22. 30 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 2. 方針 ドメイン知識 ドメイン知識 開発プロセス 活用 更新 ・ドメイン知識は継続的に更新していく必要がある ・日々の開発で活用して、更新することで理論上は実現できる ・個人で実践するだけでなく、チームや組織単位で実践することで加速させることができる ・ただし...課題もある... ・更新が面倒くさくて、実施されない ・AI活用するとしても、口頭のコミュニケーションがベー スだとつらい ・「これ」「あれ」のような指示語が多く抽出できる情報 が限定的
  23. 31 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 2. 方針 ドメイン知識 ドメイン知識 開発プロセス 活用 更新 ・ドメイン知識は継続的に更新していく必要がある ・日々の開発で活用して、更新することで理論上は実現できる ・個人で実践するだけでなく、チームや組織単位で実践することで加速させることができる ・ただし...課題もある... ・更新が面倒くさくて、実施されない ・AI活用するとしても、口頭のコミュニケーションがベー スだとつらい ・「これ」「あれ」のような指示語が多く抽出できる情報 が限定的 ・無意識に自身の暗黙知で補完してしまいがちで、管 理されている情報の不備や不足に気づきづらい、とい うか気づけない
  24. 32 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 (試行中) 2. 方針 ドメイン知識 ドメイン知識 開発プロセス 活用 更新 ・課題を解決するため開発の中心をAIにおくことが必要 ・AIは管理されているドメイン知識をベースとするため、不足や不備に気づきやすい ・開発者は不足や不備を指摘して、あとでAIに指摘事項をまとめさせて更新してもらう 指摘
  25. 33 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    チーム組織への展開 (試行中) 2. 方針 ・実現するためにも最初から最後のプロセスをAIを中心に据え置く必要がある ・実現するために開発プロセスやスキルの整備を実施 ・個人ワークよりも、ペアタスクの比重を高めて普及を促進 ドメイン知識
  26. 35 Copyright © 2025 Bitkey Inc. All right reserved. 3.

    結果・気づき ◼ 良かったこと ・バックログアイテムの作成など、プロダクトマネージャーも簡単にできるようになった ・問い合わせ対応の分析やPlaybookなども充実させやすくなった ・開発過程でのアウトプットの認知負荷を下げることができた ◼ 気づき ・わかっているつもりで、「わかっていない」「整理できていない」ことがたくさんある... ・AIが整理する情報は冗長になりがち、「それっぽいことに流されない」心構えが必要 ・個人ではなく、チームや組織への取り組みに昇華するのはやっぱり大変... ・AIで簡単にできるものも多いが、最初の仕組みづくりは全力で取り掛かる必要がある