240928-JBUG徳島_1_ILUのBacklogは大丈夫_.pdf

Transcript

1. ILUのBacklogは 大丈夫？ 株式会社 ⾔語理解研究所（ILU） 樫地 真確
2. 2 © Institute of Language Understanding Inc. 自己紹介 ▪出身 徳島市
 ▪家族 妻、長男（10歳）、次男（6歳）、三男（1歳）の5人家族 
 ▪趣味
 子供とサッカー観戦 ▪経歴
 学生時代に所属していた青江研究室（徳島大学）で現名誉会長の青 江に誘われ、言語理解研究所の創業メンバーとして参画。 
 2020年12月より代表取締役社長に就任。 
 樫地 真確
 株式会社 言語理解研究所　代表取締役社長 
 か　し　じ　　 し　ん　か　く 

3. 3 © Institute of Language Understanding Inc. - ⾃然⾔語処理（NLP）専⾨のシステム開発会社 - 徳島⼤学の研究室が前⾝で40年の歴史 - 国内最⼤規模の⾔語資産（辞書）を保有 - 豊富な知⾒とノウハウを持つプロフェッショナル集団 - ⼤⼿企業とのAIシステム共同開発の実績多数 株式会社 ⾔語理解研究所（ILU） https://www.ilu.co.jp/ https://note.com/ilujapan/
4. 4 © Institute of Language Understanding Inc. 2023年6⽉にSansanグループイン コーポレートブランドとサービスを刷新し、第⼆創業期へ
5. 5 © Institute of Language Understanding Inc. 本日のお話 - ILUにおけるBacklogの活用歴は7年半 - これまでのILUのBacklog活用方法を振り返り - 導入前の課題 - 導入による効果 - 導入後の課題 - AI要約機能について - まとめ
6. Backlog導入前の課題
7. 7 © Institute of Language Understanding Inc. - プロジェクト管理はExcelベース - 各PM独自の運用 > フォーマットもバラバラ - 全体進捗の把握が困難 - 情報散逸のリスク - プロダクトのバグ管理システムは自社開発 - 開発者の退職によるメンテ負荷増大 Backlog導入前の課題 課題① 情報共有の⾮効率性 課題② 運⽤コスト バラバラ
8. Backlogの導入
9. 9 © Institute of Language Understanding Inc. 初期導入（ 2016年） きっかけは、顧客との情報共有の効率化 成果① 情報共有の⼀元化 成果② 運⽤コストダウン - プロジェクト管理 - 社内向け、社外向けに情報共有 - バグ管理システム - 自社開発システムから移行 > Backlog APIを使い、過去の情報を一括移行 - メンテナンスフリーに
10. 10 © Institute of Language Understanding Inc. さらなる業務効率化のために、2021年から活用範囲を拡大 Backlog活用範囲の拡大 ※属性のカスタマイズはプレミアムプラン以上の契約が必要 - PM会議報告資料の一元化 - 各PMが独自書式でWordの報告書を作成していた のをBacklogで一元化 - 営業活動報告 - メールやWordでの報告が主流だったのを一元化 - カスタム属性で想定売上や受注確度などを設定 > 売上目標、達成状況の把握 - 事務手続（契約書、見積書稟議） - ワークフローシステムを検討したが、設定、管理の面 倒さと予算の都合もあり、Backlogで運用
11. 11 © Institute of Language Understanding Inc. ILUのBacklog投稿数の推移 Backlog活用範囲の拡大 2021年より拡大 成果 情報共有の活性化 ⼀元管理による効率化
12. Backlog導入後、使っている ものの・・・
13. 13 © Institute of Language Understanding Inc. ILUのBacklog運用における課題 ① そもそも⾒てくれない ③ 情報が多すぎる ⑤ 欲しい情報にたどり着けない ② 担当課題を忘れる ④ 情報の不⾜
14. 14 © Institute of Language Understanding Inc. ILUのBacklog運用における課題 ① そもそも⾒てくれない ③ 情報が多すぎる ⑤ 欲しい情報にたどり着けない ② 担当課題を忘れる ④ 情報の不⾜
15. 15 © Institute of Language Understanding Inc. 【課題】 - メンションされたり、担当者に割り当てられていても見ない - Backlogが習慣化されていない（大問題！） - 右上のお知らせマークの数字がたまり続ける 【対策】 - お知らせマークの確認をひたすら徹底周知（最低でも1日2回確認！） ① そもそも見てくれない
16. 16 © Institute of Language Understanding Inc. ILUのBacklog運用における課題 ① そもそも⾒てくれない ③ 情報が多すぎる ⑤ 欲しい情報にたどり着けない ② 担当課題を忘れる ④ 情報の不⾜
17. 17 © Institute of Language Understanding Inc. ② 担当課題を忘れる 【課題】 - 担当者に割り当てられて確認はしたものの、日頃の多忙さがたたり、対応を忘 れる - 気がつけば期限直前、 期限が過ぎていた 【対策】 - 自分の課題の確認 - 適切な期限日の設定が重要 - 周りの人がやさしく教えて あげる 早くやれよ！ いつ頃対応可能 でしょうか？
18. 18 © Institute of Language Understanding Inc. ILUのBacklog運用における課題 ① そもそも⾒てくれない ③ 情報が多すぎる ⑤ 欲しい情報にたどり着けない ② 担当課題を忘れる ④ 情報の不⾜
19. 19 © Institute of Language Understanding Inc. ③ 情報が多すぎる 【課題】 - 複数の話題が乱立 - 長文、そもそも情報が整理できていない 【対策】 - タスク化し子課題へ - Backlogに投稿する前に情報の整理が必須 長過ぎて読め ない・・・ この課題は何を議 論してる？
20. 20 © Institute of Language Understanding Inc. ILUのBacklog運用における課題 ① そもそも⾒てくれない ③ 情報が多すぎる ⑤ 欲しい情報にたどり着けない ② 担当課題を忘れる ④ 情報の不⾜
21. 21 © Institute of Language Understanding Inc. ④ 情報の不足 【課題】 - URLや資料の貼り付けのみで説明不足 - 書きっぱなし、ネクストアクションが不明瞭 - 前の投稿から時間が経つと、現状がわからなくなる 【対策】 - URLや資料については、何が書かれているか わかる程度には説明が必要 - 定期的に情報を更新 - 不要な課題なら完了！ URLだけでまったくわ からない
22. 22 © Institute of Language Understanding Inc. ILUのBacklog運用における課題 ① そもそも⾒てくれない ③ 情報が多すぎる ⑤ 欲しい情報にたどり着けない ② 担当課題を忘れる ④ 情報の不⾜
23. 23 © Institute of Language Understanding Inc. ⑤ 欲しい情報にたどり着けない 【課題】 - 課題が多くなると必要な情報へのアクセスが難しい - あの人がどこかで言ってたような・・・ > 検索条件に投稿者を指定したい - そもそも検索すべきキーワードがわからない - なんとなくイメージがあるものの・・・ - 思いついたキーワードで検索するもうまくヒットしない - 揺らぎ、同義語などの辞書を活用するなど、ヒット率を上げたい 【対策】 - 他力本願ですが、Backlogの検索機能の改善に期待！ - 検索条件の追加 - RAGの導入や辞書を活用して検索性能の向上 > 適切な情報へのアクセス改善 打ち合せ？ 打ち合わせ？ ミーティング？ MTG？ 前に樫地さんが言っ てたような・・・ えーと、ひとまず 「LLM」で検索して みるか？ ちなみにILUはこの課題を 解決する技術を持ってます！
24. 24 © Institute of Language Understanding Inc. ILUのBacklog運用におけるポイント 01 習慣化 02 運⽤ルール 03 コミュニケーション
25. AI要約機能との出会い
26. 26 © Institute of Language Understanding Inc. BacklogのAI要約機能との出会い - 今回の資料を作成するにあたり、この存在に気づく - https://backlog.com/ja/blog/backlog-update-open-ai-integration/ - ものすごく可能性を感じる - 「③ 情報が多すぎる」「⑤ 欲しい情報にたどり着けない」の解決策につながる のでは？
27. 27 © Institute of Language Understanding Inc. - 実際の課題で確認してみました - RAGの精度向上に関する課題 さっそく使ってみました 少し物足りないものの、割 と内容が理解できる 汎用的すぎて
 使いづらい・・・
28. 28 © Institute of Language Understanding Inc. AI要約機能の評価 - 実際にどの程度使えるのか検証してみました - 評価対象は要約結果 - 「返信の提案」機能については今回は対象外 - 「課題の投稿数」×「課題内容の元々の理解度」で評価 - 課題の投稿数 > 投稿数が「9～12件」「30～37件」「66～112件」の課題でグループを定義 > 投稿数と要約性能の関係を把握 - 課題内容の元々の理解度 > 理解度が高い場合と低い場合で要約内容の是非を評価 - ILUのBacklogからそれぞれ10件ずつ無作為に抽出し簡単な検証を実施 - 「◦」いいね！ - 「△」うーん・・・ - 「×」ダメダメ
29. 29 © Institute of Language Understanding Inc. - 投稿数が少ないほど要約精度は高い - 課題が出来て間もないときの状況把握には適している - 一方で、投稿数が増えてくると信憑性が低くなる > 肝心な内容が欠落する - 課題の内容をもともと理解しているほど、要約内容が理解しやすい - 過去の課題を振り返るときに使える - 要約内容が欠落していても思い出すきっかけになる AI要約機能の評価 課題の投稿数 課題内容の 理解度 ◦ △ × 9～12件 高 8 2 0 低 8 2 0 30～37件 高 5 3 2 低 1 6 3 66～112件 高 3 4 3 低 1 3 5 まとめ 過去の振り返り ◦ 内容把握    △
30. 30 © Institute of Language Understanding Inc. AI要約機能の評価 - 記録として残すことが目的なので、要約結果のみを確認してしまうと問題 - とはいえ、β版であり今後に期待！ - 添付資料やURL先の情報も要約対象に指定できると嬉しい！ - プロンプトを指定できるとプロジェクトの内容に応じたチューニングができる - GPTのバージョンの指定や、OpenAI以外も使ってみたい - 他にも・・・ > 要約結果の保存 - 毎回要約すると費用が・・・ - 要約結果を検索の対象にしたい > ここからここまでの投稿の要約というのも欲しい - ヌーラボさん、お願いします！
31. まとめ
32. 32 © Institute of Language Understanding Inc. - BacklogはILUの情報共有の基盤 - 課題は多くあり、まだまだこれから - 運用改善と機能強化でより効果的に - AI要約機能のβが取れることに期待 - Backlogを使い込めているとは言えないので、皆さんいろいろと教えて下さい ご清聴ありがとうございました まとめ