CRE Camp #2 LT資料

ログラスさんのCREイベントでLTさせていただいたときの資料です。
LT時よりも情報が少なくなっておりますのでご了承ください。

Transcript

1. プロダクトについて、 社内メンバーの困り事を減らすため に取り組んでいることの紹介 1 2025.08.27 LT資料
2. 2 当資料は、イベント時に投影したものとは異なります。 公開資料として可能な範囲の情報にとどめておりますので、 ご了承ください。
3. 3 むずい (社内の人間にとっても) むずい
4. 4 3行まとめ ・AIを用いた問い合わせ対応botがいる ・いい感じに普及してるけど使いこなせない人もチラホラ ・プロダクトの管理画面においてみた
5. 5 アジェンダ 1.問い合わせbotのご紹介 2.現状 3.突破のためのハードル 4.打開策 5.今後
6. 6 突然の投げかけ 問い合わせ対応、好きですか？
7. 7 突然の投げかけ2 問い合わせの工数、減らしたいですか？
8. 8 現状 よかったこと • ビジネスメンバーの自己解決力が上がった ◦ 解決できないにしても事前に調べてきてくれることが増えた • AIを業務に自然と溶け込ませることができた ◦ 1週間で100UU/100スレッド/130callくらい(社員400人くらい) • インターナルなナレッジをためる先ができた • ドキュメント書くモチベが上がった • (少し別の話)FBをすることで「良くなる」という経験を積ませることができた 課題 • ハルシネーション...
9. 9 ハルシネーションの原因 (いつか)なんとかなるやつ • ドキュメントが間違ってるやつ(ハルシネーションじゃない) • modelが勝手に勘違いしてるやつ(4oからGPT-5にしたら解消したものもある) • プロダクトがおかしいやつ(ハルシネーションじゃない) なんともならないやつ • 質問の仕方がよくないやつ ◦ 一行だけ、目的や意図を伝えない、指示語、複数の質問、 etc… • 画面の話をしてるやつ • 検証して確認をしない(ハルシネーションの後の話) • AIの返答をちゃんと読まない(ハルシネーションじゃない)
10. 10 ひらめいた-画像読めるようにしよう
11. 11 このへんは救えるはず • 質問の仕方がよくないやつ ◦ コンテキストを増やして AIにリクエストすることで多少聞き方が悪くても画像が補足してくれるはず • 画面の話をしてるやつ ◦ これはストレートに解決できる見込み • 検証して確認をしない(ハルシネーションの後の話) ◦ 検証自体にハードルがあるので、まずはそれを下げる狙い ▪ AIが画面状態を正確に理解して設定項目を正しく教えてくれればいける狙い
12. 12 万人がひれ伏す ……圧倒的天才っ……！
13. 13 だめだ... 意図せず最高機密が載ってる画像を ぶっこむリスク...
14. 14 ひらめいた-プロダクト(社内検証環境のみ)に同じAIを置いて、今開いてる管理画面の状態を読めるようにしよう
15. 15 ねらい(裏の意図) • AIを使ってもらいたいし、それによって発生するデメリットは出来る限り潰してあげたい ◦ これからを考えた時に「慣れる」というのはめちゃめちゃ大事 ◦ ハルシネーションも「慣れてほしい」が、クライアントコミュニケーションにリスクが生じるのが怖いので 期待しすぎない • 「使ってもらう」ことによって発展を目指す ◦ プロダクトに組み込もうという動き ◦ より便利なアイディアを生むためのきっかけづくり • 積極的に使ってくれる人を仲間に引き込む ◦ 普及活動の協力者の見立てをつくる
16. 16 まとめ • 社内の問い合わせ負荷を下げるためにAI Botを開発したが、 様々な理由によりハルシネーションが起きた。これをなんとか すべく、利用者の負荷を下げる形でKARTEの管理画面にAI を置いた • まだ効果はわかってないが、多分きっと効果があるだろうと信 じて実装中 • 利用負荷が大きいと流行らないので、どうしたら流行る(業務 に落とせる)のかを考えて提供している