DMM.com_技育祭2024秋講演資料

2024/9/22に行われたサポーターズ主催の技育祭にてDMMの渡部が参加。その際の講演資料となります

Transcript

1. © DMM © DMM AI基盤をローンチし 事例紹介いただいた話 ~ カスタマーサポート領域での LLM活用 ~ 合同会社DMM.com PF開発本部 第一開発部 CSプラットフォーム AIチーム　　渡部 大基 2024年09月22日 at 技育祭 社内初のプロジェクトを 1年目でリード！
2. © DMM README.md • 本資料の公開について • DMM新卒採用 Speaker Deck にて公開予定！ • 感想等書いてくれたらとても励みになります！ • 気になる所は zoomチャットでコメントください！ • ＃技育祭　＃ホールＢ 　にてツイートしてください！ • 最後に時間が余れば 質問タイムを設ける予定です。 • 内容は変更になる場合がございます。 　※あくまでも、渡部個人の主観が多く入っている発表になります 　※緊張してます。他の会社さんが名だたる登壇者で戦々恐々ですが、温かく見守ってください 2
3. © DMM 登壇者 - 渡部 大基 Watanabe Taiki - 大学院修了後 DMM.com に入社　 23新卒 - プラットフォーム開発本部 - 第一開発部 CSプラットフォーム AIチーム （以降：CSP）　　　　　 2023/08 ~ - 領域 - BEエンジニア　　　　　　 2023/08 ~ - AI＋インフラエンジニア　　 2023/10 ~ - 大学時代の領域 - 画像認識 - モーションキャプチャー - DMM認定AI利活用エバンジェリスト 3 社内初!!
4. © DMM なぜDMMに？
6. © DMM なぜDMMに？ • 色々な事業への 挑戦 • 要件や技術選定など各チームや組織の裁量に任せられている • 新卒でも裁量がある環境 • 面接官や新卒担当人事の方が良い方だった • 「この方たちとだったら安心して仕事ができそう！」という直感 • 充実の新卒技術研修 • この後紹介！ 6
7. © DMM DMMの新卒技術研修 目的 DMMの多種多様な技術領域において各個人が専門性を発揮し、 技術で事業や組織に貢献する • 期間　 約3か月半 • 研修数　28 • 技術研修に携わる社内エンジニア数　約60名 　　　　　　　　　　　　　　　　　　　　　　　 7 ※参考：DMM inside
8. © DMM 8 研修・配属スケジュール 4
 5
 6
 7
 8
 【輪読学習】 ・配属部門説明会 ・配属部門との相互コミュニケーション、配属希望アンケート提出 【輪読学習】 チーム開発 【インフラ /SRE】 ・コンテナ入門 ・データセンター見学 ・仮想化基礎/ ネットワーク基礎 ・Webアーキテクチャ （NginX、Apache) 【開発個人演習 /応用】 ・サーバーサイド ・フロントエンド ・Android ・ios ・SOLID原則 ・AWSトレーニング ・GCPトレーニング 【応用・運用技術】 ・スクラム開発 ・テスト技術 ・ECS/Fargate/terraform/CI/CD ・認証認可 ・セキュリティ ・KPI分析手法、機械学習 ・オブザーバブビリティ入門 ・ブロックチェーン入門 ・Figma/デザインUI　 【チーム演習】 ・チームビルディング ・振り返りレクチャー 【チーム演習】 ・サービス発案 ・ソリューション企画 配属先確定 配 属 【開発基礎】 ・ソース管理 ・Web開発基礎
9. © DMM 渡部の選んだ部署
10. © DMM 配属先を選ぶ軸 10 利用者の意見が ダイレクト に 入ってくる 安全第一であり 新しいことを 求められる 環境 環境 チャレンジ
11. © DMM どんなチームにJoin？ • プラットフォーム開発本部 • CSプラットフォーム（CSP） • お客様向け：自己解決のサポート • CS向け 　 ：問い合わせ基盤の提供 ※CS：カスタマーサポート • CSと連携しDMMユーザーの顧客満足度の向上を目指す CSPは問い合わせ基盤をつくるエンジニア組織 　　　　　こちらのページなどのシステム所管　→ 11
12. © DMM CSPの特徴 12 モノレポ基盤 パブリッククラウド AIの活用 内製化しているからの強み 早いPDCAサイクル ユーザーファースト 最新の技術 Go dev-SVG TypeScript: Branding CSPは
13. © DMM CSPにて所管するシステムを紹介 • お客様管理システム • コールセンターシステム • ヘルプセンターシステム • VOC 分析基盤 • AI基盤　　　　　　　　　　← New • etc… 13 より良いカスタマーサポートを行うために必要な CSプラットフォームを開発しています どんなサービスをもっている？
14. © DMM 14 カスタマーサポートフローの例 カスタマー サポート お客様 事業部 担当部署 電話・メール レポート 解 決し た いこ と サ ポ ｜ト ・連 携 改 善・ 対 応 カスタマーサポート部 が対応
15. © DMM 15 カスタマーサポートフローの例 お客様 事業部 担当部署 CSPにて所管するシステム群 カスタマー サポート
16. © DMM CSP所管システム構成図 16 VOC… Voice Of Customer CRM…Customer Relationship Management
17. © DMM そんな部署にいる 23新卒渡部が DMMで取り組んだこと・成果をお話します
18. © DMM 今日話すこと 18 １ 先が見えない技術 どんな行動を心がけた？ 〜DMMでの挑戦エッセンス〜 ２ 事例紹介までの道のり 3 こんなことができました
19. © DMM 今日話さないこと 19 • DMMという会社の細かいこと • 詳細ロジックなどの深掘り技術内容
20. © DMM こんなことができました １
21. © DMM こんなことができました • 配属後1ヶ月でプロジェクトに参加 • 社内のAI活用に貢献 • 新卒技術研修講師 • 社外講演の実施～DMMでのAI導入～ 21
22. © DMM 配属後1ヶ月でプロジェクトに参加 22 チームとして Azure環境構築 短期間での 成果を実現！ 人の作業を LLMにて サポート 日本マイクロソ フト社との連携 初環境 1ヶ月の期限 業務効率化 事例紹介
23. © DMM 大々的に取り上げて頂きました 23
24. © DMM こんなことができました • 配属後1ヶ月でプロジェクトに参加 • 社内のAI活用に貢献 • 新卒技術研修講師 • 社外講演の実施～DMMでのAI導入～ 24
25. © DMM こんなことができました　〜その他〜 社内のAI活用にて貢献 25 新卒技術 研修講師 AI導入相談 育成 導入支援 社外との繋がり DMMでの AI導入を 講演
26. © DMM こんなことができました • 配属後1ヶ月でプロジェクトに参加 • 社内のAI活用に貢献 • 新卒技術研修講師 • 社外講演の実施～DMMでのAI導入～ 26 こちらのお話をします
27. © DMM 事例紹介までの道のり 2
28. © DMM 事例紹介までの道のり　〜はじまり〜 28 • 興味のあったAIについて学べる福利厚生の実弾演習環境にて AzureOpenAI で遊んでいた • 弊社はシゴラクAIの企業用LLM基盤を使っている • 部長より ”いっぱい使っている人をヒアリングしているので協力してほしい” • その後、社内でLLMを使う人たちとの繋がりが広がった • マネージャーがそういった旨を把握
29. © DMM ある日の1 on 1 にて.... 29 マネージャー AIのプロジェクトがあるんだけど興味ある？ やってみたいです！ （即答） Watanabe
30. © DMM こんな感じで .... AIプロジェクトが始動！ リードを任せてもらいました！
31. © DMM プロジェクトの要件定義 業務効率化 • 電話の文字起こし • 要約化（電話・メール） 解決すること • 最適なサービス選定 • 既存環境を停止させることなくAI導入の動線を作り載せる • プロンプトの作成 期限 • プロジェクト開始から”1ヶ月”で載せる 31
32. © DMM AI導入前の課題の洗い出し 32 32 オペレーター 事業部 担当部署 分析チーム コールリーズン 後作業の自動化 要約作業 コールリーズン 分析利用 要約利用により 確認作業の効率化 VOC分析 改善 対応
33. © DMM 実運用に乖離のない組織連携 33 “運用してみたらなんか違う ....” が起きないために要件定義時に • 実際にどんなものを期待するのか徹底的にすり合わせ • 使用感やプロンプトの肌感 • 導入課題を洗い出し、見積もり効果が予測できるか • 開発後がスタート • 細かい要望に対してカスタマイズができる • 最新機能を積極的に取り込む • “お客様の満足度: CX ” の向上が間接的に見込めるか効果検証
34. © DMM 使用するサービスの選定 電話文字起こし • 10以上の種類実データを評価してAzure Sppech To Text が 最も精度がよく採用 要約機能 • 学習に利用されないサービスを探し、AzureOpenAIを採用 → Azure基盤を活用することが決定（以後：AI基盤） （プロジェクト開始までチームでの運用実績なし：サポートを頂く） 34
35. © DMM サービスの選定の結果・・・ （皆さんも気になるポイントのはず）
36. © DMM 音声文字起こしの評価 36 ツール名
 ソリューションA 
 ソリューションB 
 【採用】
 Speech to Text 
 提供会社
 A社
 B社
 Microsoft 
 精度
 正解文章との 
 一致率※
 サンプル1 
 80%
 72%
 86%
 サンプル2 
 70%
 78%
 86%
 サンプル3 
 69%
 69%
 83%
 10以上の種類実データを評価して、全てAzure Speech to Text が上回った
37. © DMM LLMでの良い結果を出すために 37 • 要約処理においてはファインチューニング等をしていない • プロンプトチューニングのみで所定の性能を出すように調整 • プロンプトはエンジニア＋利用者と協働にて作成 • プロンプト変更に対応したシステム構成 • 使用モデルごとにチューニング方法が違うので使用感の確認
38. © DMM 事例紹介までの道のり 2 AI導入の効果
39. © DMM CSP所管システム構成図：Before 39 VOC… Voice Of Customer CRM…Customer Relationship Management
40. © DMM CSP所管システム構成図： After 40 VOC… Voice Of Customer CRM…Customer Relationship Management
41. © DMM AIを導入した結果・・・
42. © DMM AI導入の効果　～時間の削減～ 42 1件あたり45秒／月93時間の短縮効果 （月間の電話対応件数7,500件×45秒） 電話（オペレーター） メール（分析チーム） 導入初月 • 全業務にかかる分析時間の割合 約6%を別業務に利用可能 • 約67時間の削減 小さな一歩だが、大きな一歩
43. © DMM AI導入による現場からの声　〜電話〜 43 コールリーズンを記録する作業が無くなった！ すぐ次の対応ができる！効率的になった！ SVが対応確認をする時に文字起こしが利用できるようになった！ 分析可能な内容を担保することができるようになった！ コールリーズン：作業後の電話内容をまとめる作業 SV　　　　　 ：管理者
44. © DMM AI導入による現場からの声　〜メール・VOC〜 44 確認する量が減ったため作業時間が短縮。 心理的にも楽になった！ 特定のお問い合わせの確認スピードアップ！ カスタマーサポート部から 多くの感謝のお言葉を頂きました！
45. © DMM 社内での実績が認められ
46. © DMM 🎉 社内初 🎉 DMM認定AI利活用エバンジェリスト に就任！
47. © DMM 日本マイクロソフト社に掲載依頼を頂く！ 今までのプロジェクトをサポートいただいた日本マイクロソフト社より事例紹介 の掲載をいただいた。 (URLは最後に記載) （ここってスクリーショット記載要確認） 47
48. © DMM 事例紹介までの道のり 2 AI導入の効果 任せて放置？ 新卒バイアス？
49. © DMM ここまでの渡部は 新卒1年目でプロジェクトをリードしている中・・・ 成果も出てるけど
50. © DMM 皆さん思い出してください ある日の1 on 1 にて.... 50 マネージャー AIのプロジェクトがあるんだけど興味ある？ やってみたいです！ （即答） Watanabe （いい意味で）非常に軽いノリで 始まってるけど 押しつけじゃないの！？！？ 新卒で大きなプロジェクトにアサインされてるけど 放置されてるのでは！？
51. © DMM 任せて放置？ そんなことはないです！ 51
52. © DMM 任せて放置？ 定期的（TL：毎日、MG：週一）必ず状況確認を行っていた。 • 問題があるとSlackにて第一報を発信し翌日議論 • 開発の状況を常に把握しているため意思決定はその時にすぐ解決 現地現物の速さで驚いた。 52
53. © DMM 新卒バイアスってあった？ 結論　ない！ 53
54. © DMM 新卒バイアスってあった？ 新卒だから ということは決してなかった キャッチアップを行い、自ら提案を行った • 数値的な情報が信用できるか（適用してその数値が出るのか） • システム的に適用が適切か はマネージャやテックリードと議論を行う 54 コストの最適化 　・使用するプラン変更 　・LLMの種類変更による 　　コスト変化の計算
55. © DMM 任せて放置？新卒バイアス？ 若手の裁量 × 心理的安全性 これが環境としてあるかはほんとに大事 55
56. © DMM 事例紹介までの道のり 2 AI導入の効果 任せて放置？ 新卒バイアス？ ここまでで 感じたこと
57. © DMM AI・人との繋がり • 今までの人のスキルに依存していた所を機械がサポート • 電話内容を要約する作業（完全自動化） • 電話しながら記憶するという作業が必要なくなる • お問い合わせレポート作成時に全問い合わせの全てチェックの削減 ※　要約作業により時間短縮 • 1時間以上の電話でも文字起こしから要約可能であり、VOC分析に可能な 要約出力が可能 • 人的バイアスがなく第三者目線で要約により客観性向上 • 固定化されているお問い合わせには視認性が上がりVOC分析効率化 57
58. © DMM しかしながら • あくまでAIは支援が中心： 職を奪うのではなく、人のより創造的な仕事への道 • 時間の活用：議論時間・問題点の発見調査時間・考える時間 • “銀の弾丸”はAI領域においてもまだない • 開発者と利用者のコミュニケーションはより密になった • 新しいAIモデルのディスカッション • 今までの業務フローの再考ができる貴重な機会 58
59. © DMM 振り返ると困難の連続 • 1ヶ月でセキュリティに配慮した基盤の作成 • LLMにて所定の性能発揮ができるようにチューニング • 文字数に応じて自動的にモデル切り替え • 早く・安く • 大量のデータがきても確実に処理する • 絶対に現在動いている基盤に迷惑をかけない！！ • 24/365に対応 59
60. © DMM 困難の連続を乗り越えるために・・・
61. © DMM 先が見えない技術 どんな行動を心がけた？ 〜DMMでの挑戦エッセンス〜 3
62. © DMM エッセンス 62 学ぶこと、進むことを止めない 積極的に[挑戦・失敗・成功 ]を体験する 伝える・広める
63. © DMM DMMクリエイター組織が大切にしている4つの価値観 63
64. © DMM エッセンス 64 学ぶこと、進むことを止めない 積極的に[挑戦・失敗・成功]を体験する 伝える・広める Scientific Attractive Agility Motivative Ever-changing
65. © DMM エッセンス 65 学ぶこと、進むことを止めない 積極的に[挑戦・失敗・成功]を体験する 伝える・広める Scientific Attractive Agility Motivative Ever-changing
66. © DMM 学ぶこと、進むことを止めない 10年後のAI技術予想できますか？ • 猫型のロボットが当たり前になる時代？ • 人型のサポートするロボットが当たり前になる時代？ →　わからない！ けど、今ワクワクする技術は知っておいて損はない （C言語のmalloc関数の勉強は今でも役になっている） 66
67. © DMM エッセンス 67 学ぶこと、進むことを止めない 積極的に[挑戦・失敗・成功]を体験する 伝える・広める Scientific Attractive Agility Motivative Ever-changing ✅
68. © DMM 積極的に[挑戦・失敗・成功]を体験する だんだん失敗に対して怖さが芽生えてくる 普段から小さな挑戦を行い、成功・失敗 し学ぶ そして、ここぞの時に勝ち取る 68
69. © DMM 積極的に[挑戦・失敗・成功]を体験する ・よりよりパフォーマンスを求めクラウド費用課金増やしたり ・１つでの早く処理を行うために 　APIコールを無限にしてローカルの環境が重くなったり ・AI検証のアカウント作っていないのにログインできないと言ったり 69
70. © DMM エッセンス 70 学ぶこと、進むことを止めない 積極的に[挑戦・失敗・成功]を体験する 伝える・広める Scientific Attractive Agility Motivative Ever-changing ✅ ✅
71. © DMM 伝える・広める 伝え、広めることで認知してもらえる！ ”あっあの人詳しいはず！”と連絡がくる 71
72. © DMM 伝える・広める もちろん、伝え方は技術・効果など指標など無限の方法がある • 数値的な改善、進展があるのか • 情熱や魅力を感じることができるか 最後に人を動かすのは客観的指標と魅力である 72
73. © DMM 今後の展望
74. © DMM 次のAI活用 • 自動分類（ローンチ直近） • 新しいAIモデルがどんどん出てくる • AIリテラシーの普及活動 74
75. © DMM 次のAI活用 • 自動分類（ローンチ直近） • 電話・メール双方にて、どんな要件か自動的に判断できる • 絶対的な基準 • プロンプトチューニング • 全ての分類フローを見直し、AIに合わせた最適化を実施 • コードリライトを実施　（C#からPython） 75
76. © DMM 次のAI活用 • 新しいAIモデルがどんどん出てくる • プロンプトの調整 • 新機能対応 • AIリテラシーの普及活動 76
77. © DMM 今後DMMでどんな風になりたいか？ 次世代のシステムや開発手法について 調査・普及・改善 を行う立ち位置になっていきたい AI領域という強みを生かしながら、弱みの部分を勉強する ＝ DMMは技術の強い人 から勉強ができる環境 自分も技術の強い人 になって社内外問わず影響を与える人になりたい。 77
78. © DMM 最後に皆さんに伝えたいこと
79. © DMM 今みなさんは何かに挑戦をしていますか？
80. © DMM 皆さんに伝えたいこと 80 何事も初めは難しい 言うは易し、行うは難し
81. © DMM 何事も初めは難しい • とりあえず何かやってみましょう！ • 最近は何か挑戦してみました？ • GPT-4o-miniの挙動確認をずっとしています。 • LLM領域では英語のDocsがまだまだ多い • 発信を積極的しましょう！ • ”こんなことやっていたんだ！？”と気付いてもらうチャンス 81
82. © DMM 外部参考資料 - 日本マイクロソフト事例紹介ページ：DMM.com - https://customers.microsoft.com/ja-jp/story/1770458643631074757-dmm- azure-professional-services-ja-japan - ITmedia：DMM.comの生成AI活用事例　 23卒新入社員がAI推進を主導　問い合わせ業務を月163時間削減した裏側 - https://www.itmedia.co.jp/aiplus/articles/2405/28/news055_2.html - Tech+： 23年新卒エンジニアが主導し、カスタマーサポート業務を大幅効率化! DMM.comに おけるAI活用の今に迫る - https://news.mynavi.jp/techplus/article/20240328-2915445/ 82
83. © DMM