データエンジニアのためのテクニカルサポートとLLM サポートエンジニアNight vol. 5

©primeNumber Inc. 2 松野尾　悠仁 WHO AM I? 株式会社primeNumber CSE ２０２１年から現職。 社交ダンスインストラクターから３０歳 でIT企業に転職し、データ分析や CSのOps（データを用いたオペレーショ ン改善）、昨年からテクニカルサポート チームのリーダーに従事。 趣味：コーヒーのドリップ 1
 2

会社概要 会社名 代表 創業 Office COMPANY 株式会社primeNumber 代表取締役CEO 田邊 雄樹 2015年11月 東京都品川区上大崎３丁目１番１号 JR東急目黒ビル5F

あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I S I O N

©primeNumber Inc. 
 主要事業 Solutions Managed data platform ETL/ELT Data Orchestration Data Catalog Only available in Japan End-to-end data management support for growing your business Integration Operation Workshop

©primeNumber Inc. 6 1. CS×LLM 2. テクニカルサポートの課題 3. LLMは組織論だ 今日お話すること

©primeNumber Inc. 7 troccoのCS（Customer Success Engineer）である彼は困っていた。 問い合わせ多くないか？ 今回のお話の背景 ログイン できない 彼 請求書の宛先 を変えて ジョブがエ ラーになっ た こういう機能 が欲しい うちとパート ナーになりま せんか？ 製品Aと比較した 優位性を教えて

©primeNumber Inc. 8 この問題はLLMで解決できるのだろうか？ CSが足りません

©primeNumber Inc. 9 ここからtrocco®の話も含めて CS×LLM 2023-04　LLMの検証をスタート

©primeNumber Inc. 10 troccoについて（CMができました👏) お申し込みURL: https://trocco.io/lp/index.html

©primeNumber Inc. 11 trocco事業ではカスタマーサクセス本部の下にインサイド／Sales／CSEがいる。 『THE MODEL』的な組織 出典：https://www.salesforce.com/jp/resources/articles/sales/the-model/

©primeNumber Inc. 12 トスアップ後の流れ。 特にオンボーディングに関してはハイタッチでサポートしている。 商談以降のtrocco事業のCS体制 商談・デモ トライアル 受注・オンボーディン グ アダプション Sales CSE 問い合わせのチャネルは？ 基本的にはSlack（pNワークスペース）にシングルチャネルゲストで招待。 その他にもChatworkやTeams、メールなどにも条件次第で対応。

©primeNumber Inc. 13 LLMの向いている領域 コスト 利益 ビジネスになら ない ビジネスになる AIをうまく使えない か？ LLMを使うことでAI関連のサービスが生まれてきている

©primeNumber Inc. 14 ● LLMを用いたチャットボットの実装 ○ ヘルプドキュメントや独自データを用いた応答（RAGの一種かな) ○ エラーの問い合わせの自動化 ■ ChatGPT(OpenAI API) ■ LangChain＋Google Custome Search ● 新機能の実装 ○ テキストからのSQLクエリ生成 ○ その他 CS内で検討したこと

©primeNumber Inc. 15 背景：troccoはAPIで接続するので顧客の環境に依存した問い合わせが多いのが特徴。 目的：できる限りエラーの自己解決率をあげれないか。 troccoは実行ログもエラーログもユーザー自身で確認できる。 - trocco®でデータ抽出時（API）のエラーの一例 (Error) failed during waiting a Copy job, get_job(project-id, embulk_copy_job_291d7747-565d-4770-93ee-11aec3ebae33), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table project-id:dataset-name.test-table. Field Phone has changed type from INTEGER to STRING"}] エラーの問い合わせの自動化について

©primeNumber Inc. 16 エラーの原因について７割程度正しい回答を得られる。 ただし、対応方法までの言及が少なく自力でエラーを解消できるかは「？」 検証結果 troccoのStep2はエラー起こりがち

©primeNumber Inc. 17 ● GOOD󰢐 ○ インターネット上で公開されているベストプラクティスやワークアラウンドに ついては模範的な回答をしてくれる。結構丁寧。 ● BAD🙅 ○ 専門的な知識やスキルについては平然と嘘が返ってくる。嘘を許容できるか。 ○ LLMは各社開発中のサービスであるため、何の目的で使うか、どのように使う かの意思決定が難しい。 ■ 実装にどれほどリソースを割り当てるか ■ アップデートも多い ■ やらないことによる機会損失 検証時のまとめ

©primeNumber Inc. 18 プロダクトにLLMを組み込むよりも、 みんながLLMを使えばいいのでは

©primeNumber Inc. 19 テクニカルサポート の課題

©primeNumber Inc. 20 馴染みのお客さんだけを相手しているわけでもない。 ユーザーさんからの問い合わせのほとんどはハイコンテクスト。。 問い合わせ対応はコンテクストを理解しないといけない ハイコンテクスト ローコンテクスト 新 規 常 連 いつもの メニュー ありますか

©primeNumber Inc. 21 LLMもコンテクストが大事。聞き方次第で答えが変わる。 なぜか？ LLMの作り方 ①一部を伏せ字にした文章の穴埋めをする（穴埋め問題） ②次につながる文を選択する（文の構成問題） →チャットボットに回答してもらえる聞き方を考えるのが障害になる。 →とりあえず担当営業やCSに聞く。（何も変わらない） LLMのざっくりした理解とまとめ

©primeNumber Inc. 22 問い合わせの種別 タッチ／ 問い合わせの種別 ハイタッチ （ヒト） テックタッチ （UI／ボット） マニュアルワーク △ コスト負担 ◎ ナレッジワーク ◯ 人材確保 ◯ コスト次第 対応手順 決まっている→マニュアルワーク 決まっていない→ナレッジワーク

©primeNumber Inc. 23 ● 問い合わせに対してマニュアルな対応が可能か ○ マニュアルがあれば、そもそも自己解決ができるか ■ 壁１：エラーの原因がわかるか ■ 壁２：解消できるか ○ コストに見合っているのか ■ マニュアル対応が可能な問い合わせの数は十分に多いか ○ インタラクティブな対応が求められるか ■ 一問一答なのか／条件分岐していくのか ● 例えば、403エラー(forbidden)の原因はいろいろあるだろう 議論したポイント

©primeNumber Inc. 24 ローコンテクストで LLM（ChatGPT)を使いこなす

©primeNumber Inc. 25 テクサポチームはある日突然に LLMは組織論だ 2023-11 テクサポチーム編成

©primeNumber Inc. 26 事業の成長につれて、アダプションフェーズのテクニカルな問い合わせを効率的に対応 する。LLMにできない以上、人を配置する。（まだ2人体制） シン・CS体制 商談・デモ トライアル 受注・オンボーディン グ アダプション Sales CSE テクサポ NEW！

©primeNumber Inc. 27 関係者が増えると、コミュニケーションの齟齬が発生しやすくなる。 CXが下がるし、CSとしての目的を果たせない。 たぶん従業員側のエンゲージメントも下がる。 ここでも問題発生 CSの指標 CS　＝　CO　＋　CX CO（サービスで得られる成果） CX（サービスを通じた体験）

©primeNumber Inc. 28 ● 比較的似た経験やキャリア ● 暗黙知（体験）の共有 ● 少人数のスタートアップ めざせローコンテクスト ● 多様なバックボーン ● 形式知／ガイドラインを提示 ● 海外展開（英語対応） ハイコンテクスト文化 ローコンテクスト文化

©primeNumber Inc. 29 ● 従来のナレッジマネジメントはコストに見合わない ○ ナレッジの形骸化 ○ 肥大化 ○ コンテンツを増やすこと自体が目的になる LLMでナレッジ化を進める VOC ↓ FAQ LLMを活用する ● データクレンジング ● troccoも使う ● 問い合わせの傾向分析 DWH

©primeNumber Inc. 30 ● LLMは手段（ツール）のひとつ ● 「自動化できるか？」「仕組みは作れると思います」 ● 「CSの目標が達成できるか？」「難しいです」 ● 優秀なCSは離すな ● LLMや生成AI自体は素晴らしいので常に選択肢の一つに持って おくべき 私の意見

©primeNumber Inc. 31 おしまいに

©primeNumber Inc. 32 We are hiring！ 一緒にtrocco®を盛り上げていきたい方！ 募集中：https://www.wantedly.com/projects/1471438

Coprime 私たちは、一人ひとりが異なる存在。 圧倒的な個の力を強く結合させながら、 まだどこにもない、新しい価値を創る。 価値を返す ユーザーに対して、チームに対して、 その仕事は価値を返せているか。 相手の想像を超えているか。 方法論にとらわれず、 価値を生み出すことが最低条件。 合理志向 つねに合理的で、創造的。 すばやく決めて、まずやってみる。 最新のテクノロジーとエンジニアスピリットを核に、 世界中のエンジニアを惹きつける 組織であり続ける。 課題を起点に 私たちは、製品の開発者であると同時に、 つねに一人のユーザーであり続ける。 自らユーザーとなって課題を探りながら、 開発者として信じる価値を世の中に提示する。 V A L U E 8 Elements 私たちが大事にしている マインドです。

対話を力に オープンに多様な視点を求め、 建設的な思考を積み上げていく。 議論は、酸素。そこに上下の壁はなく、 あるのはお互いへのリスペクトのみ。 プロダクトを信じる 自分たちが熱中できるものをつくる。 変化を恐れずに、改良と拡張を続けることで、 人々の想像を超えていく。 挑戦を楽しむ つねに楽しむ気持ちを忘れない。 働いているようで、そう感じない。 挑戦を楽しめる環境を、自ら作り出す。 良心に問いかける 原理。合理。倫理。私たちは、理で動く。 私欲に走ることなく、 誰に対してもフェアな行いを。 ビジネスの成長は、 価値と信用を積み重ねた先にある。 V A L U E 8 Elements 私たちが大事にしている マインドです。