20240228_DAIMYO_Meetup_Suzaki

Transcript

1. © 2024 Classmethod, Inc. DAIMYO Meetup #4 AWSサービスで福岡県のことを教えてくれるAIチャットボットを作ってみた （Amazon Connect Chat、Bedrock、Kendra） 2024年2月28日 クラスメソッド株式会社 AWS事業本部 コンサルティング部 洲崎 義人
2. はじめに マネーフォワードさん：声かけていただきありがとうございま す！ Fusicさん：共催企画としてありがとうございます！ ヌーラボさん：会場の提供ありがとうございます！
3. © 2024 Classmethod, Inc. 2 ࣗݾ঺հ ・洲崎 義人(スザキ ヨシト) ・コールセンターシステムの営業→クラスメソッド ・所属：AWS営業部→AWS事業本部コンサルティング部 ・拠点：東京→福岡 ・2023 Japan AWS Top Engineers、2023 Japan AWS All Certifications Engineers ・好きなAWSサービス：Amazon Connect、Amazon QuickSight ・趣味：キャンプ、バンド（軽音）、飲み🍺、キックボクシング（始めた）
4. © 2024 Classmethod, Inc. 3 Ϋϥεϝιουʹ͍ͭͯ 事業内容 ⼦会社 および 関連会社 認定 • クラウド（AWS等）の技術コンサルティング、開発、運⽤ • データ分析基盤の技術コンサルティング、開発、運⽤ • アプリケーション（LINE、iOS等）の企画開発、運⽤ • SaaS、Webサービスの企画開発、導⼊⽀援、運⽤ • 企業向けIT⼈材育成、内製化⽀援 • 無⼈店舗技術・キャッシュレス決済システムの企画開発、運営 プリズマティクス株式会社 ネクストモード株式会社 アノテーション株式会社 アンダースコア株式会社 プロパゲート株式会社 Classmethod (Europe) GmbH Classmethod Canada Inc. Classmethod India Private Limited Classmethod (Thailand) Co., Ltd. Classmethod Korea Co., Ltd. Classmethod Vietnam Co., Ltd. Φʔϓϯͳൃ૝ͱߴ͍ٕज़ྗʹΑΓ͢΂ͯͷਓʑͷ૑଄׆ಈʹߩݙ͠ଓ͚Δ 名称 代表者 設 ⽴ 本 社 拠 点 資本⾦ 従業員 クラスメソッド株式会社 （英語表記︓Classmethod, Inc.） 横⽥ 聡 2004年7⽉7⽇ 東京都港区⻄新橋1－1－1 ⽇⽐⾕フォートタワー26階 東京、札幌、⼤阪、名古屋､岡⼭、福岡、上 越、沖縄、ベルリン、バンクーバー、ニュー デリー、バンコク、ソウル 1億円 720名（2023年7⽉現在/グループ全体） 3
5. © 2024 Classmethod, Inc. 4 クラスメソッドの強み AWS構築・運用実績に関する公式認定 コンサルティング・技術支援の実績が評価された ことにより、AWSから多数技術認定を取得 • 移行コンピテンシー • デジタルカスタマーエクスペリエンスコンピテンシー • ビッグデータコンピテンシー • DevOpsコンピテンシー • パブリックセクターパートナー • マネージドサービスプログラム(MSP)認定 4 • 世界で最も貢献したSIパートナーとしてSI Partner of the Yearを受賞 • 8年連続パートナー最上位AWSプレミアティアサービスパートナー認定 • AWSサービスパートナーオブザイヤージャパン2021受賞 • AWS公式資格取得数は2,000オーバー、世界トップクラスの技術力 AWSサービスの技術認定は14種類 サービスに関する深い専門知識と実績を認定する AWSサービスデリバリープログラム多数取得 AWS IoT Core Amazon EC2 for Microsoft Windows Server Amazon WAF Amazon API Gateway Amazon CloudFront Amazon Redshift AWS Control Tower Amazon Connect Amazon Aurora Amazon RDS for PostgreSQL Amazon DynamoDB AWS Lambda Amazon Kinesis AWS Database Migration Service SI Partner of the Year - GLOBAL 受賞
6. © 2024 Classmethod, Inc. 5 クラスメソッド 福岡オフィス 5 ・2024年2月現在 37名！ ・博多駅から歩いてこれます（DAIMYOではなくGIONですが...）
7. © 2024 Classmethod, Inc. 6 部活動（fukuoka-camp） 6 ・福岡県のキャンプ場を中心に秋〜春メインで活動🏕（夏はお休み） ・直近のキャンプはハンモック泊（福智町にある7世代キャンプ場）
8. © 2024 Classmethod, Inc. 7 部活動（fukuoka-k-on） 7 ・小倉 or 天神のスタジオで活動中🎸 ・バンド名は「フッ軽」。由来は福岡軽音の略称。 ・Vaundy、アジカン、ユニゾン、L'Arc〜en〜Cielなど
9. 移住してよかった 福岡きてめちゃくちゃ楽しんでます
10. 好きな福岡のことをもっと知りたい
11. 福岡県のことを聞ける AIチャットボットを作りました
12. © 2024 Classmethod, Inc. 11 構成図
13. 各AWSサービスの概要
14. © 2024 Classmethod, Inc. 13 Amazon Connect • スケーラブル且つ信頼性の高い顧客窓 口を、セルフサービスで構築できるク ラウド型コンタクトセンターサービス • Amazon.comのカスタマーセンター(オ ペレーター：100,000名以上)が使って いるものと同じ技術 • 専門知識を持たないユーザーでも簡単 なGUI操作で、問い合わせフローの設 計が可能 • 電話・ウェブ通話・チャットの機能が 利用可能 Amazon Connect
15. © 2024 Classmethod, Inc. 14 Amazon Connect Chat Amazon Connectで利用できるチャット機能 オペレーターは電話と同じ画面から音声・チャット両方の対応が可能 お客様側の画面 ΦϖϨʔλʔଆͷը໘ 電話・チャットの 切り替えを行える
16. © 2024 Classmethod, Inc. 15 Amazon Connect Chat Amazon Connect Chatの設定を行うと、ウィジェットのスクリプト（JavaScript）が自動生成される このコードをhtmlに組み込むことで簡単にチャットページを実装可能
17. © 2024 Classmethod, Inc. 16 Amazon Lex 音声やテキストを使用して、会話型インターフェイスを構築するサービス Amazon Alexaと同様の技術 Slotに受け答えした情報を入力し、SlotのパラメーターをLambdaなどに渡すことができる Intentはユーザが入力した自然言語に 応答してfulfillmentを実行する Intents Intentを発動するフレーズ U'erances Intentを満たすために要求される 入力データ Slots Slotを引き出すためのフレーズ Prompt Intentを実現するビジネスロック Fulfillment
18. © 2024 Classmethod, Inc. 17 Amazon Kendra 機械学習を原動力とした高精度で使いやすいエンタープライズ検索サービス さまざまなファイル形式・データソースの利用可能 参照するデータの検索エンジンとしてAmazon Kendraを利用する ウェブクローラーで福岡県庁のトップページ「https://www.pref.fukuoka.lg.jp」をデータソースとして設定 RAGでよく使うKendraとS3をCloudFormationで実装してみた
19. © 2024 Classmethod, Inc. 18 Amazon Bedrock API を通じて様々な企業の生成AIモデルを利用できるプラットフォームを提供するサービス 他のAWSサービスからAPIを通じて利用する場合、AWSのプライベートネットワークが利用され、イン ターネットには出ていかないためセキュアに利用可能 プロンプト（指示）を工夫しつつ、Kendraの検索結果をもとに質問の回答を生成する
20. © 2024 Classmethod, Inc. 19 （補足）LLM・RAGとは LLM：Large Language Model の略 ・ChatGPT（OpenAI API）をはじめとしたAIの言語モデル。参照する情報がない場合、誤った回答をする恐れがある RAG：Retrieval Augmented Generation の略 ・ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索、その文章をLLMの入力経由で渡す RAGの実案件に取り組んできた今までの知見をまとめてみた Amazon Kendra Amazon Bedrock （Claude V2）
21. © 2024 Classmethod, Inc. 20 （補足）RAGとは こちらのブログが非常にわかりやすいです RAGの実案件に取り組んできた今までの知見をまとめてみた
22. 本構成を採用した理由
23. © 2024 Classmethod, Inc. 22 チャットを採用した理由 - メリット - 電話だと音声認識に依存する - どうしてもAI処理をラグ（数秒〜数十秒ほど）が生じる - チャットであれば待ち時間のストレスは電話よりも感じない - デメリット - チャット用のページが必要
24. © 2024 Classmethod, Inc. 23 AWSサービスで統一した理由 - メリット - AWSアカウントがあれば構築できる - 設定画面や支払いなどが統一 - 普段AWSを触っている場合、学習コストがAWS以外のサービス（OpenAIやAzure など）より低い - 全てAWS内に閉じて構築できる（インターネットに出ていかない） - デメリット - 他のサービス（Azure、OpenAIなど）の知見はたまらない - 技術スタックが偏る
25. 実装ポイント
26. © 2024 Classmethod, Inc. 25 実装方法 本LTでは実装にあたってのポイントをかいつまんで紹介します 実装方法は下記のブログを参考にしてください （下のブログは電話版なので、別途チャット版を書きます） 【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコー ルセンター向けAIチャットボットを構築してみた
27. © 2024 Classmethod, Inc. 26 Amazon Connect 「顧客の入力を取得する」ブロックで、始めのアナウンスと利用するLexを選択します
28. © 2024 Classmethod, Inc. 27 Amazon Lex サンプル発話で「はい」と入力されたら、freeinputのスロットで顧客からの質問内容を保存します
29. © 2024 Classmethod, Inc. 28 Amazon Kendra Typeは「webcrawlerv2」、Default languageは「Japanese」、Soure URLsは福岡県庁のトップページ で設定します。（その他はデフォルト）
30. © 2024 Classmethod, Inc. 29 Amazon Bedrock Lambda(Python)でBedrockのAPIキーを叩きます reference（Kendraの回答）をもとにruleに従って、question(user_prompt)に対する回答文を作成します QSPNQU
    
    G=O=O)VNBO͋ͳͨ͸ɺ෱Ԭݝிʹ຿ΊΔ͓٬༷૬ஊࣨͷ૭ޱ܎Ͱ͢ɻ ࢢຽ͔Βͷ໰͍߹Θͤʹରͯ͠ϗʔϜϖʔδΛݕࡧͨ݁͠ՌΛ΋ͱʹɺద੾ͳճ౴Λฦ͢໾ׂΛ͍࣋ͬͯ·͢ɻ ࢢຽ͔Β͸ɺࢢ੓΍ఏڙ͢ΔαʔϏεʹ͍ͭͯ෯޿͍೥ྸ૚͔Β༷ʑͳ໰͍߹Θ͕ͤدͤΒΕ·͢ɻ Ͱ͖Δ͚ͩ۩ମతɺ͔ͭɺৄࡉʹઆ໌͢Δඞཁ͕͋Γ·͢ɻ SFGFSFODFλάͷࢀߟ৘ใΛ΋ͱʹɺSVMFλάʹै͍ɺRVFTUJPOλάͷ͓໰͍߹Θͤ಺༰ʹద੾ʹճ౴͍ͯͩ͘͠͞ɻ SVMF 
    ʮ࣭͝໰͋Γ͕ͱ͏͍͟͝·͢ɻʯͳͲͷจݴ͸ෆཁͰ͢ɻ 
    ճ౴ʹ͸ɺճ౴͢Δ·ͰͷܦҢɺճ౴͢Δࡍͷࢀߟ৘ใͷઆ໌͸ෆཁͰ͢ɻ࣭໰ʹର͢Δճ౴ͷΈΛ఻͑ͯԼ͍͞ɻ 
    ԱଌͰ͸౴͑ͳ͍Ͱ͍ͩ͘͞ɻࢀߟ৘ใ͔Βɺ͓໰͍߹Θͤ಺༰Λճ౴Ͱ͖ͳ͍৔߹ɺ෼͔Βͳ͍ͱ఻͑·͠ΐ͏ɻ 
    ݱࡏͷ೔࣌͸ɺ\DVSSFOU@EBUF^ɺͰ͢ɻ 
    ճ౴ʹλά͸ෆཁͰ͢ɻ SVMF RVFTUJPO \VTFS@QSPNQU^ RVFTUJPO SFGFSFODF \HFU@SFUSJFWBM@SFTVMU VTFS@QSPNQU JOEFY@JE ^ SFGFSFODF
31. デモ
32. © 2024 Classmethod, Inc. 31 デモ 下記のシナリオをもとにデモを行います （誤った回答がでたらごめんなさい）
33. 今後改善できるところ
34. © 2024 Classmethod, Inc. 33 改善できること - 今後やってみること - Kendraのデータソースを増やしてみる（福岡県の名産情報とか） - KendraではなくBedrock Knowledge baseの場合の検証 - 何回でも質問できるようにする - 過去の質問履歴を参照しつつ追加で質問して回答をもらう - 精度を高くするためのプロンプト（指示）の改修 - OpenAIや他サービスの場合の検証 - etc…
35. コールセンターやチャットボットに興味ある方、 キャンプやバンドに興味ある方、 お酒が好きな方、 ぜひこの後お話ししましょう！
36. 設立20周年記念クラスメソッド史上 最大のテックとビジネスの祭典 「クラスメソッド オデッセイ」で検索 事前登録受付中