【Oracle Cloud】対話型AIソリューション - Digital Assistant

Slide 1

Slide 1 text

Oracle Cloud が提供する対話型AI ソリューション Oracle Digital Assistant ⽇本オラクル株式会社 2023年12⽉15⽇第三回 Oracle AI Brown Bag Seminar

Slide 2

Slide 2 text

Copyright © 2023, Oracle and/or its affiliates 2 Oracle AI Stack … Machine learning services Data AI services AI infrastructure OCI Data Science ML in Oracle Database MySQL Heatwave AutoML Compute bare metal instances and VMs Cluster networking Block, object, file storage, HPC filesystems Digital Assistant Speech Language Vision Document Understanding Anomaly Detection Data Labeling OCI Generative AI + Business applications, Oracle SaaS portfolio

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright © 2023, Oracle and/or its affiliates 4 企業が提供するチャットボットの代表例例えばパスワードを忘れてしまった時… 質問に回答するチャットボットユーザーのを理解し最適な回答を提⽰ユーザーのを理解し他のシステムと連携して適切な処理を実⾏サービスを提供するチャットボットパスワードを忘れた ID管理システムでパスワードをリセットしてください ID管理システムはこちらです http://xyz.com/... パスワードを忘れた本⼈確認のためにSMSでヒミツの番号を送りました。 1234 OK! リセットしました番号は何番でしたか︖

Slide 5

Slide 5 text

Copyright © 2023, Oracle and/or its affiliates 5 Oracle Digital Assistant が対応している対話形式 FAQ （⼀問⼀答形式） Oracle Cloud Free Tier について教えて Oracle Cloud Free Tier では、 Always Free サービスと、対象となるすべての OCI サービスが最⼤30⽇間使⽤できる300⽶国ドルの無料クレジットが提供される無料トライアルをご利⽤いただけます。トランザクション処理荷物を再配達してかしこまりました。送り状番号を⼊⼒してください。 123456789101 ご希望の⽇をお選びください。本⽇明⽇明後⽇本⽇エージェント (⼈)への引継ぎクレジットカードを落としたそれは⼤変ですね。オペレータに代わりますのでお待ちください。はい紛失されたクレジットカードは停⽌し、再発⾏の⼿続きをいたしますが、よろしいですか︖ 担当の鈴⽊に代わりました。インタビュー（via Oracle Intelligent Adviser）医療保険に⼊りたいありがとうございます。これからいくつか質問をしますので、回答をお願いします。お名前は︖ ⼭⽥太郎年齢は︖ 40 ご職業は︖ イベント駆動による会話の開始承認する佐藤さんが休暇申請が提出しました X⽉X⽇ (⽉) 種別: 有給休暇理由: 私⽤のためお休みをいただきます。この申請を承認しますか︖ 承認否認情報のリクエストナレッジ検索（via Oracle Service Cloud）エアコンの掃除この中に回答はありますか︖ エアコンのお⼿⼊れについてエアコンの汚れを放置すると、能⼒の低下や本体寿命の短縮につながるため、定期的なお⼿⼊れが必要です。つづきを⾒る質問に回答サービスを提供 >

Slide 6

Slide 6 text

Copyright © 2023, Oracle and/or its affiliates 6 チャットボットの実装に必要な技術要素会話のコントロールユーザーの情報、会話の重要なポイントの記憶バックエンドとの連携バックエンド・システムにセキュアにアクセスできる仕組み⾃然⾔語理解対話型UIに必要なインテント検出、固有表現抽出などのモデル各種チャネル対応クライアントとの通信の制御や各種メッセージング・プラットフォームへの対応

Slide 7

Slide 7 text

Copyright © 2023, Oracle and/or its affiliates 7 Oracle Digital Assistant を構成するコンポーネントチャットボットに必要な技術要素がAI/機械学習の専⾨知識がなくても利⽤可能多⾔語対応の⾃然⾔語理解 (NLU) エンジンディープラーニングを活⽤したテキストの分類、固有表現抽出、OOD検出など翻訳サービスとの組み合わせにより、⽇本語など数多くの⾔語に対応⾳声認識サービスストリーミングによる⾳声の⾃動認識と⽂字変換に対応。組織やドメインの専⾨⽤語にも対応が可能会話フロー・エンジンローコードツールによる会話フローの定義とバックエンド・システムとの連携利⽤状況の可視化と分析チャットボットと利⽤者の会話履歴やよく使⽤される単語・フレーズ、再トレーニングが必要なスキルの抽出やKPIの測定スキル & スキル・ストア Oracle SaaSにアクセスする事前構築済みスキルや、個別ユースケースのためのスキルのテンプレートを提供マルチ・チャネル対応 ■各種メッセージング・サービスとの連携: Facebook Messenger, SMS (Twillio), Slack, MSFT Teams, Zoom App （LINE、IVRとの連携実績もあり） ■チャット・ウィジェット開発: Web (JavaScript), iOS, Android 向け SDK を提供トレーニング・データ⽣成継続的なチャットボットの機能の改善と拡張のためトレーニング・データを⾃動⽣成ディープラーニング基盤 Oracle Cloud Infrastructureが提供する GPU を活⽤したトレーニング、チャットボットの構築に最適化されたデータモデルなどを提供

Slide 8

Slide 8 text

Copyright © 2023, Oracle and/or its affiliates 8 1つのデジタル・アシスタントが複数のスキル（機能）に対応 AIによって適切なスキルにルーティング What’s your return policy 30-days to return. Click here to learn more. Nearest location? デジタル・アシスタントにセットされたスキル HCM ERP CX 3rd Party

Slide 9

Slide 9 text

Copyright © 2023, Oracle and/or its affiliates 9 現在対応しているチャネル • Facebook Messenger • Slack • Microsoft Teams • Apple Messages for Business • Zoom App • Cortana • SMS (w/Twilio) • Web サイト (JavaScript) • iOS アプリ (Swift) • Android アプリ (Android Java) • Voice • Webhook ⼀つのデジタル・アシスタントが複数のチャネルに対応経費精算⼈事⼿続き商品ナレッジ検索会員情報管理社内 IT サポート HCM ERP CX 3rd Party お客様向けデジタルアシスタント社内向けデジタルアシスタント社内 Web ポータルお客様向け Web Slack Messenger チャネル Oracle Digital Assistant SNSやビジネス・チャットカスタム・アプリ ※ SDK を提供 3rdパーティとの連携⽤ ※ LINE や X（旧 Twitter）の DM などとの連携実績あり

Slide 10

Slide 10 text

Copyright © 2023, Oracle and/or its affiliates 10 • チャットボットが適切な返答をできなかった場合などに、Oracle Service Cloud の有⼈チャット機能による⼈間の対応に切り替えることが可能 • 利⽤者と Digital Assistant の会話履歴が Service Cloud に転送され、シームレスな切り替えを実現 • 3rdパーティ製有⼈チャットとの連携は Webhook をアドオンすることで実現デジタル・アシスタントからエージェントへ対応の切り替えに対応 Live Agent Transfer 会話をエージェントに引継ぎ会話履歴を転送

Slide 11

Slide 11 text

Copyright © 2023, Oracle and/or its affiliates 11 • 利⽤者は Oracle Service Cloud が提供するチャット (Live Help) を利⽤ • ルーティング・エンジンは事前定義されたルールに基づき、デジタル・アシスタントまたはエージェントにルーティング • 必要に応じてデジタル・アシスタントからエージェントへの切り替えも可能エージェントの代わりにデジタル・アシスタントが Oracle Service Cloud のチャットに対応 Digital Assistant as an Agent Oracle Service Cloud Live Help レスポンスレスポンスリクエストレスポンスルーティング・エンジンルールに基づいて割当先を決定ルーティング・ルールの例 • コンタクト・センターの営業時間 • 対応可能なエージェントが不在 • 問い合わせてきた顧客のランク必要に応じて引継ぎリクエスト

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © 2023, Oracle and/or its affiliates 13 スキルがリクエストを処理するための⾃然⾔語理解の流れ例: ⾶⾏機の空席の照会/予約の変更/予約のキャンセルを⾏うチャットボット来週の⼟曜⽇に札幌に⾏きたい 1 2 3 4 5 6 ユーザーがボットに話しかける利⽤者の「意図」を判定抽出された情報を展開不⾜している情報をユーザーに質問出発地は? 座席クラスは? 収集した情報を元に問い合わせ、空席情報を返す 18:00発の便に空席があります【意図】⼀覧 •空席の照会と予約 •予約の変更 •予約のキャンセル意図は「空席の照会と予約」だな処理を実⾏するために必要な情報を抽出来週の⼟曜⽇に札幌に⾏きたい到着地出発⽇出発⽇到着地出発地座席クラス ︖ ︖ 来週の⼟曜⽇ = 12/23 (⼟) 札幌 = 新千歳 ※ ⽇本語を処理するには、翻訳サービスを使⽤して英語に翻訳

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright © 2023, Oracle and/or its affiliates 17 REST Connector • ノーコードで既存の REST サービス呼び出し • 基本的な認証⽅式に対応 • Basic 認証 • API キー • Bearer Token • OCI Resource Principal • REST サービス呼び出し時に指定するパラメータ、リクエスト/レスポンスのサンプル・ペイロードを指定 Custom Component Service • Oracle Digital Assistant Node SDK を使⽤して、Node.js または TypeScript でプログラミング • https://github.com/oracle/bots-node-sdk • 作成したプログラムのデプロイ先 • Oracle Digital Assistant が提供する埋め込みコンテナ • Oracle Cloud Infrastructure (OCI) Function • OCI のコンピュート環境や Kubernetes Cluster など Oracle Digital Assistant のスキル開発バックエンド・サービスとの連携

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright © 2023, Oracle and/or its affiliates 21 • スキルが利⽤された回数 • ユーザー数 • ユーザーが会話の途中で離脱した割合 • 使⽤されたインテントの割合 • チャネルの利⽤率 • 会話にかかった時間 • エラーが発⽣した回数 • 会話フローの遷移状況 • 会話ログのチェック • インテントを判定できなかった発話のリストと例⽂への追加 • etc... Oracle Digital Assistant の運⽤スキルごとの利⽤状況の可視化

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © 2023, Oracle and/or its affiliates 23 1. スキルに⽣成 AI を活⽤した機能を組み込む ― LLM Block [対応済み] • ⽣成 AI を活⽤して作⽂、要約、感情分析などを対話の中に組み込めるようにする • 例: SFAアプリケーションで商談のステータスや活動履歴などの情報を取得し、要約したものを表⽰ • 使⽤する LLM は Bring Your Own LLM: 要件に合わせて選択 • Oracle Generative AI / Cohere / API でアクセス可能な LLM（OpenAI など） • お客様が独⾃にファイン・チューニングした LLM も利⽤可能 • 将来的には業界ごとに特有の⽤語や知識でファイン・チューニングされた LLM を提供する LLM Store（仮称）を提供予定 2. Oracle Digital Assistant ⽤にファイン・チューニングした LLM を統合 • 新しいユースケースへの対応 • エンド・ユーザーにとって使いやすいチャットボットを、効率的に構築することが可能に • 将来的には、⾃然⾔語で⾔及された機能を持つスキルを⽣成することができるようになるかも… Oracle Digital Assistant の⽣成 AI/LLM に対するアプローチ

Slide 24

Slide 24 text

Copyright © 2023, Oracle and/or its affiliates 24 ⽣成 AI / LLM の活⽤によって Oracle Digital Assistant で新たに実現できるユースケース Oracle Digital Assistant コンテントの⽣成や要約対話型セマンティック検索対話型データ分析アプリケーションの “コパイロット” グループ・チャットタスクを⾃律的に実⾏統合済みのアプリケーションから取得した情報などを元に、コンテンツを作成・要約 (LLM Block) エンド・ユーザーからの質問に対し登録済みの情報ソースから関連情報を収集し回答 (Knowledge Dialog) アプリケーションの特定の操作を対話形式でガイド、サポートデジタル・アシスタントが従来の1対1 の会話だけでなくグループ・チャットにも参加ユーザーによる⾃然⾔語でのリクエストに従って、DB にアクセスし必要な情報を取得・集計し分析（SQL Dialog）ユーザーのリクエストに従って、事前定義済みされたタスク*が⾃律的にオーケストレーション * コンテントの⽣成・要約, API 呼び出し, セマンティック検索, etc

Slide 25

Slide 25 text

Copyright © 2023, Oracle and/or its affiliates 25 1. LLM の API エンドポイントを Oracle Digital Assistant の REST API サービスに登録 2. LLM の API のリクエスト/レスポンス・ペイロードを Oracle Digital Assistant の Common LLM Interface (CLMI) の形式に変換するイベント・ハンドラを登録 • Oracle Generative AI および Cohere は Oracle Digital Assistant が提供 • OpenAI/Azure OpenAI はドキュメントでサンプルを公開 • 他の LLM の場合は Node.js でプログラミングが必要 3. スキルに LLM の REST API サービスとイベント・ハンドラを登録 4. Visual Flow Designer で “Invoke Large Language Model” コンポーネントをスキルに組み込み、 Prompt Builder でプロンプトや LLM のパラメータなどを調整 5. プロンプトのパラメータに値をマッピング Oracle Digital Assistant LLM Block の使⽤

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright © 2023, Oracle and/or its affiliates 27 • ユーザーが⼊⼒した⾃然⾔語からデータベース（Oracle/MySQL）を検索する SQL を⽣成し、その結果を返す機能（現在は英語のみに対応） • インテントや会話フローの定義は不要開発者のタスク: 1. データベースの接続情報を定義 2. スキルがアクセスするテーブルやビューを選択し、エンティティをとして定義 3. 表・ビューやその列の名前を⾃然⾔語にマッピング • DEPT テーブル → department, division, organization, org • DEPT テーブルの LOC 列 → location 4. レコードから値リストを作成し、値にシノニムを設定することも可能 • DEPT テーブルの LOC 列の “New York” → big apple 5. トレーニングを実⾏とテスト SQL Dialog ⾃然⾔語でデータベース検索 Can you show me the employees from our office in big apple? Emp Id Name Job 7439 MILLER CLERK 7839 KING PRESIDENT 7782 CLARK MANAGER what's the name of the employee with the highest salary? KING

Slide 28

Slide 28 text

Copyright © 2023, Oracle and/or its affiliates 28 1. エンドユーザーが検索条件を⾃然⾔語で⼊⼒ Can you show me the employees from our office in big apple? 2. ⾃然⾔語理解エンジンが⼊⼒されたテキストを SQL の⽣成に過不⾜のないテキストに修正 Show all the employee where the department location is "NEW YORK". 3. OMRQL (Oracle Meaning Representation Query Language) に変換 SELECT * FROM Emp WHERE dept.loc = 'NEW YORK’ 4. OMRQL から SQL を⽣成 SELECT T1.EMPNO, T1.ENAME, T1.JOB, T1.MGR, T1.HIREDATE, T1.SAL, T1.COMM FROM EMP T1 JOIN DEPT T2 ON T1.DEPTNO = T2.DEPTNO WHERE T2.LOC = ? FETCH FIRST 100 ROWS ONLY 5. SQL を実⾏し結果をエンドユーザーに返す SQL Dialog の処理の流れ

Slide 29

Slide 29 text

Copyright © 2023, Oracle and/or its affiliates 29 • 会話の中でエンドユーザーから発せられた質問に対し、回答を返す • 回答は事前に登録されたナレッジ・ソースから検索し、関連する内容を要約してエンドユーザーに返す • PDF などの⽂書ファイル、WebページのURL など • 経費精算のためのスキルの場合のナレッジソースの例 • 経費精算の社内ポリシー • 経費精算システムのユーザー・ガイド • トランザクション型の対話中に出た質問の際は、質問の回答を返した後に⾃動的に元の会話に戻る • 質問に回答するための会話フローは定義不要 Knowledge Dialog 対話型セマンティック検索経費精算したいいつの経費を精算しますか︖ 電⾞賃で領収書が必要なのはいくらから︖ 鉄道・バス・船舶が2,500円以上の時は、領収書の提出が必要です。鉄道・バス・船舶が 2,500円未満の時は、「レシートなし」をチェックした上で理由の欄に「公共交通機関特例」と⼊⼒してください。いつの経費を精算しますか︖ 先週の⽊曜⽇

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright © 2023, Oracle and/or its affiliates 31 Oracle Digital Assistant エンタープライズ向けチャットボットのための包括的なプラットフォーム会話フロー・エンジンコンテキストに沿った会話の流れを GUI で定義するための Web ブラウザ・ベースのローコード・ツールを提供バックエンドとの連携バックエンド・システムにセキュアにアクセスできる仕組みを提供。REST サービスはノーコードでも利⽤可能 AI エンジン対話型 UI ⽤の⾃然⾔語理解や機械学習モデルを構成済み。開発・運⽤に AI の専⾨知識は不要マルチ・チャネル対応メッセージング・プラットフォームには⾮依存。Facebook Messenger、 Slack、Teamsなどとすぐに連携

Slide 32

Slide 32 text

Copyright © 2023, Oracle and/or its affiliates 32 製品ページ: 製品概要、事例 • https://www.oracle.com/jp/chatbots/ 製品ヘルプ・センター（開発者ガイド、チュートリアル、Tips 集など） • 英語（最新）: https://docs.oracle.com/en/cloud/paas/digital-assistant/ • ⽇本語: https://docs.oracle.com/cd/E83857_01/paas/digital-assistant/index.html • Artie: Oracle Digital Assistant に関する質問に答えてくれるデジタル・アシスタント • 製品ヘルプ・センターの右下のアイコンからアクセスが可能、質問/回答は今のところ英語にのみ対応開発部⾨による Blog • https://blogs.oracle.com/digitalassistant/ Oracle Digital Assistant 詳細情報