Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI Builderについて

MiyakeMito
January 29, 2023

AI Builderについて

ドキュメント関連のモデルのみです。
2023年1月以降に他のモデルについても記載します。

MiyakeMito

January 29, 2023
Tweet

More Decks by MiyakeMito

Other Decks in Technology

Transcript

  1. AI Builder
    について
    気ままに勉強会 #43
    1

    View full-size slide

  2. 今日の目標
    AI Builderの
    魅力を知ろう
    2

    View full-size slide

  3. アジェンダ
    AI Builder とは
    AI Builder のモデルたち
    ドキュメント
    テキスト
    構造化データ
    画像
    3

    View full-size slide

  4. Miyake Mito
    @MiTo60448639
    https://qiita.com/MiyakeMito
    株式会社アイシーソフト
    Technical Manager
    www.icsoft.jp
    https://speakerdeck.com/miya
    kemito
    4

    View full-size slide

  5. connpass (独立発行者) コネクタ
    が認定されました
    5
    https://learn.microsoft.com/ja-jp/connectors/connpassip/
    イベント情報のキャッチ
    や管理などに便利です
    是非ご活用ください!

    View full-size slide

  6. 本日の参考サイト
    6
    ◼ AI Builder のドキュメント(Microsoft Learn)
    https://learn.microsoft.com/ja-jp/ai-builder/
    ◼ AI Builder labs(GitHub)
    https://github.com/microsoft/PowerApps-Samples/tree/master/ai-builder/labs

    View full-size slide

  7. 免責事項
    当スライドは、
    2023年1月現在のバージョンでの情報です
    今後のアップデート等により、
    仕様変更する可能性があります
    また、私の見解による内容が含まれます
    間違いなどありましたらご指摘ください
    7

    View full-size slide

  8. AI Builder
    とは

    View full-size slide

  9. AI Builder とは
    9
    ◼ ビジネスプロセスを最適化するように設計された AI
    モデルを提供する Microsoft Power Platform の機能
    ◼ Power Apps と Power Automate で利用可能
    ◼ AI のコーディングやデータ サイエンスは不要
    ◼ モデル(データ解析を行う手法)は以下の2つ
    • そのまま利用できる 事前構築済みモデル
    • ニーズに合わせて調整する カスタムモデル

    View full-size slide

  10. Azure AI の主な機能
    10
    ◼ 機械学習
    ➢ Azure machine Learning や Azure Databricks を使い、予測を行い、データから結論を導き出す方法をコンピューター モデルに「教える」こと。多くの場合、AI シス
    テムの基盤となる
    ◼ ドキュメント処理
    ➢ Azure Form Recognizer でドキュメントから高速にテキスト、キーと値のペア、テーブル、構造、その他実用的な情報を正確に抽出する
    ◼ Computer Vision
    ➢ Azure Computer Vision を使い、カメラ、ビデオ、画像を通じて世界を視覚的に解釈するソフトウェアの機能
    ◼ 会話型AI
    ➢ Azure Bot Service を使用して、会話型AIエクスペリエンスを開発可能。多言語およびマルチモーダルのボットを構築できる
    ◼ 自然言語処理
    ➢ Language Understanding (LUIS) を使用し、コンピューターが自然言語での会話テキストを解釈し、全体の意味を予測し、関連性のある詳細な情報を引き出す
    ◼ 機械翻訳
    ➢ 100以上の言語と方言でリアルタイムまたは一括に翻訳
    ◼ 音声文字起こし
    ➢ Speech サービスを利用して、高い精度で音声からテキストを書き起こしたり、自然な音声で読み上げたり、音声を翻訳することが可能
    ◼ ナレッジ マイニング
    ➢ Azure Cognitive Search を使い、ドキュメント、画像、メディアなどすべてコンテンツから、パターンやリレーションシップの発見、センチメントの解釈、キーフ
    レーズの抽出などを行う

    View full-size slide

  11. Azure Cognitive Services
    ◼ 開発者が直接的なAIまたはデータサイエンスのスキルや
    知識がなくても、インテリジェントなアプリケーション
    を開発するために使用できるAPI、SDKおよびサービス
    ◼ 次の 5つの主要なカテゴリで分類
    ➢ Vision API - 視覚
    ➢ Speech API - 音声
    ➢ Language API – 言語
    ➢ Decision API - 決定
    ➢ Search API - 検索
    ◼ Azure Cognitive Services とは
    https://learn.microsoft.com/ja-jp/azure/cognitive-
    services/what-are-cognitive-services
    11

    View full-size slide

  12. Azure Cognitive Services vs.
    AI Builder
    12
    Azure Cognitive Services AI Builder
    含まれる機能
    音声
    言語
    視覚
    決定
    検索
    OpenAI
    言語(テキスト)
    視覚(ドキュメント、画像)
    決定(予測)
    Power Platform で利用
    AzureにCognitive Servicesの
    サービスを作成
    Power Platformで接続を作成
    コネクタの利用
    コネクタの利用
    ライセンス Azure サブスクリプション
    Power Apps,Power Automate,
    Dynamics 365 の
    追加ライセンスに含まれる

    View full-size slide

  13. AI Builder のライセンス
    13
    ◼ AI Builder のライセンスは、Power Apps および Power Automate のスタ
    ンドアロン ライセンスと Dynamics 365 ライセンスのアドオンとして提
    供される(キャパシティベース)
    ◼ AI Builder 計算ツール | Microsoft Power Automate
    https://powerautomate.microsoft.com/ja-jp/ai-builder-calculator/
    ◼ アプリごと/ユーザーごとの Power Apps プラン、アテンド型 RPA を含
    むユーザーごとの Power Automate プランなどには、AI Builder 容量が含
    まれてる
    ◼ 試用版のライセンス を使用して期間限定で使用することも可能

    View full-size slide

  14. AI builderの
    モデルたち

    View full-size slide

  15. AI Builder のモデル一覧
    15
    № データ型 モデルの種類
    事前構
    築済み
    カスタ

    備考
    1 ドキュメント 請求書処理
    2 ドキュメント・画像 テキスト認識
    3 ドキュメント 領収書処理
    4 ドキュメント ID ドキュメントリーダー
    5 ドキュメント 名刺リーダー
    6 ドキュメント ドキュメント処理 フォーム処理(2022 年 6 月まで)
    7 テキスト 感情分析
    8 テキスト カテゴリ分類 事前構築済みモデルはPreview
    9 テキスト エンティティの抽出
    10 テキスト キー フレーズ抽出
    11 テキスト 言語検出
    12 テキスト テキストの翻訳 日本ロケールでは未展開
    13 構造化データ 予測
    14 画像 物体検出
    15 画像 画像分類 (Lobe による)

    View full-size slide

  16. AI Builderのアクション
    16
    ID ドキュメントリーダー
    エンティティの抽出(カスタムモデル)
    カテゴリ分類(カスタムモデル)
    キーフレーズ抽出
    言語検出
    感情分析
    ドキュメント処理
    トリガーは
    無いです
    テキストの翻訳

    View full-size slide

  17. AI Builderのアクション
    17
    予測
    テキスト認識
    物体検出
    請求書処理
    エンティティの抽出(事前構築済み)
    カテゴリ分類(事前構築済み)
    名刺リーダー
    領収書処理
    予測
    カスタムモデル用

    View full-size slide

  18. ドキュメント
    機能

    View full-size slide

  19. № モデル 事前/カスタム
    日本語
    対応
    説明
    1 請求書処理 事前構築済み △ 請求書処理を自動化するために、主要な請求書データを抽出するとき
    2 テキスト認識 事前構築済み 〇
    ドキュメントや画像から、コンピューターで読み取り可能な文字スト
    リームに、単語を抽出するとき
    3 領収書処理 事前構築済み △ レシートから主要な情報を抽出するとき
    4
    ID ドキュメント
    リーダー
    事前構築済み 〇
    パスポートから情報を抽出するとき
    (USの運転免許証、ソーシャル セキュリティ カード、グリーン カー
    ドも可能)
    5 名刺リーダー 事前構築済み 〇 名刺やビシネスカードから情報を抽出するとき
    6 ドキュメント処理 カスタム 〇
    独自のドキュメントから、モデルをトレーニングした上で情報を抽出
    するとき
    ドキュメント機能
    19

    View full-size slide

  20. 請求書処理

    View full-size slide

  21. 請求書処理
    21
    ◼ 請求書から、請求書 ID、顧客の詳細、ベンダーの詳細、出荷先、請求先、合計
    金額、税、小計、品目などの一般的な要素を認識し検出する
    ◼ Azure Form Recognizer により、強力な光学式文字認識 (OCR) 機能と、請求書
    解釈モデルを組み合わせて、売上請求書の主要なフィールドと明細を分析し、
    抽出する
    ◼ OCR 操作はファイルに書き込まれたすべての単語を抽出するので、検出された
    生の OCR 結果にもアクセスできる
    固有の情報を識別する時は、カスタムモデル
    (ドキュメント処理)を利用しよう
    事前構築済みモデル
    請求書処理

    View full-size slide

  22. 請求書処理
    22
    一般的に使用される
    請求書フィールド
    信頼度スコア
    請求書処理

    View full-size slide

  23. 仕様と出力
    23
    ◼ サポート言語
    ➢ オランダ語 (オランダ)、英語 (米国)、フランス語 (フランス)、ドイツ語 (ドイツ)、
    イタリア語 (イタリア)、ポルトガル語 (ポルトガル)、スペイン語 (スペイン)
    ◼ 出力項目
    ➢ モデルの出力
    https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-invoice-processing#model-output
    一般的に使用される請求書フィールドと信頼度スコア
    請求書で検出されたすべてのテキスト
    日本語未対応
    請求書処理

    View full-size slide

  24. 24
    請求額 (テキスト) Amount due (text)
    請求額 (数値) Amount due (number)
    請求先住所 Billing address
    請求先住所の受取人 Billing address recipient
    顧客住所 Customer address
    顧客住所の受取人 Customer address recipient
    顧客 ID Customer ID
    顧客名 Customer name
    顧客の税 ID Customer tax ID
    期限 (テキスト) Due date (text)
    期限 (日付) Due date (date)
    請求日 (テキスト) Invoice date (text)
    請求日 (日付) Invoice date (date)
    請求書 ID Invoice ID
    請求書の合計 (テキスト) Invoice total (text)
    請求書の合計 (数値) Invoice total (number)
    品目 Line Items
    支払条件 Payment terms
    発注書 Purchase order
    前回の未払残高 (テキスト) Previous unpaid balance (text)
    前回の未払い残高 (数値) Previous unpaid balance
    (number)
    送金先住所 Remittance address
    送金先住所の受取人 Remittance address recipient
    サービス住所 Service address
    サービス住所の受取人 Service address recipient
    サービス開始日 (テキスト) Service start date (text)
    サービス開始日 (日付) Service start date (date)
    サービス終了日 (テキスト) Service end date (text)
    サービス終了日 (日付) Service end date (date)
    送付先住所 Shipping address
    送付先住所の受取人 Shipping address recipient
    小計 (テキスト) Subtotal (text)
    小計 (数値) Subtotal (number)
    税額計 (テキスト) Total tax (text)
    税額計 (数値) Total tax (number)
    ベンダー住所 Vendor address
    ベンダー住所の受取人 Vendor address recipient
    ベンダー名 Vendor name
    仕入先税 ID Vendor tax ID
    検出されたテキスト Detected text
    検出されたキー Detected key
    検出された値 Detected value
    請求書の項目
    請求書処理

    View full-size slide

  25. 制限
    25
    ◼ ファイルの制限
    ➢ 1ファイルごと
    ➢ PDF および画像 (JPG, PNG) ファイル
    ➢ ファイル サイズは 20 MBまで
    ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル
    ➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等)
    ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される
    ◼ 呼び出し制限
    ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒
    請求書処理

    View full-size slide

  26. Power Apps で使用する
    26
    [画像の追加] コントロール の OnSelect
    ClearCollect( colInvoice, 請求書処理.Predict( AddMediaButton1.Media ))
    請求書処理
    [ギャラリー] の Itmes
    First( colInvoice ).Tables.Items.Rows
    First( colInvoice ).Fields.[フィールド名].Value.Text
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    請求書処理

    View full-size slide

  27. Power Automate で使用する
    27
    件名 必須 タイプ 内容
    請求書ファイル 〇 file 処理する請求書ファイル
    ページ × 文字列 処理するページ範囲
    PDF, JPG, PNG を取得
    動的コンテンツで取得
    キー値ペアで取得する場合
    KeyValuePairs 検出されたキー
    検出された値
    請求書処理

    View full-size slide

  28. 出力(全体)
    28
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "pageCount": 1,
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・
    "items": [
    ],
    "[email protected]": "#Collection(Microsoft.Dynamics. ・・・
    "keyValuePairs": [
    ],
    "fields": {
    },
    "context": {
    }
    },
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.cr ・・・
    "readResults": [
    ]
    }
    }
    }
    品目の一覧データが出力される
    請求書項目が出力される
    開始と終了ページ
    検出されたすべてのOCR結果が
    出力される
    キー値ペア情報が出力される
    請求書処理

    View full-size slide

  29. 29
    "invoiceDate": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "valueText": "Nov 12, 2020",
    "valueDate": "2020-11-12",
    "confidence": 0.928,
    "location": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "page": 1,
    "boundingBox": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.07739999715019674,
    "top": 0.15870909257368607,
    "width": 0.15170588212854721,
    "height": 0.017363634976473724,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "coordinates": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.07739999715019674,
    "y": 0.15870909257368607
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.22910587927874396,
    "y": 0.15870909257368607
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.22910587927874396,
    "y": 0.1760727275501598
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.07739999715019674,
    "y": 0.1760727275501598
    }
    } ] } } } }
    出力(要素) 一般的な請求書の項目
    検出した値
    信頼度
    ページ
    開始位置の座標 とサイズ
    座標(左上)
    座標(右上)
    座標(右下)
    座標(左下)
    日付、数値の場合
    "valueDate" :
    " valueNumber " :
    が追加される
    請求書処理

    View full-size slide

  30. テキスト認識

    View full-size slide

  31. テキスト認識
    31
    ◼ 写真や PDF ドキュメントからすべてのテキストを抽出
    ◼ Azure Computer Vision OCRサービスを使用して、印字および手書きのテ
    キストを画像 (JPG、PNG、BMP、PDF) から抽出し、コンピューターで読
    み取り可能な文字ストリームに変換する
    ◼ 日本語はサポート済み
    記号は認識しません
    事前構築済みモデル
    テキスト認識

    View full-size slide

  32. テキスト認識
    32
    Microsoft MVP for Business Application (
    テキスト認識

    View full-size slide

  33. 仕様と出力 ①
    33
    ◼ サポート言語
    ➢ 印刷テキストの言語:
    アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ語 (ラテン)、ボージュプリー語-ヒン
    ディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、
    中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、チェコ語、デンマーク語、ダリー語、ディマル語 (デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェ
    ロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、キリバス語、ゴーンディー語 (デーバナーガリー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、
    ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デーバナーガリー)、ハンガリー語、アイスランド語、イナリ サーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、アイルランド語、イタリア語、
    日本語
    、ジャ
    ウンサリ語 (デーバナーガリー)、ジャワ語、カブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、
    韓国語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレ サーミ語、ルクセンブルク語、マハス・パハリー語 (デーバナー
    ガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパール語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシ
    タン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、リプアーリ語、ルーマニア語、ロマンシュ語、ロシア語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバ
    ナーガリー)、スコットランド語、スコットランド ゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語 (デーバナーガリー)、スコルト サーミ語、スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェー
    デン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トルコ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー
    語、ウェールズ語、西フリジア語、ユカテコマヤ語、チワン語、ズールー語
    ➢ 手書きテキストの言語
    英語、中国語 (簡体字)、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポル
    トガル語、スペイン語
    日本語対応
    テキスト認識

    View full-size slide

  34. 仕様と出力 ②
    34
    ◼ 出力項目
    ➢ 結果:
    入力テキストから抽出した行のリスト
    ➢ テキスト:
    検出したテキストの行を含む文字列
    ➢ BoundingBox:
    境界ボックスを表す 4 つの値で、幅と高さとともに上と左の位置を使用して記述しま
    す。
    信頼度スコアは出力されません
    テキスト認識

    View full-size slide

  35. 制限
    35
    ◼ ファイルの制限
    ➢ PDF および画像 (JPG, PNG,BMP) ファイル
    ➢ ファイル サイズは 50 MBまで
    ➢ PDF ドキュメントの場合、最初の 2,000 ページ
    ◼ 呼び出し制限
    ➢ 環境ごとに
    480回/60秒
    テキスト認識

    View full-size slide

  36. Power Apps で使用する
    36
    [テキスト認識エンジン] コントロール
    [ギャラリー] の Itmes
    TextRecognizer1.Results
    ThisItem.Text
    [テキスト認識エンジン] コントロールで
    選択した検出ボックスの値
    TextRecognizer1.Selected.Text
    ThisItem.BoundingBox.Top
    ThisItem.BoundingBox.Left
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    テキスト認識

    View full-size slide

  37. 検出した値を動的な値で取得する場合は、Lines
    Power Automate で使用する
    37
    件名 必須 タイプ 内容
    領収書ファイル 〇 file 処理する請求書ファイル
    PDF, JPG, PNG,BMP を取得
    outputs('画像や_PDF_ドキュメントのテキストを認識する')?
    ['body/responsev2/predictionOutput/results']?[0]?['lines']
    item()?['text']
    concat(item()?['boundingBox']?['left'],'/',
    item()?['boundingBox']?['top'])
    ページを指定
    テキスト認識

    View full-size slide

  38. 出力(全体)
    38
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1 ・・・
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "results": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "page": 1,
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM. ・・・,
    "lines": [
    ]
    }
    ]
    }
    }
    }
    ページ情報
    検出されたすべてのOCR結果が
    出力される
    テキスト認識

    View full-size slide

  39. 39
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "text": "プログラミングなしで業務を自動化!",
    "boundingBox": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.040013227513227514,
    "top": 0.09623015873015874,
    "width": 0.5793650793650793,
    "height": 0.08234126984126984,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "coordinates": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.040013227513227514,
    "y": 0.15848214285714285
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.6154100529100529,
    "y": 0.09623015873015874
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.6193783068783069,
    "y": 0.11979166666666667
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.044642857142857144,
    "y": 0.17857142857142858
    } ] } } }
    出力(要素)
    検出した値
    座標(左上)
    座標(右上)
    座標(右下)
    座標(左下)
    開始位置の座標 とサイズ
    テキスト認識

    View full-size slide

  40. 領収書処理

    View full-size slide

  41. 領収書処理
    41
    ◼ 印刷および手書きの領収書から、業者名、業者の電話番号、取引日、税
    金、取引合計などの主要な情報を抽出する
    ◼ 米国の英語の領収書のみがサポートされている
    (ホテルの領収書や請求書などのフル ページの領収書は未サポート)
    ◼ 日本語は未対応だが、合計額などは一部項目は取得可能
    固有の情報を識別する時は、カスタムモデル
    (ドキュメント処理)を利用しよう
    事前構築済みモデル
    領収書処理

    View full-size slide

  42. 領収書処理
    42
    領収書フィールド
    信頼度スコア
    領収書処理

    View full-size slide

  43. 仕様と出力
    43
    ◼ サポート言語
    ➢ オーストラリア (英語)、カナダ (英語)、フランス (フランス語)、ドイツ (ドイツ語)、
    米国 (英語)、英国 (英語)、インド (英語)、イタリア (イタリア語)、ポルトガル (ポルト
    ガル語)、スペイン (スペイン語)
    ◼ 出力項目
    ➢ モデルの出力
    https://learn.microsoft.com/ja-jp/ai-builder/flow-receipt-processing#output
    一般的に使用される領収書フィールドと信頼度スコア
    領収書で検出されたすべてのテキスト
    日本語未対応
    領収書処理

    View full-size slide

  44. 44
    店舗名 Merchant name
    マーチャントの住所 Merchant address
    マーチャントの電話番号 Merchant phone number
    トランザクションの日付 Transaction date
    トランザクションの時刻 Transaction time
    購入品目名 Purchased item name
    購入品目の数量 Purchased item quantity
    購入品目価格 Purchased item price
    購入品目の合計価格 Purchased item total price
    小計 Subtotal
    税額 Tax
    ヒント Tip
    合計 Total
    検出されたテキスト Detected text
    検出されたテキストのページ番号 Page number of detected text
    検出されたテキストの高さ Height of detected text
    検出されたテキストの左位置 Left position of detected text
    検出されたテキストの上位置 Top position of detected text
    検出されたテキストの幅 Width of detected text
    検出されたテキストの幅 Width of detected text
    領収書の項目
    領収書処理

    View full-size slide

  45. 制限
    45
    ◼ ファイルの制限
    ➢ 1ファイルごと
    ➢ PDF および画像 (JPG, PNG) ファイル
    ➢ ファイル サイズは 20 MBまで
    ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル
    ➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等)
    ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される
    ◼ 呼び出し制限
    ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒
    請求書処理と同じ
    領収書処理

    View full-size slide

  46. Power Apps で使用する
    46
    [領収書プロセッサ] コントロール
    [ギャラリー] の Itmes
    ReceiptProcessor1.PurchasedItems
    ReceiptProcessor1.MerchantName
    ThisItem.TotalPrice
    Preview (2022/12)
    ThisItem.Name
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    領収書処理

    View full-size slide

  47. Power Automate で使用する
    47
    件名 必須 タイプ 内容
    領収書ファイル 〇 file 処理する領収書ファイル
    ページ × 文字列 処理するページ範囲
    PDF, JPG, PNG を取得
    動的コンテンツで取得
    領収書処理

    View full-size slide

  48. 出力(全体)
    48
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "pageCount": 1,
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・
    "items": [
    ],
    "fields": {
    },
    "context": {
    }
    },
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.cr ・・・
    "readResults": [
    ]
    }
    }
    }
    商品の一覧データが出力される
    領収書項目が出力される
    ページ情報
    検出されたすべてのOCR結果が
    出力される
    領収書処理

    View full-size slide

  49. 49
    "merchantName": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "value": "Main Street Restaurant",
    "confidence": 0.958,
    "location": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "page": 1,
    "boundingBox": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.421875,
    "top": 0.08498677248677249,
    "width": 0.16765873015873012,
    "height": 0.02083333333333333,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics ・・・,
    "coordinates": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.421875,
    "y": 0.09986772486772487
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.42212301587301587,
    "y": 0.08498677248677249
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.5895337301587301,
    "y": 0.09093915343915344
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.5892857142857143,
    "y": 0.10582010582010581
    } ] } } } }
    出力(要素) 領収書の項目
    検出した値
    信頼度
    ページ
    開始位置の座標 とサイズ
    座標(左上)
    座標(右上)
    座標(右下)
    座標(左下)
    領収書処理

    View full-size slide

  50. ID ドキュメント
    リーダー

    View full-size slide

  51. ID ドキュメントリーダー
    51
    ◼ パスポートや米国の運転免許証等から個人の名、生年月日、性別などの
    情報を抽出する
    ◼ あらゆる国のパスポート、米国の運転免許証、米国のソーシャル セキュ
    リティ カード、米国のグリーン カードから抽出可能
    ◼ 画像処理の際に写真や顔検出は行われず、ID のスキャンはモデルで処理
    された後に削除される
    日本の
    運転免許証
    マイナンバーカード
    は未対応です
    事前構築済みモデル
    ID ドキュメントリーダー

    View full-size slide

  52. ID ドキュメント
    リーダー
    52
    ID フィールド
    信頼度スコア
    ID ドキュメントリーダー

    View full-size slide

  53. 仕様と出力
    53
    ◼ サポート言語
    ➢ ラテン文字の抽出のみサポート
    ◼ 出力項目
    ➢ モデルの出力
    https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-id-reader#model-output
    First name,Last name,Gender,誕生日,出生地 など
    一部、パスポート、米国運転免許証、米国グリーンカードでのみ抽出項目あり
    日本語未対応
    ID ドキュメントリーダー

    View full-size slide

  54. 54
    First name First name
    Last name Last name
    Gender Gender
    誕生日 Date of birth
    出生地 Place of birth
    Region Region
    Country Country
    国籍 Nationality
    番地 Street address
    ID ドキュメント番号 Identity document number
    イシューの日付 Date of issue
    ID ドキュメントの有効期限 Identity document expiration date
    カテゴリ コード Category code
    ID ドキュメントリーダーの項目
    ID ドキュメントリーダー

    View full-size slide

  55. 制限
    55
    ◼ ファイルの制限
    ➢ PDF および画像 (JPG, PNG) ファイル
    ➢ ファイル サイズは 20 MBまで
    ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される
    ◼ 呼び出し制限
    ➢ 環境ごとに
    24回/60秒
    請求書処理と同じ
    ID ドキュメントリーダー

    View full-size slide

  56. Power Apps で使用する
    56
    [画像の追加] コントロール の OnSelect
    ClearCollect(colIDDoc,'ID ドキュメント リーダー'.Predict(AddMediaButton1_1.Media))
    ID ドキュメントリーダー
    First(colIDDoc).Fields.[フィールド名].Value.Text
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    ID ドキュメントリーダー

    View full-size slide

  57. Power Automate で使用する
    57
    件名 必須 タイプ 内容
    ID ドキュメント
    ファイル
    〇 file 対象のファイル
    PDF, JPG, PNG を取得
    動的コンテンツで取得
    ID ドキュメントリーダー

    View full-size slide

  58. 出力(全体)
    58
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "pageCount": 1,
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・
    "fields": {
    },
    "context": {
    }
    },
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.cr ・・・
    "readResults": [
    ]
    }
    }
    }
    ID ドキュメント情報が出力される
    ページ情報
    検出されたすべてのOCR結果が
    出力される
    ID ドキュメントリーダー

    View full-size slide

  59. 59
    "firstName": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "value": "NATSUKO",
    "confidence": 0.99,
    "location": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "page": 1,
    "boundingBox": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.045,
    "top": 0.8,
    "width": 0.8933333333333333,
    "height": 0.12325581395348828,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "coordinates": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.045,
    "y": 0.8093023255813954
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.9383333333333334,
    "y": 0.8
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.9383333333333334,
    "y": 0.913953488372093
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.045,
    "y": 0.9232558139534883
    } ] } } } }
    出力(要素) ID ドキュメントリーダーの項目
    検出した値
    信頼度
    ページ
    開始位置の座標 とサイズ
    座標(左上)
    座標(右上)
    座標(右下)
    座標(左下)
    ID ドキュメントリーダー

    View full-size slide

  60. 名刺リーダー

    View full-size slide

  61. 名刺リーダー
    61
    ◼ 名刺の画像から情報を抽出する
    ◼ AI モデルによって個人の名前、役職、住所、電子メール、会社名、電話
    番号および その他 などの情報が抽出される
    ◼ Power Automate、キャンパスアプリの他、Dynamics 365 Sales
    Enterpriseにも含まれる
    事前構築済みモデル
    名刺リーダー

    View full-size slide

  62. 名刺リーダー
    62
    ID フィールド
    信頼度スコア
    IT 空間デザイン
    クラウドビジネス本部
    テクニカルマネージャー
    三宅 頼雅練介
    Miyake Lioness
    [email protected]
    070-9876-5432
    株式会社アイシーソフト
    [本社]
    〒460-0003
    愛知県名古屋市中区錦2丁目2番2号
    名古屋丸紅ビル9階
    Tel. 052-854-7279 Fax. 052-231-7311
    [東京オフィス]
    〒103-0025 東京都中央区日本橋茅場町
    一丁目5番2号 日原ビル4階
    Tel. 03-6264-8150
    https://www.icsoft.jp/
    名刺リーダー

    View full-size slide

  63. 仕様と出力
    63
    ◼ サポート言語
    ➢ 英語と日本語
    ◼ 出力項目
    ➢ モデルの出力
    https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-business-card#model-output
    CompanyName,FirstName,LastName,Gender,Department,Title など
    日本語対応
    名刺リーダー

    View full-size slide

  64. 制限
    64
    ◼ ファイルの制限
    ➢ PDF および画像 (JPG, PNG,BMP) ファイル
    ➢ ファイル サイズは 50 MBまで
    ◼ 呼び出し制限
    ➢ 環境ごとに
    24回/60秒
    請求書処理と同じ
    名刺リーダー

    View full-size slide

  65. Power Apps で使用する
    65
    [名刺リーダー] コントロール
    BusinessCardReader1.[フィールド名]
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    名刺リーダー

    View full-size slide

  66. Power Automate で使用する
    66
    件名 必須 タイプ 内容
    Image 〇 file 分析する画像ファイル
    ファイルの種類 〇 文字列 既定値は "auto" です。 この列は廃止さ
    れたため、どの値でも受け入れられます。
    PDF, JPG, PNG,BMP を取得
    動的コンテンツで取得
    名刺リーダー

    View full-size slide

  67. 出力(全体)
    67
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "pageCount": 1,
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics ・・・
    "contactFields": {
    },
    "contact": {
    }
    },
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.cr ・・・
    "cleanedImage": {
    }
    }
    }
    }
    検出された項目(座標情報など含む)
    検出された項目("名刺項目": Value)
    元の画像から、名刺がトリミングまた
    は拡張された処理後の画像データ
    (Base64)
    IT 空間デザイン
    クラウドビジネス本部
    テクニカルマネージャー
    三宅 頼雅練介
    Miyake Lioness
    [email protected]
    070-9876-5432
    株式会社アイシーソフト
    [本社]
    〒460-0003
    愛知県名古屋市中区錦2丁目2番2号
    名古屋丸紅ビル9階
    Tel. 052-854-7279 Fax. 052-231-7311
    [東京オフィス]
    〒103-0025 東京都中央区日本橋茅場町
    一丁目5番2号 日原ビル4階
    Tel. 03-6264-8150
    https://www.icsoft.jp/
    "contact": {
    "@odata.type": "#Microsoft. ・・・,
    "fullName": "三宅 頼雅練介",
    "title": "テクニカルマネージャー",
    "mobilePhone": "070-9876-5432",
    "phone2": "070-9876-5432",
    "email": "[email protected]",
    "companyName": "株式会社アイシーソフト",
    "department": "クラウドビジネス本部",
    "firstName": "頼雅練介",
    ・・・
    }
    名刺リーダー

    View full-size slide

  68. IT 空間デザイン
    クラウドビジネス本部
    テクニカルマネージャー
    三宅 頼雅練介
    Miyake Lioness
    [email protected]
    070-9876-5432
    株式会社アイシーソフト
    [本社]
    〒460-0003
    愛知県名古屋市中区錦2丁目2番2号
    名古屋丸紅ビル9階
    Tel. 052-854-7279 Fax. 052-231-7311
    [東京オフィス]
    〒103-0025 東京都中央区日本橋茅場町
    一丁目5番2号 日原ビル4階
    Tel. 03-6264-8150
    https://www.icsoft.jp/
    68
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "parentName": "",
    "name": "fullName",
    "value": "三宅 頼雅練介",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "boundingBox": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.07610993657505286,
    "top": 0.34760383386581467,
    "width": 0.6215644820295984,
    "height": 0.06261980830670927,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "coordinates": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.07610993657505286,
    "y": 0.35079872204472845
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.6966173361522199,
    "y": 0.34760383386581467
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.6976744186046512,
    "y": 0.40638977635782747
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.07716701902748414,
    "y": 0.41022364217252394
    } ] } } } }
    出力(要素)
    検出した名刺リーダーの項目
    検出した値
    開始位置の座標 とサイズ
    座標(左上)
    座標(右上)
    座標(右下)
    座標(左下)
    名刺リーダー

    View full-size slide

  69. ドキュメント処理

    View full-size slide

  70. ドキュメント処理
    70
    ◼ ドキュメントからテキスト、テーブル、数値、手書きテキスト、チェックボッ
    クスなどの情報を抽出する独自のカスタム モデルを簡単に構築し、トレーニン
    グして公開できる
    ◼ トレーニングは、自作のデータを使用して調整を行う
    ◼ ドキュメントからフィールド、テーブル、およびチェックボックスを抽出可能
    カスタムモデル
    ドキュメント処理

    View full-size slide

  71. ドキュメント処理
    71
    モデルのトレーニング
    ドキュメント処理

    View full-size slide

  72. ドキュメント処理モデルの作成
    72
    ◼ モデルを トレーニング し、フォームから抽出される情報を定義する
    ◼ 同じレイアウトを使用するサンプルが5つ以上の必要
    ◼ ドキュメントの種類
    ➢ 構造化ドキュメント(および半構造化ドキュメント)
    指定されたレイアウト、フィールド、テーブル、チェックボックス、
    およびその他のアイテムが同じような場所で見つかるドキュメント
    のこと
    ➢ 構造化されていないドキュメント(自由形式)
    構造が設定されておらず、その多くは段落の数がそれぞれに異なる
    自由形式のドキュメント
    ドキュメント処理

    View full-size slide

  73. モデルについて ①
    73
    ◼ モデルのライフサイクル
    ➢ 公開済みのバージョン - 1 つ
    Power Automate や Power Apps で利用可能
    ➢ 最後にトレーニング済み、未公開バージョン - 1 つ
    トレーニング済み&未公開
    ➢ ドラフト バージョン - 1 つ
    下書き
    ◼ コレクション
    同じ項目を共有するドキュメントのグループ
    コレクションを複数追加すると、レイアウトが異なるドキュメントから
    同じ情報を抽出する独自の AI モデルを作成できる
    ドキュメント処理

    View full-size slide

  74. モデルについて ②
    74
    ◼ 抽出する情報の種類
    ➢ フィールド
    印刷または手書きのテキストを抽出
    ➢ チェックボックス
    チェック ボックスやラジオ ボタンなどの選択マークを抽出
    ➢ テーブル
    表形式の情報を抽出
    結合したセル、入れ子になった項目、境界線の有無、複数のページ
    にまたがる可能性がある項目を含む、複雑なテーブル
    ドキュメント処理

    View full-size slide

  75. ドキュメント処理モデルの
    トレーニングと発行
    75
    ① ドキュメントの種類を選択する(構造化(半構造化)⇔非構造化)
    ② 抽出する項目を設定する
    ③ ドキュメントのコレクションを追加する
    ④ ドキュメントにタグを付ける
    ⑤ トレーニングする
    ⑥ (オプション)クイックテストする
    ⑦ 発行する
    ⑧ アプリやフローでモデルを利用する
    ドキュメント処理

    View full-size slide

  76. テーブルへのタグ設定
    76
    列の区切りは ctrl + 左クリック
    行の区切りは
    左クリック
    タイトル行
    を無視
    各セルに対しタグ付け可能
    列名をマッピング
    テーブルの区切りは、
    列と行の数を指定してもよい
    ドキュメント処理

    View full-size slide

  77. 仕様と出力 ①
    77
    ◼ サポート言語
    ➢ 構造化および半構造化ドキュメント :
    アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ
    語 (ラテン)、ボージュプリー語-ヒンディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、
    チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、チェコ語、デンマーク語、ダリー語、ディマル語
    (デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、
    キリバス語、ゴーンディー語 (デーバナーガリー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デー
    バナーガリー)、ハンガリー語、アイスランド語、イナリ サーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、アイルランド語、イタリア語、
    日本語
    、ジャウンサリ語 (デーバナーガリー)、ジャワ語、カ
    ブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、韓国
    語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレ サーミ語、ルクセンブルク語、
    マハス・パハリー語 (デーバナーガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパー
    ル語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシタン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、リプアーリ語、ルーマニア語、ロマンシュ語、ロシア
    語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバナーガリー)、スコットランド語、スコットランド ゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語
    (デーバナーガリー)、スコルト サーミ語、スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トル
    コ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー語、ウェールズ語、西フリジア語、ユカテコマヤ語、
    チワン語、ズールー語
    ➢ 手書きテキストの言語
    英語、中国語 (簡体字)、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語
    ➢ 非構造化の自由形式のドキュメント :
    英語
    手書きについてはForm Recognizer の仕様なので不確かです
    ドキュメント処理

    View full-size slide

  78. 仕様と出力 ②
    78
    ◼ 出力項目
    ➢ 結果:
    検出されたすべてのテキスト
    ➢ フィールドとチェックボックスの値:
    タグ付けしたフィールドの文字列と
    チェックボックスのON/OFFの値(True/False)
    ➢ テーブルの値:
    タグ付けした列の値
    ドキュメント処理

    View full-size slide

  79. 制限
    79
    ◼ ファイルの制限
    ➢ PDF および画像 (JPG, PNG) ファイル
    PDF推奨(文字の抽出と位置でエラーが生じにくため)
    ➢ TIFFファイル
    トレーニングに使用できないが、 Power Automate ではデータ抽出可能
    ➢ ファイル サイズは 20 MBまで
    ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル
    ◼ コレクション数
    ➢ 造化および半構造化:各モデルごとに最大 200 まで
    ➢ 非構造化ドキュメント:無制限
    ◼ 呼び出し制限
    ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒
    ドキュメント処理

    View full-size slide

  80. Power Apps で使用する
    80
    [フォーム プロセッサ] コントロール
    [ギャラリー] の Itmes
    FormProcessor1.Tables.[モデルで定義したテーブル名]
    ThisItem.[モデルのテーブルで定義した列名]
    作成したモデルを選択
    FormProcessor1.Fields.[モデルのテーブルで定義したフィールド名]
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models
    ドキュメント処理

    View full-size slide

  81. Power Automate で使用する
    81
    件名 必須 タイプ 内容
    AIモデル 〇 モデル 分析に使用するドキュメント処理モデル
    ドキュメントの
    種類
    〇 文字列 分析するフォームのファイルの種類
    フォーム 〇 file 処理するフォーム
    ページ × 文字列 処理するページ範囲
    PDF, JPG, PNG, TIFF を取得
    動的コンテンツで取得
    ドキュメント処理

    View full-size slide

  82. 出力(全体)
    82
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0 ・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "pageCount": 1,
    "layoutName": "Adatum",
    "layoutConfidenceScore": 0.9800000190734863,
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "readResults": [
    ],
    "tables": {
    },
    "labels": {
    }
    ]
    }
    }
    }
    検出したテーブル情報
    検出されたすべてのOCR結果が
    出力される
    検出したフィールドと
    チェックボックス情報
    ドキュメント処理

    View full-size slide

  83. 83
    "InvoiceNumber": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "value": "1000",
    "displayName": "InvoiceNumber",
    "fieldType": "string",
    "confidence": 0.995,
    "text": "1000",
    "valueLocation": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "pageNumber": 1,
    "boundingBox": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.8875954710076146,
    "top": 0.11985685292052244,
    "width": 0.03932765607114419,
    "height": 0.01027344511923052,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection( ・・・,
    "coordinates": [
    ]
    }
    },
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "regions": [
    ] } } ] } }
    出力(要素)
    検出した値
    座標情報
    タグ名
    タグ名
    データ型
    開始位置の座標 とサイズ
    ドキュメント処理

    View full-size slide

  84. フィードバックループ機能 (Preview)
    ■ モデルの定期的な改善プロセスを自動化するために
    84
    https://learn.microsoft.com/ja-jp/ai-builder/feedback-loop
    信頼度が既定値
    未満の場合
    フィードバックループ
    にファイルを保存
    モデル一覧で
    お知らせ
    信頼度スコアが低かった
    ドキュメントで
    再トレーニングできる
    ドキュメント処理

    View full-size slide

  85. テキスト
    機能

    View full-size slide

  86. № モデル 事前/カスタム
    日本語
    対応
    説明
    1 感情分析 事前構築済み 〇 テキスト データから肯定的、否定的、中立的な感情を検出する
    2
    カテゴリ分類
    (Preview)
    事前構築済み ×
    顧客からのフィードバック テキストを、苦情、賛辞、顧客サービス、
    ドキュメント、価格および請求、スタッフなどの定義済みカテゴリに
    分類する
    3 カスタム ×
    独自のカテゴリ分類機械学習モデルを簡単に構築し、トレーニングし
    て公開する
    4
    エンティティの抽出
    事前構築済み △
    テキストから重要な要素を識別し、それらを年齢、都市、日時、組織、
    個人名および その他 などの定義済みカテゴリに分類する
    5 カスタム ×
    独自のエンティティ抽出機械学習モデルを簡単に構築し、トレーニン
    グして公開する
    6 キー フレーズ抽出 事前構築済み 〇 テキスト ドキュメントから要点(主な話題)を識別する
    7 言語検出 事前構築済み 〇 テキスト ドキュメントの主要な言語を識別する
    8 テキストの翻訳 事前構築済み 〇
    60 以上の言語間でリアルタイムにテキスト データを翻訳する
    日本ロケール未展開
    テキスト機能
    86
    New!!:Power Autoamte のみ

    View full-size slide

  87. 言語検出

    View full-size slide

  88. 言語検出
    88
    ◼ テキスト ドキュメントの主要な言語を識別する
    ◼ 検出された言語はロケールIDではなく、言語の "スクリプト" が返る
    ("en-US" ではなく "en" )
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    事前構築済みモデル
    言語検出

    View full-size slide

  89. 言語検出
    89
    AI Builder is a Microsoft Power
    Platform capability that provides AI
    models that are designed to
    optimize your business processes.
    AI Builder enables your business to
    use intelligence to automate
    processes and glean insights from
    your data in Power Apps and Power
    Automate.
    言語検出

    View full-size slide

  90. 仕様と出力
    90
    ◼ サポート言語
    ➢ アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アッサム語、アゼルバイジャン
    語、バスク語、ベラルーシ語、ベンガル語、ボスニア語、ブルガリア語、ミャンマー語、カタロニア語、中央
    クメール語、中国語、簡体中国語、中国語 (繁体字)、コルシカ語、クロアチア語、チェコ語、デンマーク語、
    ダリー語、ディベヒ語、オランダ語、英語、エスペラント語、エストニア語、フィジー語、フィンランド語、
    フランス語、ガリシア語、ジョージア語、ドイツ語、ギリシャ語、グジャラート語、ハイチ・クレオール語、
    ハウサ語、ヘブライ語、ヒンディー語、ミャオ語、ハンガリー語、アイスランド語、イボ語、インドネシア語、
    イヌクティトット語、アイルランド語、イタリア語、日本語、ジャワ文字、カンナダ語、カザフ語、キニヤル
    ワンダ語、キルギス語、韓国語、クルド語、ラオス語、ラテン語、ラトビア語、リトアニア語、ルクセンブル
    ク語、マケドニア語、マダガスカル語、マレー語、マラヤーラム語、マルタ語、マオリ語、マラーティー語、
    モンゴル語、ネパール語、ノルウェー語、ノルウェー語ニーノシュク、オリヤー語、パシュトウ語、ペルシャ
    語、ポーランド語、Portuguese、パンジャーブ語、オトミ語、ルーマニア語、ロシア語、サモア語、セルビア
    語、ショナ語、シンド語、シンハラ語、スロバキア語、スロベニア語、ソマリ語、スペイン語、スンダ文字、
    スワヒリ語、スウェーデン語、タガログ語、タヒチ語、タジク語、タミル語、タタール語、テルグ語、タイ語、
    チベット語、ティグリニア語、トンガ語、トルコ語、トルクメン語、ウクライナ語、ウルドゥ語、ウズベク語、
    ベトナム語、ウェールズ語、コサ語、イディッシュ語、ヨルバ語、ユカテコ語、ズールー語
    https://learn.microsoft.com/ja-jp/azure/cognitive-services/language-service/language-
    detection/language-support#languages-supported-by-language-detection
    ◼ 出力項目
    ➢ 結果: 入力テキストで検出された言語の一覧
    ➢ 言語: 言語コードのスクリプト バージョン (例: “en”、“fr”、“zh_chs”、“ru”)。 (信頼度も出力される)
    https://learn.microsoft.com/ja-jp/ai-builder/flow-language-detection#output
    一覧で出力されない模様
    言語検出

    View full-size slide

  91. 制限
    91
    ◼ ドキュメントの制限
    ➢ 5,120 文字まで
    ◼ 呼び出し制限
    ➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環
    境ごとに
    400回/60秒
    言語検出

    View full-size slide

  92. 92
    [ボタン] コントロール の OnSelect
    ClearCollect(colLanguagedetection,言語検出.Predict(TextInput.Text))
    言語検出
    First(colLanguagedetection).Language
    First(colLanguagedetection).Confidence
    Power Apps で使用する
    言語検出

    View full-size slide

  93. 出力
    93
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    {
    Language: String,
    Confidence: Number
    }
    検出された言語コード
    検出された言語コードの信頼度
    言語検出

    View full-size slide

  94. Power Automate で使用する
    94
    件名 必須 タイプ 内容
    テキスト 〇 文字列 言語検出するテキスト文
    検出された言語コード
    検出された言語コードの信頼度
    outputs('テキストで使用されている言語を検出します')
    ?['body']?['responsev2']?['predictionOutput']?['results']?[0]?['language']
    first(body('テキストで使用されている言語を検出します')
    ?['responsev2']?['predictionOutput']?['results'])?['score']
    言語コードや信頼度スコアは配列に格納されているため、
    自動的にApply to Each が追加されます
    言語検出

    View full-size slide

  95. "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "results": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "language": "en",
    "score": 0.97
    }
    ]
    }
    }
    }
    出力
    95
    検出された言語コード
    検出された言語コードの信頼度
    検出される言語コードは1つだが、
    配列に囲まれて出力されるため注意
    言語検出

    View full-size slide

  96. 感情分析

    View full-size slide

  97. 感情分析
    97
    ◼ テキスト データから肯定的、否定的、または中立的な感情を検出する
    ◼ 複数の文で構成されたドキュメント全体の感情は、センテンスのスコア
    を集計することで判断される。
    スコアのない "混在" センチメント ラベルが与えられる場合もある。
    ◼ Azure Cognitive Service for Language テクノロジを使用しセンチメント
    を識別する
    事前構築済みモデル
    感情分析

    View full-size slide

  98. 感情分析
    98
    各センチメントの
    信頼度スコア
    ドキュメント全体のセンチメント
    私の拙い登壇をお聞きいただき
    ありがとうございます
    好きです。
    嫌いです。
    どちらでもありません。
    テキストのoffset、lengthも
    出力される
    ドキュメント全体のセンチメント
    感情分析

    View full-size slide

  99. 仕様と出力
    99
    ◼ サポート言語
    ➢ ドイツ語、スペイン語、英語、フランス語、ヒンズー語、イタリア語、
    日本語、韓国語、オランダ語、ノルウェー語、ポルトガル語 (ブラジル)、
    ポルトガル語 (ポルトガル)、トルコ語、中国語 (簡体字)、中国語 (繁体字)
    ◼ 出力項目
    ➢ 一文ごと、およびドキュメント全体の分析結果
    https://learn.microsoft.com/ja-jp/ai-builder/flow-sentiment-analysis#output
    ➢ センチメント :
    positive / neutral / negative、および mixed (ドキュメント全体でのみ出力される)
    ➢ 信頼度スコア
    0 から 1 の範囲の値
    値が 1 に近いと、識別されたセンチメントが正確であるという高い信頼度を示す
    感情分析

    View full-size slide

  100. 制限
    100
    ◼ ドキュメントの制限
    ➢ 5,120 文字まで
    ◼ 呼び出し制限
    ➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環
    境ごとに
    400回/60秒
    感情分析

    View full-size slide

  101. Power Apps で使用する
    101
    [ボタン] コントロール の OnSelect
    ClearCollect(colsentiment, 感情分析.Predict(TextInput.Text, {Language:"ja"}))
    感情分析
    [ギャラリー] の Itmes
    First(colsentiment).Sentences
    First(colsentiment).Document.TopSentiment.Name
    ThisItem.TopSentiment.Name
    ThisItem.TopSentiment.Confidence
    Mid(TextInput1, ThisItem.StartIndex+1,
    ThisItem.Length)
    次ページにて説明
    感情分析

    View full-size slide

  102. 出力
    102
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    {
    Document: {
    AllSentiments: [
    { Name: "Positive", Confidence: Number },
    { Name: "Neutral", Confidence: Number },
    { Name: "Negative", Confidence: Number }
    ],
    TopSentiment: { Name: "Positive/Neutral/Negative/Mixed", Confidence: Number }
    }
    Sentences: [
    {
    StartIndex: Number,
    Length: Number,
    AllSentiments: [
    { Name: "Positive", Confidence: Number },
    { Name: "Neutral", Confidence: Number },
    { Name: "Negative", Confidence: Number }
    ],
    TopSentiment: { Name: "Positive/Neutral/Negative", Confidence: Number }
    },
    {
    ・・・
    },
    ]
    }
    positive / neutral / negative の3つなのに配列になっている
    Index(First(colsentiment).Document.
    AllSentiments,1).Confidence
    ドキュメント全体
    のセンチメント
    一文ごとの
    センチメント
    (配列)
    一文ごとの
    開始位置(0からカウント)と長さ
    一文ごとの分析結果を配列で出力
    StartIndexn の値
    ドキュメント全体に改行が入ると狂う
    改行コードも1文字でカウントされる
    感情分析

    View full-size slide

  103. Power Automate で使用する
    103
    件名 必須 タイプ 内容
    言語 〇 文字列 事前定義された言語または言語コードの一
    覧内のアイテム
    (例: "en"、"jp"、"zh_chs"、"ru")
    テキスト 〇 文字列 分析するテキスト文
    動的コンテンツで取得
    一文ごとのセンチメントの信頼度スコア
    Sentences
    感情分析

    View full-size slide

  104. 出力
    104
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "sentiment": "mixed",
    "documentScores": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "positive": 0.5,
    "neutral": 0.01,
    "negative": 0.49
    },
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "sentences": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "sentiment": "positive",
    "offset": 0,
    "length": 6,
    "sentenceScores": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "positive": 0.99,
    "neutral": 0.01,
    "negative": 0
    }
    },
    {
    },
    {
    }
    ] } } } }
    ドキュメント全体の結果
    一文ごとの各信頼度スコア
    一文ごとの結果
    ドキュメント全体のセンチメント
    ドキュメント全体の各信頼度スコア
    一文ごとの開始位置と文字列長
    一文ごとのセンチメント
    感情分析

    View full-size slide

  105. カテゴリ分類
    (事前構築済み)

    View full-size slide

  106. 事前構築済みモデル
    カテゴリ分類
    106
    ◼ 顧客からのフィードバック テキストを、苦情、賛辞、顧客サービス、ド
    キュメント、価格および請求、スタッフの定義済みカテゴリに分類する
    ◼ 現状、一つの文ごとの分析は行われない模様
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    固有のカテゴリで識別する時は、カスタムモ
    デル(カテゴリ分類)を利用しよう
    プレビュー
    カテゴリ分類(事前構築済み)

    View full-size slide

  107. カテゴリ分類
    107
    分類の信頼度スコア
    For product details visit
    http://www.fabrikam.com/.
    Very kind host, clean and cozy
    room. Convinient for sightseeing.
    検出されたカテゴリ
    製品の詳細は http://www.fabrikam.com/ を
    ご覧ください。
    とても親切なホストで綺麗でくつろげる部屋で
    した。観光にも便利でした。
    ドキュメント
    賛辞
    カテゴリ分類(事前構築済み)

    View full-size slide

  108. 仕様と出力
    108
    ◼ サポート言語
    ➢ 英語、中国語 (簡体字)、フランス語、ドイツ語、ポルトガル語、イタリア語、
    スペイン語
    ◼ 出力項目
    ➢ カテゴリ :
    ➢ 信頼度スコア
    0 から 1 の範囲の値
    値が 1 に近いと、検出が正確であるという高い信頼度を示す
    日本語未対応
    問題 Issue
    賛辞 Compliment
    顧客サービス Customer Service
    ドキュメント Documentation
    価格 & 請求 Pricing & Billing
    スタッフ Staff
    カテゴリ分類(事前構築済み)

    View full-size slide

  109. 制限
    109
    ◼ ドキュメントの制限
    ➢ 5,000 文字まで
    ◼ 呼び出し制限
    ➢ 不明(Leranに記載なし)
    カテゴリ分類(事前構築済み)

    View full-size slide

  110. Power Apps で使用する
    110
    [ボタン] コントロール の OnSelect
    ClearCollect(colcategorization,カテゴリ分類.Predict(TextInput.Text,{Language:"en"}))
    カテゴリ分類
    First(colcategorization).TopClass.Name
    First(colcategorization).TopClass.Confidence
    カテゴリ分類(事前構築済み)

    View full-size slide

  111. 出力
    111
    https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models
    {
    AllClasses: [
    {
    Name: String,
    Confidence: Number
    },
    {
    ・・・
    }
    ],
    TopClass: {
    Name: String,
    Confidence: Number
    }
    }
    ドキュメント全体
    のカテゴリ
    一文ごとの
    カテゴリ(配列)
    現状は TopClass の値を参照すればよい
    一文毎の解析は
    機能していない?
    分類されたカテゴリ
    信頼度スコア
    配列で出力されない
    カテゴリ分類(事前構築済み)

    View full-size slide

  112. Power Automate で使用する
    112
    件名 必須 タイプ 内容
    言語 〇 文字列 事前定義された言語または言語コードの一
    覧内のアイテム
    (例: "en"、"jp"、"zh_chs"、"ru")
    テキスト 〇 文字列 分析するテキスト文
    分類や信頼度スコアは配列に格
    納されているため、自動的に
    Apply to Each が追加されます
    カテゴリ分類(事前構築済み)
    ドキュメント全体の分類されたカテゴリ
    ドキュメント全体の信頼度スコア
    body('標準モデルを使用してテキストをカテゴリに分類する')?
    ['responsev2']?['predictionOutput']?['results']?[0]?['type']
    first(body('標準モデルを使用してテキストをカテゴリに分類する')?
    ['responsev2']?['predictionOutput']?['results'])?['score']

    View full-size slide

  113. 出力
    113
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "results": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "type": "Staff",
    "score": 0.393411875
    }
    ]
    }
    }
    }
    ドキュメント全体の分類されたカテゴリ
    ドキュメント全体の信頼度スコア
    カテゴリ分類(事前構築済み)

    View full-size slide

  114. カテゴリ分類
    (カスタム)

    View full-size slide

  115. カスタムモデル
    カテゴリ分類(カスタムモデル)
    115
    ◼ テキストデータをあらかじめ定義したタグで分類する機械学習モデルを
    簡単に構築し、トレーニングして公開することができる
    ◼ トレーニングデータは Dataverse テーブル に格納する必要がある
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    プレビュー
    カテゴリ分類(カスタムモデル)

    View full-size slide

  116. ◼ Dataverse テーブル内にトレーニングデータを格納しトレーニングを実施する
    ◼ トレーニングデータは正しい形式で構造化されている必要がある
    ◼ トレーニング済みのモデルは、Power Automate および Power Apps で利用可能
    ◼ モデルのライフサイクル
    ➢ 公開済みのバージョン - 1 つ
    Power Automate や Power Apps で利用可能
    ➢ 最後にトレーニング済み、未公開バージョン - 1 つ
    トレーニング済み&未公開
    ➢ ドラフト バージョン - 1 つ
    下書き
    カテゴリ分類モデルの作成
    116
    カテゴリ分類(カスタムモデル)

    View full-size slide

  117. トレーニングデータについて
    117
    ◼ Dataverse テーブル内に格納する
    ◼ テーブルには、テキスト(複数行テキスト)とタグ(1行テキスト)の
    2つの列を定義する
    ◼ 一つの分類タグにつき、少なくとも10個のテキストサンプルが必要
    (10未満でタグ付けされている場合は無視される)
    ◼ トレーニングデータ内には、少なくとも2つのタグが必要
    ◼ タグは最大200個まで定義可能
    ◼ テキストデータの各サンプルは5,000文字まで
    列名 必須 タイプ 内容
    分類タグ 1行テキスト 分類タグ
    • 空白可
    • 複数指定する場合はコンマ (,)、セミコロン (;)、
    タブのいずれかで区切る
    テキスト 〇 複数行テキスト トレーニング対象のテキストデータ
    カテゴリ分類(カスタムモデル)

    View full-size slide

  118. カテゴリ分類モデルの
    トレーニングと発行
    118
    ① サンプルデータを用意する(Dataverse テーブル、TextとTagsの列)
    ② テーブルからテキストが格納された列を選択する(Text列)
    ③ テーブルからタグが格納された列を選択する( Tags列)
    ④ タグの区切り文字を選択する
    ⑤ 言語を選択する
    ⑥ トレーニングする
    ⑦ (オプション)クイックテストする
    ⑧ 公開する
    ⑨ アプリやフローでモデルを利用する
    モデル名を「カテゴリ分類」にするのは非推奨
    (Category classification)
    (事前構築済みモデルの予約名と重複するため)
    カテゴリ分類(カスタムモデル)

    View full-size slide

  119. 仕様と出力
    119
    ◼ サポート言語
    ➢ 英語、フランス語、ドイツ語、ポルトガル語、イタリア語、
    スペイン語
    ◼ 出力項目
    ➢ 信頼度スコア
    0 から 1 の範囲の値
    値が 1 に近いと、検出が正確であるという高い信頼度を示す
    日本語未対応
    カテゴリ分類(カスタムモデル)

    View full-size slide

  120. 制限
    120
    ◼ ドキュメントの制限
    ➢ 5,000 文字まで
    ◼ 呼び出し制限
    ➢ 不明(Learnに記載なし)
    カテゴリ分類(カスタムモデル)

    View full-size slide

  121. Power Apps で使用する
    121
    [ボタン] コントロール の OnSelect
    ClearCollect(colcategorization_custom,
    [モデル名].Predict(TextInput.Text,{Language:"en"}))
    作成したモデル
    First(colcategorization_custom).TopClass.Name
    First(colcategorization_custom).TopClass.Confidence
    [ギャラリー] の Itmes
    First(colsentiment).Sentences
    ThisItem.Name
    ThisItem. Confidence
    カテゴリ分類(カスタムモデル)

    View full-size slide

  122. 出力
    122
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models
    {
    AllClasses: [
    {
    Name: String,
    Confidence: Number
    },
    {
    ・・・
    }
    ],
    TopClass: {
    Name: String,
    Confidence: Number
    }
    }
    最も信頼度スコア
    の高いカテゴリ
    分類された
    すべてのカテゴリ
    (配列)
    分類されたカテゴリ
    信頼度スコア
    カテゴリ分類(カスタムモデル)

    View full-size slide

  123. Power Automate で使用する
    123
    件名 必須 タイプ 内容
    AIモデル 〇 モデル トレーニングされ発行されたカテゴリ分類
    モデル
    テキスト 〇 文字列 分析するテキスト文
    言語 〇 文字列 「自動検出」または言語コード (例: "en"、
    "fr"、"zh_chs"、"ru")
    カテゴリ分類(カスタムモデル)

    View full-size slide

  124. "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "results": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "type": "Care",
    "score": 0.854097
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "type": "Staff",
    "score": 0.7570282
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "type": "Facilities",
    "score": 0.705356
    }
    ]
    }
    }
    }
    出力
    124
    ドキュメント全体で分類されたカテゴリ
    とその信頼度スコア
    カテゴリ分類(カスタムモデル)

    View full-size slide

  125. エンティティの抽出
    (事前構築済み)

    View full-size slide

  126. 事前構築済みモデル
    エンティティの抽出
    126
    ◼ テキストから重要な要素を識別し、それらを年齢、都市、日時、組織、
    個人名などの定義済みカテゴリに分類する
    ◼ エンティティを抽出することで、非構造化データを、コンピューターで
    読み取り可能な構造化データに変換できるので、情報を取得し事実を抽
    出可能となる
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    固有のエンティティで識別す
    る時は、カスタムモデル(エ
    ンティティの抽出)を利用し
    よう
    エンティティの抽出(事前構築済み)

    View full-size slide

  127. DeepL翻訳は、2017年8月28日
    にサービスを開始した無償の
    ニューラル機械翻訳サービスで、
    ドイツのケルンに本拠地を置く
    DeepL GmbH が開発した。
    エンティティの抽出
    127
    エンティティの値
    エンティティの種類
    エンティティの抽出(事前構築済み)

    View full-size slide

  128. 仕様と出力
    128
    ◼ サポート言語
    ➢ アラビア語、イタリア語、オランダ語、スウェーデン語、スペイン
    語、チェコ語、デンマーク語、ドイツ語、トルコ語、ノルウェー語
    (ブークモール)、ハンガリー語、フィンランド語、フランス語、ポー
    ランド語、中国語 (簡体字)、日本語、英語、韓国語
    ◼ 出力項目
    ➢ モデルの出力
    https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-entity-
    extraction#supported-entity-types
    2023年1月
    Power automate での情報です(Learn未記載)
    Power Apps は日本語対応していない模様)
    エンティティの抽出(事前構築済み)

    View full-size slide

  129. 129
    年齢 Age 数値として抽出された人、場所、または物の年齢
    Boolean Boolean ブール値として抽出された、肯定応答または否定応答
    市区町村 City(GPE) 文字列として抽出された、市区町村名
    色 Color 文字列として抽出された、カラー スペクトル上の原色と色合い
    大陸 Continent 文字列として抽出された、大陸名
    国/地域 Country or region 文字列として抽出された、国と地域の名前
    日付と時刻 Date and time 文字列として抽出される、ある時点に相対した日付、時刻、曜日、および月
    期間 Duration 文字列、標準の TimeSpan 形式として抽出された、時間の長さ
    メールアドレス Email 文字列として抽出されるメール アドレス
    イベント Event 文字列として抽出された、イベント名
    言語 Language 文字列として抽出された、言語名
    金額 Money 数値として抽出された、金額
    番号 Number 数値として抽出された、数値またはテキスト形式の基数
    序数 Ordinal 数値として抽出された、数値またはテキスト形式の序数
    組織 Organization 文字列として抽出される、組織、アソシエーション、および企業の名前
    割合 Percentage 数値またはテキスト形式のパーセンテージ。数値として抽出されます
    個人名 Person name 文字列として抽出される、人名の一部またはフル ネーム
    電話番号 Phone number 文字列として抽出された、標準の米国形式の電話番号
    速度 Speed 数として抽出される速度
    米国の州 State 米国の州の名称と略称。文字列として抽出されます
    番地 Street address
    標準の米国形式での番号付きの所番地、通り、道路、市区町村、州、郵便番号。文字列として抽出さ
    れます
    温度 Temperature 数値として抽出された、温度
    URL URL 文字列として抽出される Web サイトの URL とリンク
    エンティティの種類
    エンティティの抽出(事前構築済み)

    View full-size slide

  130. 制限
    130
    ◼ ドキュメントの制限
    ➢ 5,000 文字まで
    ◼ 呼び出し制限
    ➢ 不明(Leranに記載なし)
    エンティティの抽出(事前構築済み)

    View full-size slide

  131. Power Apps で使用する
    131
    [ボタン] コントロール の OnSelect
    ClearCollect(colEntityClassification,
    エンティティの抽出.Predict(TextInput.Text,{Language:"en"}))
    エンティティの抽出
    ThisItem.Value
    ThisItem.Type
    [ギャラリー] の Itmes
    First(colEntityClassification).Entities
    ThisItem.Confidence
    エンティティの抽出(事前構築済み)

    View full-size slide

  132. 出力
    132
    https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models
    {
    Entities: [
    {
    Type: String,
    Value: String,
    StartIndex: Number,
    Length: Number,
    Confidence: Number
    },
    {
    ・・・
    }
    ]
    }
    エンティティごと
    の配列
    エンティティの値
    エンティティの種類
    検出したエンティティの開始位置
    検出したエンティティの文字長
    信頼度スコア
    エンティティの抽出(事前構築済み)

    View full-size slide

  133. Power Automate で使用する
    133
    件名 必須 タイプ 内容
    テキスト 〇 文字列 分析するテキスト文
    言語 〇 文字列 事前定義された言語または言語コードの一
    覧内のアイテム
    (例: "en"、"jp"、"zh_chs"、"ru")
    エンティティの抽出(事前構築済み)

    View full-size slide

  134. 出力
    134
    "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "text": "DeepL翻訳は、2017年8月28日にサービスを開始した無償のニューラル機械翻訳サービスで、
    ドイツのケルンに本拠地を置く DeepL GmbH が開発した。",
    "textScore": 1,
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "entities": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "type": "Organization",
    "startIndex": 0,
    "length": 5,
    "value": "DeepL",
    "score": 0.8213612175505702
    },
    {
    ・・・
    }
    ] } } } }
    エンティティの種類
    信頼度スコア
    エンティティの値
    検出したエンティティの開始位置と文字長
    エンティティの抽出(事前構築済み)

    View full-size slide

  135. エンティティの抽出
    (カスタム)

    View full-size slide

  136. カスタムモデル
    エンティティの抽出(カスタムモデル)
    136
    ◼ テキストから特定のキーワード、エンティティ、機能を識別するエン
    ティティ抽出モデルを簡単に構築し、トレーニングして公開することが
    できる
    ◼ トレーニングデータは Dataverse テーブル に格納する必要がある
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    エンティティの抽出(カスタム)

    View full-size slide

  137. ◼ Dataverse テーブル内にトレーニングデータを格納しトレーニングを実施する
    ◼ アップロードされた例から、あらかじめ組み込まれたエンティティ タイプを自動的に
    抽出する
    ◼ 結果に満足しない場合はカスタマイズ可能
    ➢ 独自のエンティティを新規に作成
    ➢ 既存のエンティティ種別を変更
    ➢ モデルに含めたくないエンティティを選択解除
    ◼ トレーニング済みのモデルは、Power Automate および Power Apps で利用可能
    ◼ モデルのライフサイクル
    ➢ 他のカスタムモデルと同じ(3つ)
    エンティティの抽出モデルの作成
    137
    (5つ以上の例を追加する必要あり)
    エンティティの抽出(カスタム)

    View full-size slide

  138. トレーニングデータについて
    138
    ◼ Dataverse テーブル内に格納する
    ◼ テーブルには、テキスト(複数行テキスト)列を定義する
    ◼ テキストデータの例は、10個以上のテキストサンプルが必要
    ◼ エンティティを新規作成または、事前構築済みの既存エンティティ種別
    を変更する場合は、5つ以上の例を指定する必要がある
    件名 必須 タイプ 内容
    テキスト 〇 複数行テキスト トレーニング対象のテキストデータ
    エンティティの抽出(カスタム)

    View full-size slide

  139. エンティティの抽出モデルの
    トレーニングと発行
    139
    ① サンプルデータを用意する(Dataverse テーブル、Text列)
    ② テーブルからサンプルテキストが格納された列を選択する(Text列)
    ③ 言語を選択する
    ④ 事前構築済みモデルによるエンティティの自動抽出が行われる
    ⑤ モデルの確認と調整(エンティティの追加/修正/削除)を行う
    ⑥ トレーニングする
    ⑦ (オプション)クイックテストする
    ⑧ 公開する
    ⑨ アプリやフローでモデルを利用する
    モデル名を「エンティティの抽出」に
    するのは非推奨(Entity extraction)
    (事前構築済みモデルの予約名と重複
    するため)
    エンティティの抽出(カスタム)

    View full-size slide

  140. 仕様と出力
    140
    ◼ サポート言語
    ➢ 英語、中国語 (簡体字)、フランス語、ドイツ語、ポルトガル語、イタ
    リア語、スペイン語
    ◼ 出力項目
    ➢ 信頼度スコア
    0 から 1 の範囲の値
    値が 1 に近いと、検出が正確であるという高い信頼度を示す
    日本語未対応
    エンティティの抽出(カスタム)

    View full-size slide

  141. 制限
    141
    ◼ ドキュメントの制限
    ➢ 5,000 文字まで
    ◼ 呼び出し制限
    ➢ 不明(Learnに記載なし)
    エンティティの抽出(カスタム)

    View full-size slide

  142. Power Apps で使用する
    142
    [ボタン] コントロール の OnSelect
    ClearCollect(colEntityClassification_custom,
    [モデル名].Predict(TextInput.Text,{Language:"en"}))
    作成したモデル
    ThisItem.Type
    ThisItem.Confidence
    [ギャラリー] の Itmes
    First(colEntityClassification_custom).Entities
    ThisItem.Value
    ThisItem. Confidence
    エンティティの抽出(カスタム)

    View full-size slide

  143. 出力
    143
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models
    {
    Entities: [
    {
    Type: String,
    Value: String,
    StartIndex: Number,
    Length: Number,
    Confidence: Number
    },
    {
    ・・・
    }
    ]
    }
    エンティティごとの
    カテゴリ(配列)
    エンティティの値
    エンティティの種類
    検出したエンティティの開始位置
    検出したエンティティの文字長
    信頼度スコア
    エンティティの抽出(カスタム)

    View full-size slide

  144. Power Automate で使用する
    144
    件名 必須 タイプ 内容
    AIモデル 〇 モデル トレーニングされ発行されたエンティティ
    の抽出モデル
    テキスト 〇 文字列 分析するテキスト文
    言語 〇 文字列 「自動検出」または言語コード (例: "en"、
    "fr"、"zh_chs"、"ru")
    エンティティの抽出(カスタム)

    View full-size slide

  145. "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "result": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "text": "Miyake will be speaking about AI Builder at the January 28, 2023 study group at
    will hosted by Miss Panda. conpass event URL is https://kimamani.connpass.com/event/271638/."",
    "textScore": 1,
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "entities": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "type": "PersonName",
    "startIndex": 0,
    "length": 6,
    "value": "Miyake",
    "score": 0.242974231931466722
    },
    {
    ・・・
    }
    ] } } } }
    出力
    145
    エンティティの種類
    信頼度スコア
    エンティティの値
    検出したエンティティの開始位置と文字長
    エンティティの抽出(カスタム)

    View full-size slide

  146. キーフレーズ抽出

    View full-size slide

  147. 事前構築済みモデル
    キーフレーズの抽出
    147
    ◼ テキスト ドキュメントから要点を識別する
    ◼ 非構造化テキストからの主要なトーキングポイントを識別する
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    キーフレーズの抽出

    View full-size slide

  148. AI Builder は、ビジネスプロセ
    スを最適化するように設計され
    た AI モデルを提供する
    Microsoft Power Platform 機能
    です。
    キーフレーズ抽出
    148
    エンティティの値
    抽出されたキーフレーズ
    キーフレーズの抽出

    View full-size slide

  149. 仕様と出力
    149
    ◼ サポート言語
    ➢ アフリカーンス語、ブルガリア語、カタルニア語、中国語 (簡体字および繁体字)、
    クロアチア語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、
    フランス語、ドイツ語、ギリシャ語、ハンガリー語、イタリア語、インドネシア語、
    日本語、韓国語、ラトビア語、ノルウェー語 (ブークモール)、ポーランド語、ポ
    ルトガル語 (ブラジル)、ポルトガル語 (ポルトガル)、ルーマニア語、ロシア語、
    スペイン語、スロバキア語、スロベニア語、スウェーデン語、トルコ語
    ◼ 出力項目
    ➢ キーフレーズ
    分析されたテキストの主要な話題を示す文字列
    キーフレーズの抽出

    View full-size slide

  150. 制限
    150
    ◼ ドキュメントの制限
    ➢ 5,120 文字まで
    ◼ 呼び出し制限
    ➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環
    境ごとに
    400回/60秒
    キーフレーズの抽出

    View full-size slide

  151. Power Apps で使用する
    151
    [ボタン] コントロール の OnSelect
    ClearCollect(colKeyPhraseExtraction,'キー フレーズ抽出
    '.Predict(TextInput.Text,{Language:"ja"}))
    ThisItem.Phrase
    [ギャラリー] の Itmes
    First(colKeyPhraseExtraction).Phrases
    キーフレーズ抽出
    キーフレーズの抽出

    View full-size slide

  152. 出力
    152
    https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models
    {
    Phrases: [
    {
    Phrases: String
    },
    {
    ・・・
    }
    ]
    }
    検出されたキーフレーズ抽出
    キーフレーズの抽出

    View full-size slide

  153. Power Automate で使用する
    153
    件名 必須 タイプ 内容
    テキスト 〇 文字列 分析するテキスト文
    言語 〇 文字列 事前定義された言語または言語コードの一
    覧内のアイテム
    (例: "en"、"jp"、"zh_chs"、"ru")
    キーフレーズの抽出

    View full-size slide

  154. "body": {
    "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・",
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]":
    "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "results": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "phrase": "AI モデルを提供する"
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "phrase": "Microsoft"
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "phrase": "ビジネスプロセスを最適化"
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "phrase": "機能"
    }
    ]
    } } }
    出力
    154
    キーフレーズの抽出

    View full-size slide

  155. テキストの翻訳

    View full-size slide

  156. テキストの翻訳
    156
    ◼ 100 以上の言語間でリアルタイムにテキスト データを翻訳する
    ◼ 翻訳するテキスト データの言語を検出することも可能
    (信頼度も出力される)
    ◼ 日本ロケーションには未展開(米国またはヨーロッパのみ)
    ◼ Azure Cognitive Service for Language テクノロジを使用している
    事前構築済みモデル
    テキストの翻訳

    View full-size slide

  157. テキストの翻訳
    157
    AI Builder is a Microsoft Power
    Platform capability that provides AI
    models that are designed to
    optimize your business processes.
    AI Builder enables your business to
    use intelligence to automate
    processes and glean insights from
    your data in Power Apps and Power
    Automate.
    AI ビルダーは、ビジネス プロセスを最適化
    するように設計された AI モデルを提供する
    Microsoft Power Platform 機能です。AI
    Builder を使用すると、ビジネスはインテリ
    ジェンスを使用してプロセスを自動化し、
    Power Apps と Power Automate のデータから
    分析情報を収集できます。
    テキストの翻訳

    View full-size slide

  158. 仕様と出力
    158
    ◼ サポート言語
    ➢ アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アッサム語、アゼルバイジャン
    語 (ラテン)、ベンガル語、バシキール語、バスク語、ボスニア語 (ラテン)、ブルガリア語、広東語 (繁体字)、
    カタロニア語、中国語 (文語)、簡体中国語、中国語 (繁体字)、クロアチア語、チェコ語、デンマーク語、ダ
    リー語、ディベヒ語、オランダ語、英語、エストニア語、フェロー語、フィジー語、フィリピン語、フィンラ
    ンド語、フランス語、フランス語 (カナダ)、ガリシア語、ジョージア語、ドイツ語、ギリシャ語、グジャラー
    ト語、ハイチ・クレオール語、ヘブライ語、ヒンディー語、ミャオ語 (ラテン)、ハンガリー語、アイスランド
    語、インドネシア語、イヌイナクトゥン語、イヌクティトット語、イヌクティトット語 (ラテン)、アイルラン
    ド語、イタリア語、日本語、カンナダ語、カザフ語、クメール語、クリンゴン語、クリンゴン語 (plqaD)、韓
    国語、クルド語 (中央)、クルド語 (北)、キルギス語 (キリル)、ラオス語、ラトビア語、リトアニア語、マケ
    ドニア語、マダガスカル語、マレー語 (ラテン)、マラヤーラム語、マルタ語、マオリ語、マラーティー語、モ
    ンゴル語 (キリル)、モンゴル語 (繁体字)、ミャンマー、ネパール語、ノルウェー語、オディア語、パシュトウ
    語、ペルシャ語、ポーランド語、ポルトガル語 (ブラジル)、ポルトガル語 (ポルトガル)、パンジャーブ語、オ
    トミ語、ルーマニア語、ロシア語、サモア語 (ラテン)、セルビア語 (キリル)、セルビア語 (ラテン)、スロバ
    キア語、スロベニア語、ソマリ語 (アラビア語)、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タヒチ
    語、タミル語、タタール語 (ラテン)、テルグ語、タイ語、チベット語、ティグリニア語、トンガ語、トルコ語、
    トルクメン語 (ラテン)、ウクライナ語、高地ソルブ語、ウルドゥ語、ウイグル語 (アラビア語)、ウズベク語
    (ラテン)、ベトナム語、ウェールズ語、ユカテコ語、ズールー語
    https://learn.microsoft.com/ja-jp/azure/cognitive-services/translator/language-support#translation
    ◼ 出力項目
    ➢ テキスト: 翻訳されたテキスト
    ➢ 検出された言語: ソース言語を指定した場合は出力されない (信頼度も出力される)
    テキストの翻訳

    View full-size slide

  159. 制限
    159
    ◼ ドキュメントの制限
    ➢ 10,000 文字まで
    ◼ 利用可能なリージョン
    ➢ 米国、ヨーロッパのみ(2023/1/19時点)
    https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models
    ◼ 呼び出し制限
    ➢ 不明(Learnに記載なし)
    テキストの翻訳

    View full-size slide

  160. 160
    [ボタン] コントロール の OnSelect
    ClearCollect(colTexttranslation,テキストの翻訳.Predict(TextInput1.Text,{'Translate To':"ja"}))
    テキストの翻訳
    First(colTexttranslation).Text
    First(colTexttranslation).DetectedLanguage
    Power Apps で使用する
    'Translate From:'は指定なし推奨
    テキストの翻訳

    View full-size slide

  161. 出力
    161
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
    {
    Text: string,
    Translated text DetectedLanguage: string,
    DetectedLanguageConfidence: Number
    }
    翻訳された言語
    検出された入力テキストの言語
    検出された入力テキストの言語の信頼度
    テキストの翻訳

    View full-size slide

  162. Power Automate で使用する
    162
    件名 必須 タイプ 内容
    テキスト 〇 文字列 翻訳するテキスト文
    翻訳後の言語 〇 文字列 事前定義された言語または言語コードの一
    覧内のアイテム
    (例: "en"、"jp"、"zh_chs"、"ru")
    翻訳元の言語 〇 文字列 「自動検出」または言語コード (例: "en"、
    "fr"、"zh_chs"、"ru")
    テキストの翻訳

    View full-size slide

  163. 出力
    163
    "body": {
    "@odata.context":
    "https://orge783a93d.crm.dynamics.com/api/data/v9.1・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "text": "AI ビルダーは、ビジネス プロセスを最適化するように
    設計された AI モデルを提供する Microsoft Power Platform 機能です。AI
    Builder を使用すると、ビジネスはインテリジェンスを使用してプロセスを自動
    化し、Power Apps と Power Automate のデータから分析情報を収集できます。
    ",
    "detectedLanguage": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "language": "en",
    "score": 1
    }
    }
    }
    }
    ドキュメント全体の結果
    ドキュメント全体のセンチメント
    検出された言語
    検出された言語の信頼度スコア
    「翻訳元の言語」が"自動検出"の場合のみ出力
    テキストの翻訳

    View full-size slide

  164. 構造化データ
    機能

    View full-size slide

  165. 画像
    機能

    View full-size slide

  166. № モデル 事前/カスタム
    日本語
    対応
    説明
    1 物体検出 カスタム - 画像から定義したオブジェクトの位置や数を認識する
    2
    画像分類
    (Lobe による)
    カスタム - 画像を定義したラベルに分類する
    画像機能
    166

    View full-size slide

  167. 物体検出

    View full-size slide

  168. 物体検出
    168
    ◼ 画像からカスタム オブジェクトを識別して位置を認識するオブジェクト
    検出カスタム モデルを簡単に構築し、トレーニングして公開することが
    できる
    ◼ 小売棚のオブジェクト、ブランドロゴ、または共通のオブジェクトから
    モデルドメインを選択する
    ◼ トレーニングは、自作のデータを使用して調整を行う
    カスタムモデル
    物体検出

    View full-size slide

  169. 画像検出
    169
    モデルのトレーニング
    物体検出

    View full-size slide

  170. トレーニング画像の準備
    170
    ◼ トレーニング用に、検出する物体を含む画像を収集する必要がある
    ◼ 一つのトレーニングセットの物体あたり15以上の画像が必要
    (できれば50以上(後述))
    ◼ データのバランスをとる必要がある(最大と最小の比率を 1:2 以下にする)
    (NGな例:1つのオブジェクトには500の画像があるのに対し、別のオブジェクトは50しかない等)
    ◼ より多様な画像を使用する
    ➢ 背景
    ➢ 光の加減の
    ➢ オブジェクトのサイズ
    ➢ カメラアングル
    ➢ 予期しない結果(誤って学習してしまった画像を利用しトレーニング)
    物体検出

    View full-size slide

  171. モデルについて ①
    171
    ◼ モデルのライフサイクル
    ➢ 公開済みのバージョン - 1 つ
    Power Automate や Power Apps で利用可能
    ➢ 最後にトレーニング済み、未公開バージョン - 1 つ
    トレーニング済み&未公開
    ➢ ドラフト バージョン - 1 つ
    下書き
    ◼ モデルドメイン
    ➢ 共通のオブジェクト: 規定値。 ユース ケースが以下の特定の用途に適さな
    い場合は、この方法を使用する
    ➢ 小売棚のオブジェクト: 棚に密に詰められた製品を検出する
    ➢ ブランド ロゴ: ロゴ検出用に最適化されている
    物体検出

    View full-size slide

  172. モデルについて ②
    172
    ◼ 検出するオブジェクトの定義
    ➢ 物体の名前は直接入力または、Dataverse テーブルからインポートし定義す

    ➢ 最大 500 の異なるオブジェクトを 1 つのモデルで検出できる
    ◼ モデルのスコアについて
    ➢ トレーニングに使用した画像に対するモデルのパフォーマンスのことであ
    り、今後使用する画像に対するパフォーマンスではない
    ➢ 1つのラベルにトレーニングする画像が50未満の場合、高いスコア(最大
    100%)を得る可能性があるが、これはモデルが万全という意味ではない
    ➢ トレーニングに使われた画像で、モデルが間違いを犯している状態
    物体検出

    View full-size slide

  173. 物体検出モデルのトレーニングと発行
    173
    ① モデルのドメインを選択する
    (共通オブジェクト / 小売棚のオブジェクト / ブランド ロゴ)
    ② 物体名を入力する(またはDataverseテーブルからインポートする)
    ③ トレーニング用の画像をアプロードする
    ④ 画像にタグを付ける
    ⑤ トレーニングする
    ⑥ (オプション)クイックテストする
    ⑦ 発行する
    ⑧ アプリやフローでモデルを利用する
    物体検出

    View full-size slide

  174. 仕様と出力 ②
    174
    ◼ 出力項目
    ➢ 検出されたオブジェクトの名前と信頼度
    ➢ 検出されたオブジェクトのサイズと位置
    物体検出

    View full-size slide

  175. 制限
    175
    ◼ ファイルの制限
    ➢ 画像 (JPG, PNG, BMP) ファイル
    ➢ ファイル サイズは 6 MBまで
    ➢ 画像のサイズは 256 x 256 ピクセルまで
    ◼ 呼び出し制限
    ➢ 環境ごとに 4800回/60秒
    物体検出

    View full-size slide

  176. Power Apps で使用する
    176
    [ギャラリー] の Itmes
    First(colObjectDetection).Objects
    ThisItem.Name
    作成したモデル
    [画像の追加] コントロール の OnSelect
    ClearCollect(colObjectDetection,[モデル名].Predict(AddMediaButton.Media))
    ThisItem.BoundingBox.Left
    物体検出

    View full-size slide

  177. Power Apps で使用する
    177
    [ギャラリー] の Itmes
    ObjectDetector.GroupedResults
    ThisItem.TagName
    オブジェクト検出器
    ThisItem.ObjectCount
    物体検出
    オブジェクト検出器の
    オブジェクト名

    View full-size slide

  178. 出力
    178
    https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models
    {
    Objects: [
    {
    Name: String,
    Confidence: Number,
    Confidence: Number,
    BoundingBox: {
    Left: Number,
    Top: Number,
    Width: Number,
    Height: Number
    },
    {
    ・・・
    }
    ]
    }
    信頼度は表示されない模様
    (Leanに記載があるが・・・)
    検出したオブジェクト名
    検出したオブジェクトの位置とサイズ
    物体検出

    View full-size slide

  179. Power Automate で使用する
    179
    件名 必須 タイプ 内容
    AIモデル 〇 モデル 分析に使用するドキュメント処理モデル
    イメージ 〇 文字列 処理する画像
    JPG, PNG, BMP を取得
    動的コンテンツで取得
    物体検出

    View full-size slide

  180. 出力(全体)
    180
    "body": {
    "@odata.context":
    "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・,
    "responsev2": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "operationStatus": "Success",
    "predictionOutput": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]":
    "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "results": [
    ]
    }
    }
    }
    検出したオブジェクトの情報が
    出力される
    物体検出

    View full-size slide

  181. 181
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "tagId": "683284ad-ccc1-4503-91e3-3e177e168678",
    "tagName": "ミカン",
    "confidence": 0.9625253,
    "boundingBox": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "left": 0.6370432,
    "top": 0.42552555,
    "width": 0.21556318,
    "height": 0.2624352,
    "polygon": {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
    "coordinates": [
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.6370432,
    "y": 0.42552555
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.85260638,
    "y": 0.42552555
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.85260638,
    "y": 0.68796075
    },
    {
    "@odata.type": "#Microsoft.Dynamics.CRM.expando",
    "x": 0.6370432,
    "y": 0.68796075
    } ] } } },
    出力(要素)
    検出したオブジェクトの名前
    座標(左上)
    座標(右上)
    座標(右下)
    座標(左下)
    信頼度スコア
    オブジェクトの左上座標、幅、高さ
    検出したオブジェクトのID
    物体検出

    View full-size slide

  182. 画像分類

    View full-size slide

  183. Coming Soon
    183
    物体検出
    https://qiita.com/MiyakeMito/items/ba78d3cea7b1d1a89840
    待ちきれない方に・・・

    View full-size slide

  184. まとめ
    AI Builderの魅力が
    伝わりましたか?
    是非、業務や遊びでご活用ください
    185

    View full-size slide

  185. ありがとうございました
    188

    View full-size slide