AI Builderについて

ドキュメント関連のモデルのみです。
2023年1月以降に他のモデルについても記載します。

Transcript

1. AI Builder について 気ままに勉強会 #43 1
2. 今日の目標 AI Builderの 魅力を知ろう 2
3. アジェンダ AI Builder とは AI Builder のモデルたち ドキュメント テキスト 構造化データ 画像 3
4. Miyake Mito @MiTo60448639 https://qiita.com/MiyakeMito 株式会社アイシーソフト Technical Manager www.icsoft.jp https://speakerdeck.com/miya kemito 4
5. connpass (独立発行者) コネクタ が認定されました 5 https://learn.microsoft.com/ja-jp/connectors/connpassip/ イベント情報のキャッチ や管理などに便利です 是非ご活用ください！
6. 本日の参考サイト 6 ◼ AI Builder のドキュメント（Microsoft Learn） https://learn.microsoft.com/ja-jp/ai-builder/ ◼ AI Builder labs（GitHub） https://github.com/microsoft/PowerApps-Samples/tree/master/ai-builder/labs
7. 免責事項 当スライドは、 2023年1月現在のバージョンでの情報です 今後のアップデート等により、 仕様変更する可能性があります また、私の見解による内容が含まれます 間違いなどありましたらご指摘ください 7
8. AI Builder とは
9. AI Builder とは 9 ◼ ビジネスプロセスを最適化するように設計された AI モデルを提供する Microsoft Power Platform の機能 ◼ Power Apps と Power Automate で利用可能 ◼ AI のコーディングやデータ サイエンスは不要 ◼ モデル（データ解析を行う手法）は以下の２つ • そのまま利用できる 事前構築済みモデル • ニーズに合わせて調整する カスタムモデル
10. Azure AI の主な機能 10 ◼ 機械学習 ➢ Azure machine Learning や Azure Databricks を使い、予測を行い、データから結論を導き出す方法をコンピューター モデルに「教える」こと。多くの場合、AI シス テムの基盤となる ◼ ドキュメント処理 ➢ Azure Form Recognizer でドキュメントから高速にテキスト、キーと値のペア、テーブル、構造、その他実用的な情報を正確に抽出する ◼ Computer Vision ➢ Azure Computer Vision を使い、カメラ、ビデオ、画像を通じて世界を視覚的に解釈するソフトウェアの機能 ◼ 会話型AI ➢ Azure Bot Service を使用して、会話型AIエクスペリエンスを開発可能。多言語およびマルチモーダルのボットを構築できる ◼ 自然言語処理 ➢ Language Understanding (LUIS) を使用し、コンピューターが自然言語での会話テキストを解釈し、全体の意味を予測し、関連性のある詳細な情報を引き出す ◼ 機械翻訳 ➢ 100以上の言語と方言でリアルタイムまたは一括に翻訳 ◼ 音声文字起こし ➢ Speech サービスを利用して、高い精度で音声からテキストを書き起こしたり、自然な音声で読み上げたり、音声を翻訳することが可能 ◼ ナレッジ マイニング ➢ Azure Cognitive Search を使い、ドキュメント、画像、メディアなどすべてコンテンツから、パターンやリレーションシップの発見、センチメントの解釈、キーフ レーズの抽出などを行う
11. Azure Cognitive Services ◼ 開発者が直接的なAIまたはデータサイエンスのスキルや 知識がなくても、インテリジェントなアプリケーション を開発するために使用できるAPI、SDKおよびサービス ◼ 次の ５つの主要なカテゴリで分類 ➢ Vision API - 視覚 ➢ Speech API - 音声 ➢ Language API – 言語 ➢ Decision API - 決定 ➢ Search API - 検索 ◼ Azure Cognitive Services とは https://learn.microsoft.com/ja-jp/azure/cognitive- services/what-are-cognitive-services 11
12. Azure Cognitive Services vs. AI Builder 12 Azure Cognitive Services AI Builder 含まれる機能 音声 言語 視覚 決定 検索 OpenAI 言語（テキスト） 視覚（ドキュメント、画像） 決定（予測） Power Platform で利用 AzureにCognitive Servicesの サービスを作成 Power Platformで接続を作成 コネクタの利用 コネクタの利用 ライセンス Azure サブスクリプション Power Apps，Power Automate， Dynamics 365 の 追加ライセンスに含まれる
13. AI Builder のライセンス 13 ◼ AI Builder のライセンスは、Power Apps および Power Automate のスタ ンドアロン ライセンスと Dynamics 365 ライセンスのアドオンとして提 供される（キャパシティベース） ◼ AI Builder 計算ツール | Microsoft Power Automate https://powerautomate.microsoft.com/ja-jp/ai-builder-calculator/ ◼ アプリごと／ユーザーごとの Power Apps プラン、アテンド型 RPA を含 むユーザーごとの Power Automate プランなどには、AI Builder 容量が含 まれてる ◼ 試用版のライセンス を使用して期間限定で使用することも可能
14. AI builderの モデルたち
15. AI Builder のモデル一覧 15 № データ型 モデルの種類 事前構 築済み カスタ ム 備考 1 ドキュメント 請求書処理 2 ドキュメント・画像 テキスト認識 3 ドキュメント 領収書処理 4 ドキュメント ID ドキュメントリーダー 5 ドキュメント 名刺リーダー 6 ドキュメント ドキュメント処理 フォーム処理（2022 年 6 月まで） 7 テキスト 感情分析 8 テキスト カテゴリ分類 事前構築済みモデルはPreview 9 テキスト エンティティの抽出 10 テキスト キー フレーズ抽出 11 テキスト 言語検出 12 テキスト テキストの翻訳 日本ロケールでは未展開 13 構造化データ 予測 14 画像 物体検出 15 画像 画像分類 (Lobe による)
16. AI Builderのアクション 16 ID ドキュメントリーダー エンティティの抽出（カスタムモデル） カテゴリ分類（カスタムモデル） キーフレーズ抽出 言語検出 感情分析 ドキュメント処理 トリガーは 無いです テキストの翻訳
17. AI Builderのアクション 17 予測 テキスト認識 物体検出 請求書処理 エンティティの抽出（事前構築済み） カテゴリ分類（事前構築済み） 名刺リーダー 領収書処理 予測 カスタムモデル用
18. ドキュメント 機能
19. № モデル 事前/カスタム 日本語 対応 説明 1 請求書処理 事前構築済み △ 請求書処理を自動化するために、主要な請求書データを抽出するとき 2 テキスト認識 事前構築済み 〇 ドキュメントや画像から、コンピューターで読み取り可能な文字スト リームに、単語を抽出するとき 3 領収書処理 事前構築済み △ レシートから主要な情報を抽出するとき 4 ID ドキュメント リーダー 事前構築済み 〇 パスポートから情報を抽出するとき （USの運転免許証、ソーシャル セキュリティ カード、グリーン カー ドも可能） 5 名刺リーダー 事前構築済み 〇 名刺やビシネスカードから情報を抽出するとき 6 ドキュメント処理 カスタム 〇 独自のドキュメントから、モデルをトレーニングした上で情報を抽出 するとき ドキュメント機能 19
20. 請求書処理
21. 請求書処理 21 ◼ 請求書から、請求書 ID、顧客の詳細、ベンダーの詳細、出荷先、請求先、合計 金額、税、小計、品目などの一般的な要素を認識し検出する ◼ Azure Form Recognizer により、強力な光学式文字認識 (OCR) 機能と、請求書 解釈モデルを組み合わせて、売上請求書の主要なフィールドと明細を分析し、 抽出する ◼ OCR 操作はファイルに書き込まれたすべての単語を抽出するので、検出された 生の OCR 結果にもアクセスできる 固有の情報を識別する時は、カスタムモデル （ドキュメント処理）を利用しよう 事前構築済みモデル 請求書処理
22. 請求書処理 22 一般的に使用される 請求書フィールド 信頼度スコア 請求書処理
23. 仕様と出力 23 ◼ サポート言語 ➢ オランダ語 (オランダ)、英語 (米国)、フランス語 (フランス)、ドイツ語 (ドイツ)、 イタリア語 (イタリア)、ポルトガル語 (ポルトガル)、スペイン語 (スペイン) ◼ 出力項目 ➢ モデルの出力 https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-invoice-processing#model-output 一般的に使用される請求書フィールドと信頼度スコア 請求書で検出されたすべてのテキスト 日本語未対応 請求書処理
24. 24 請求額 (テキスト) Amount due (text) 請求額 (数値) Amount due (number) 請求先住所 Billing address 請求先住所の受取人 Billing address recipient 顧客住所 Customer address 顧客住所の受取人 Customer address recipient 顧客 ID Customer ID 顧客名 Customer name 顧客の税 ID Customer tax ID 期限 (テキスト) Due date (text) 期限 (日付) Due date (date) 請求日 (テキスト) Invoice date (text) 請求日 (日付) Invoice date (date) 請求書 ID Invoice ID 請求書の合計 (テキスト) Invoice total (text) 請求書の合計 (数値) Invoice total (number) 品目 Line Items 支払条件 Payment terms 発注書 Purchase order 前回の未払残高 (テキスト) Previous unpaid balance (text) 前回の未払い残高 (数値) Previous unpaid balance (number) 送金先住所 Remittance address 送金先住所の受取人 Remittance address recipient サービス住所 Service address サービス住所の受取人 Service address recipient サービス開始日 (テキスト) Service start date (text) サービス開始日 (日付) Service start date (date) サービス終了日 (テキスト) Service end date (text) サービス終了日 (日付) Service end date (date) 送付先住所 Shipping address 送付先住所の受取人 Shipping address recipient 小計 (テキスト) Subtotal (text) 小計 (数値) Subtotal (number) 税額計 (テキスト) Total tax (text) 税額計 (数値) Total tax (number) ベンダー住所 Vendor address ベンダー住所の受取人 Vendor address recipient ベンダー名 Vendor name 仕入先税 ID Vendor tax ID 検出されたテキスト Detected text 検出されたキー Detected key 検出された値 Detected value 請求書の項目 請求書処理
25. 制限 25 ◼ ファイルの制限 ➢ 1ファイルごと ➢ PDF および画像 (JPG, PNG) ファイル ➢ ファイル サイズは 20 MBまで ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル ➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等) ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される ◼ 呼び出し制限 ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒 請求書処理
26. Power Apps で使用する 26 [画像の追加] コントロール の OnSelect ClearCollect( colInvoice, 請求書処理.Predict( AddMediaButton1.Media )) 請求書処理 [ギャラリー] の Itmes First( colInvoice ).Tables.Items.Rows First( colInvoice ).Fields.[フィールド名].Value.Text https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models 請求書処理
27. Power Automate で使用する 27 件名 必須 タイプ 内容 請求書ファイル 〇 file 処理する請求書ファイル ページ × 文字列 処理するページ範囲 PDF, JPG, PNG を取得 動的コンテンツで取得 キー値ペアで取得する場合 KeyValuePairs 検出されたキー 検出された値 請求書処理
28. 出力（全体） 28 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・ "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "items@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・ "items": [ ], "keyValuePairs@odata.type": "#Collection(Microsoft.Dynamics. ・・・ "keyValuePairs": [ ], "fields": { }, "context": { } }, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.cr ・・・ "readResults": [ ] } } } 品目の一覧データが出力される 請求書項目が出力される 開始と終了ページ 検出されたすべてのOCR結果が 出力される キー値ペア情報が出力される 請求書処理
29. 29 "invoiceDate": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "valueText": "Nov 12, 2020", "valueDate": "2020-11-12", "confidence": 0.928, "location": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "page": 1, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.07739999715019674, "top": 0.15870909257368607, "width": 0.15170588212854721, "height": 0.017363634976473724, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.07739999715019674, "y": 0.15870909257368607 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.22910587927874396, "y": 0.15870909257368607 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.22910587927874396, "y": 0.1760727275501598 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.07739999715019674, "y": 0.1760727275501598 } } ] } } } } 出力（要素） 一般的な請求書の項目 検出した値 信頼度 ページ 開始位置の座標 とサイズ 座標（左上） 座標（右上） 座標（右下） 座標（左下） 日付、数値の場合 "valueDate" : " valueNumber " : が追加される 請求書処理
30. テキスト認識
31. テキスト認識 31 ◼ 写真や PDF ドキュメントからすべてのテキストを抽出 ◼ Azure Computer Vision OCRサービスを使用して、印字および手書きのテ キストを画像 (JPG、PNG、BMP、PDF) から抽出し、コンピューターで読 み取り可能な文字ストリームに変換する ◼ 日本語はサポート済み 記号は認識しません 事前構築済みモデル テキスト認識
32. テキスト認識 32 Microsoft MVP for Business Application ( テキスト認識
33. 仕様と出力 ① 33 ◼ サポート言語 ➢ 印刷テキストの言語: アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ語 (ラテン)、ボージュプリー語-ヒン ディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、 中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、チェコ語、デンマーク語、ダリー語、ディマル語 (デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェ ロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、キリバス語、ゴーンディー語 (デーバナーガリー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、 ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デーバナーガリー)、ハンガリー語、アイスランド語、イナリ サーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、アイルランド語、イタリア語、 日本語 、ジャ ウンサリ語 (デーバナーガリー)、ジャワ語、カブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、 韓国語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレ サーミ語、ルクセンブルク語、マハス・パハリー語 (デーバナー ガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパール語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシ タン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、リプアーリ語、ルーマニア語、ロマンシュ語、ロシア語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバ ナーガリー)、スコットランド語、スコットランド ゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語 (デーバナーガリー)、スコルト サーミ語、スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェー デン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トルコ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー 語、ウェールズ語、西フリジア語、ユカテコマヤ語、チワン語、ズールー語 ➢ 手書きテキストの言語 英語、中国語 (簡体字)、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポル トガル語、スペイン語 日本語対応 テキスト認識
34. 仕様と出力 ② 34 ◼ 出力項目 ➢ 結果: 入力テキストから抽出した行のリスト ➢ テキスト: 検出したテキストの行を含む文字列 ➢ BoundingBox: 境界ボックスを表す 4 つの値で、幅と高さとともに上と左の位置を使用して記述しま す。 信頼度スコアは出力されません テキスト認識
35. 制限 35 ◼ ファイルの制限 ➢ PDF および画像 (JPG, PNG,BMP) ファイル ➢ ファイル サイズは 50 MBまで ➢ PDF ドキュメントの場合、最初の 2,000 ページ ◼ 呼び出し制限 ➢ 環境ごとに 480回/60秒 テキスト認識
36. Power Apps で使用する 36 [テキスト認識エンジン] コントロール [ギャラリー] の Itmes TextRecognizer1.Results ThisItem.Text [テキスト認識エンジン] コントロールで 選択した検出ボックスの値 TextRecognizer1.Selected.Text ThisItem.BoundingBox.Top ThisItem.BoundingBox.Left https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models テキスト認識
37. 検出した値を動的な値で取得する場合は、Lines Power Automate で使用する 37 件名 必須 タイプ 内容 領収書ファイル 〇 file 処理する請求書ファイル PDF, JPG, PNG,BMP を取得 outputs('画像や_PDF_ドキュメントのテキストを認識する')? ['body/responsev2/predictionOutput/results']?[0]?['lines'] item()?['text'] concat(item()?['boundingBox']?['left'],'/', item()?['boundingBox']?['top']) ページを指定 テキスト認識
38. 出力（全体） 38 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1 ・・・ "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "results@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "results": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "page": 1, "lines@odata.type": "#Collection(Microsoft.Dynamics.CRM. ・・・, "lines": [ ] } ] } } } ページ情報 検出されたすべてのOCR結果が 出力される テキスト認識
39. 39 { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "text": "プログラミングなしで業務を自動化!", "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.040013227513227514, "top": 0.09623015873015874, "width": 0.5793650793650793, "height": 0.08234126984126984, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.040013227513227514, "y": 0.15848214285714285 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.6154100529100529, "y": 0.09623015873015874 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.6193783068783069, "y": 0.11979166666666667 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.044642857142857144, "y": 0.17857142857142858 } ] } } } 出力（要素） 検出した値 座標（左上） 座標（右上） 座標（右下） 座標（左下） 開始位置の座標 とサイズ テキスト認識
40. 領収書処理
41. 領収書処理 41 ◼ 印刷および手書きの領収書から、業者名、業者の電話番号、取引日、税 金、取引合計などの主要な情報を抽出する ◼ 米国の英語の領収書のみがサポートされている （ホテルの領収書や請求書などのフル ページの領収書は未サポート） ◼ 日本語は未対応だが、合計額などは一部項目は取得可能 固有の情報を識別する時は、カスタムモデル （ドキュメント処理）を利用しよう 事前構築済みモデル 領収書処理
42. 領収書処理 42 領収書フィールド 信頼度スコア 領収書処理
43. 仕様と出力 43 ◼ サポート言語 ➢ オーストラリア (英語)、カナダ (英語)、フランス (フランス語)、ドイツ (ドイツ語)、 米国 (英語)、英国 (英語)、インド (英語)、イタリア (イタリア語)、ポルトガル (ポルト ガル語)、スペイン (スペイン語) ◼ 出力項目 ➢ モデルの出力 https://learn.microsoft.com/ja-jp/ai-builder/flow-receipt-processing#output 一般的に使用される領収書フィールドと信頼度スコア 領収書で検出されたすべてのテキスト 日本語未対応 領収書処理
44. 44 店舗名 Merchant name マーチャントの住所 Merchant address マーチャントの電話番号 Merchant phone number トランザクションの日付 Transaction date トランザクションの時刻 Transaction time 購入品目名 Purchased item name 購入品目の数量 Purchased item quantity 購入品目価格 Purchased item price 購入品目の合計価格 Purchased item total price 小計 Subtotal 税額 Tax ヒント Tip 合計 Total 検出されたテキスト Detected text 検出されたテキストのページ番号 Page number of detected text 検出されたテキストの高さ Height of detected text 検出されたテキストの左位置 Left position of detected text 検出されたテキストの上位置 Top position of detected text 検出されたテキストの幅 Width of detected text 検出されたテキストの幅 Width of detected text 領収書の項目 領収書処理
45. 制限 45 ◼ ファイルの制限 ➢ 1ファイルごと ➢ PDF および画像 (JPG, PNG) ファイル ➢ ファイル サイズは 20 MBまで ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル ➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等) ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される ◼ 呼び出し制限 ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒 請求書処理と同じ 領収書処理
46. Power Apps で使用する 46 [領収書プロセッサ] コントロール [ギャラリー] の Itmes ReceiptProcessor1.PurchasedItems ReceiptProcessor1.MerchantName ThisItem.TotalPrice Preview (2022/12) ThisItem.Name https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models 領収書処理
47. Power Automate で使用する 47 件名 必須 タイプ 内容 領収書ファイル 〇 file 処理する領収書ファイル ページ × 文字列 処理するページ範囲 PDF, JPG, PNG を取得 動的コンテンツで取得 領収書処理
48. 出力（全体） 48 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・ "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "items@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・ "items": [ ], "fields": { }, "context": { } }, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.cr ・・・ "readResults": [ ] } } } 商品の一覧データが出力される 領収書項目が出力される ページ情報 検出されたすべてのOCR結果が 出力される 領収書処理
49. 49 "merchantName": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "value": "Main Street Restaurant", "confidence": 0.958, "location": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "page": 1, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.421875, "top": 0.08498677248677249, "width": 0.16765873015873012, "height": 0.02083333333333333, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics ・・・, "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.421875, "y": 0.09986772486772487 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.42212301587301587, "y": 0.08498677248677249 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.5895337301587301, "y": 0.09093915343915344 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.5892857142857143, "y": 0.10582010582010581 } ] } } } } 出力（要素） 領収書の項目 検出した値 信頼度 ページ 開始位置の座標 とサイズ 座標（左上） 座標（右上） 座標（右下） 座標（左下） 領収書処理
50. ID ドキュメント リーダー
51. ID ドキュメントリーダー 51 ◼ パスポートや米国の運転免許証等から個人の名、生年月日、性別などの 情報を抽出する ◼ あらゆる国のパスポート、米国の運転免許証、米国のソーシャル セキュ リティ カード、米国のグリーン カードから抽出可能 ◼ 画像処理の際に写真や顔検出は行われず、ID のスキャンはモデルで処理 された後に削除される 日本の 運転免許証 マイナンバーカード は未対応です 事前構築済みモデル ID ドキュメントリーダー
52. ID ドキュメント リーダー 52 ID フィールド 信頼度スコア ID ドキュメントリーダー
53. 仕様と出力 53 ◼ サポート言語 ➢ ラテン文字の抽出のみサポート ◼ 出力項目 ➢ モデルの出力 https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-id-reader#model-output First name，Last name，Gender，誕生日，出生地 など 一部、パスポート、米国運転免許証、米国グリーンカードでのみ抽出項目あり 日本語未対応 ID ドキュメントリーダー
54. 54 First name First name Last name Last name Gender Gender 誕生日 Date of birth 出生地 Place of birth Region Region Country Country 国籍 Nationality 番地 Street address ID ドキュメント番号 Identity document number イシューの日付 Date of issue ID ドキュメントの有効期限 Identity document expiration date カテゴリ コード Category code ID ドキュメントリーダーの項目 ID ドキュメントリーダー
55. 制限 55 ◼ ファイルの制限 ➢ PDF および画像 (JPG, PNG) ファイル ➢ ファイル サイズは 20 MBまで ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される ◼ 呼び出し制限 ➢ 環境ごとに 24回/60秒 請求書処理と同じ ID ドキュメントリーダー
56. Power Apps で使用する 56 [画像の追加] コントロール の OnSelect ClearCollect(colIDDoc,'ID ドキュメント リーダー'.Predict(AddMediaButton1_1.Media)) ID ドキュメントリーダー First(colIDDoc).Fields.[フィールド名].Value.Text https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models ID ドキュメントリーダー
57. Power Automate で使用する 57 件名 必須 タイプ 内容 ID ドキュメント ファイル 〇 file 対象のファイル PDF, JPG, PNG を取得 動的コンテンツで取得 ID ドキュメントリーダー
58. 出力（全体） 58 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・ "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "items@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・ "fields": { }, "context": { } }, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.cr ・・・ "readResults": [ ] } } } ID ドキュメント情報が出力される ページ情報 検出されたすべてのOCR結果が 出力される ID ドキュメントリーダー
59. 59 "firstName": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "value": "NATSUKO", "confidence": 0.99, "location": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "page": 1, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.045, "top": 0.8, "width": 0.8933333333333333, "height": 0.12325581395348828, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.045, "y": 0.8093023255813954 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.9383333333333334, "y": 0.8 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.9383333333333334, "y": 0.913953488372093 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.045, "y": 0.9232558139534883 } ] } } } } 出力（要素） ID ドキュメントリーダーの項目 検出した値 信頼度 ページ 開始位置の座標 とサイズ 座標（左上） 座標（右上） 座標（右下） 座標（左下） ID ドキュメントリーダー
60. 名刺リーダー
61. 名刺リーダー 61 ◼ 名刺の画像から情報を抽出する ◼ AI モデルによって個人の名前、役職、住所、電子メール、会社名、電話 番号および その他 などの情報が抽出される ◼ Power Automate、キャンパスアプリの他、Dynamics 365 Sales Enterpriseにも含まれる 事前構築済みモデル 名刺リーダー
62. 名刺リーダー 62 ID フィールド 信頼度スコア IT 空間デザイン クラウドビジネス本部 テクニカルマネージャー 三宅 頼雅練介 Miyake Lioness miyake@ms365.dev 070-9876-5432 株式会社アイシーソフト [本社] 〒460-0003 愛知県名古屋市中区錦2丁目2番2号 名古屋丸紅ビル9階 Tel. 052-854-7279 Fax. 052-231-7311 [東京オフィス] 〒103-0025 東京都中央区日本橋茅場町 一丁目5番2号 日原ビル4階 Tel. 03-6264-8150 https://www.icsoft.jp/ 名刺リーダー
63. 仕様と出力 63 ◼ サポート言語 ➢ 英語と日本語 ◼ 出力項目 ➢ モデルの出力 https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-business-card#model-output CompanyName，FirstName，LastName，Gender，Department，Title など 日本語対応 名刺リーダー
64. 制限 64 ◼ ファイルの制限 ➢ PDF および画像 (JPG, PNG,BMP) ファイル ➢ ファイル サイズは 50 MBまで ◼ 呼び出し制限 ➢ 環境ごとに 24回/60秒 請求書処理と同じ 名刺リーダー
65. Power Apps で使用する 65 [名刺リーダー] コントロール BusinessCardReader1.[フィールド名] https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models 名刺リーダー
66. Power Automate で使用する 66 件名 必須 タイプ 内容 Image 〇 file 分析する画像ファイル ファイルの種類 〇 文字列 既定値は "auto" です。 この列は廃止さ れたため、どの値でも受け入れられます。 PDF, JPG, PNG,BMP を取得 動的コンテンツで取得 名刺リーダー
67. 出力（全体） 67 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・ "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "contactFields@odata.type": "#Collection(Microsoft.Dynamics ・・・ "contactFields": { }, "contact": { } }, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.cr ・・・ "cleanedImage": { } } } } 検出された項目（座標情報など含む） 検出された項目（"名刺項目": Value） 元の画像から、名刺がトリミングまた は拡張された処理後の画像データ (Base64) IT 空間デザイン クラウドビジネス本部 テクニカルマネージャー 三宅 頼雅練介 Miyake Lioness miyake@ms365.dev 070-9876-5432 株式会社アイシーソフト [本社] 〒460-0003 愛知県名古屋市中区錦2丁目2番2号 名古屋丸紅ビル9階 Tel. 052-854-7279 Fax. 052-231-7311 [東京オフィス] 〒103-0025 東京都中央区日本橋茅場町 一丁目5番2号 日原ビル4階 Tel. 03-6264-8150 https://www.icsoft.jp/ "contact": { "@odata.type": "#Microsoft. ・・・, "fullName": "三宅 頼雅練介", "title": "テクニカルマネージャー", "mobilePhone": "070-9876-5432", "phone2": "070-9876-5432", "email": "miyake@ms365.dev", "companyName": "株式会社アイシーソフト", "department": "クラウドビジネス本部", "firstName": "頼雅練介", ・・・ } 名刺リーダー
68. IT 空間デザイン クラウドビジネス本部 テクニカルマネージャー 三宅 頼雅練介 Miyake Lioness miyake@ms365.dev 070-9876-5432 株式会社アイシーソフト [本社] 〒460-0003 愛知県名古屋市中区錦2丁目2番2号 名古屋丸紅ビル9階 Tel. 052-854-7279 Fax. 052-231-7311 [東京オフィス] 〒103-0025 東京都中央区日本橋茅場町 一丁目5番2号 日原ビル4階 Tel. 03-6264-8150 https://www.icsoft.jp/ 68 { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "parentName": "", "name": "fullName", "value": "三宅 頼雅練介", "boundingBox@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "boundingBox": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.07610993657505286, "top": 0.34760383386581467, "width": 0.6215644820295984, "height": 0.06261980830670927, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.07610993657505286, "y": 0.35079872204472845 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.6966173361522199, "y": 0.34760383386581467 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.6976744186046512, "y": 0.40638977635782747 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.07716701902748414, "y": 0.41022364217252394 } ] } } } } 出力（要素） 検出した名刺リーダーの項目 検出した値 開始位置の座標 とサイズ 座標（左上） 座標（右上） 座標（右下） 座標（左下） 名刺リーダー
69. ドキュメント処理
70. ドキュメント処理 70 ◼ ドキュメントからテキスト、テーブル、数値、手書きテキスト、チェックボッ クスなどの情報を抽出する独自のカスタム モデルを簡単に構築し、トレーニン グして公開できる ◼ トレーニングは、自作のデータを使用して調整を行う ◼ ドキュメントからフィールド、テーブル、およびチェックボックスを抽出可能 カスタムモデル ドキュメント処理
71. ドキュメント処理 71 モデルのトレーニング ドキュメント処理
72. ドキュメント処理モデルの作成 72 ◼ モデルを トレーニング し、フォームから抽出される情報を定義する ◼ 同じレイアウトを使用するサンプルが５つ以上の必要 ◼ ドキュメントの種類 ➢ 構造化ドキュメント（および半構造化ドキュメント） 指定されたレイアウト、フィールド、テーブル、チェックボックス、 およびその他のアイテムが同じような場所で見つかるドキュメント のこと ➢ 構造化されていないドキュメント（自由形式） 構造が設定されておらず、その多くは段落の数がそれぞれに異なる 自由形式のドキュメント ドキュメント処理
73. モデルについて ① 73 ◼ モデルのライフサイクル ➢ 公開済みのバージョン － 1 つ Power Automate や Power Apps で利用可能 ➢ 最後にトレーニング済み、未公開バージョン － 1 つ トレーニング済み＆未公開 ➢ ドラフト バージョン － 1 つ 下書き ◼ コレクション 同じ項目を共有するドキュメントのグループ コレクションを複数追加すると、レイアウトが異なるドキュメントから 同じ情報を抽出する独自の AI モデルを作成できる ドキュメント処理
74. モデルについて ② 74 ◼ 抽出する情報の種類 ➢ フィールド 印刷または手書きのテキストを抽出 ➢ チェックボックス チェック ボックスやラジオ ボタンなどの選択マークを抽出 ➢ テーブル 表形式の情報を抽出 結合したセル、入れ子になった項目、境界線の有無、複数のページ にまたがる可能性がある項目を含む、複雑なテーブル ドキュメント処理
75. ドキュメント処理モデルの トレーニングと発行 75 ① ドキュメントの種類を選択する（構造化(半構造化)⇔非構造化） ② 抽出する項目を設定する ③ ドキュメントのコレクションを追加する ④ ドキュメントにタグを付ける ⑤ トレーニングする ⑥ （オプション）クイックテストする ⑦ 発行する ⑧ アプリやフローでモデルを利用する ドキュメント処理
76. テーブルへのタグ設定 76 列の区切りは ctrl ＋ 左クリック 行の区切りは 左クリック タイトル行 を無視 各セルに対しタグ付け可能 列名をマッピング テーブルの区切りは、 列と行の数を指定してもよい ドキュメント処理
77. 仕様と出力 ① 77 ◼ サポート言語 ➢ 構造化および半構造化ドキュメント : アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ 語 (ラテン)、ボージュプリー語-ヒンディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、 チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、チェコ語、デンマーク語、ダリー語、ディマル語 (デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、 キリバス語、ゴーンディー語 (デーバナーガリー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デー バナーガリー)、ハンガリー語、アイスランド語、イナリ サーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、アイルランド語、イタリア語、 日本語 、ジャウンサリ語 (デーバナーガリー)、ジャワ語、カ ブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、韓国 語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレ サーミ語、ルクセンブルク語、 マハス・パハリー語 (デーバナーガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパー ル語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシタン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、リプアーリ語、ルーマニア語、ロマンシュ語、ロシア 語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバナーガリー)、スコットランド語、スコットランド ゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語 (デーバナーガリー)、スコルト サーミ語、スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トル コ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー語、ウェールズ語、西フリジア語、ユカテコマヤ語、 チワン語、ズールー語 ➢ 手書きテキストの言語 英語、中国語 (簡体字)、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語 ➢ 非構造化の自由形式のドキュメント : 英語 手書きについてはForm Recognizer の仕様なので不確かです ドキュメント処理
78. 仕様と出力 ② 78 ◼ 出力項目 ➢ 結果: 検出されたすべてのテキスト ➢ フィールドとチェックボックスの値: タグ付けしたフィールドの文字列と チェックボックスのON/OFFの値（True/False） ➢ テーブルの値: タグ付けした列の値 ドキュメント処理
79. 制限 79 ◼ ファイルの制限 ➢ PDF および画像 (JPG, PNG) ファイル PDF推奨（文字の抽出と位置でエラーが生じにくため） ➢ TIFFファイル トレーニングに使用できないが、 Power Automate ではデータ抽出可能 ➢ ファイル サイズは 20 MBまで ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル ◼ コレクション数 ➢ 造化および半構造化：各モデルごとに最大 200 まで ➢ 非構造化ドキュメント：無制限 ◼ 呼び出し制限 ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒 ドキュメント処理
80. Power Apps で使用する 80 [フォーム プロセッサ] コントロール [ギャラリー] の Itmes FormProcessor1.Tables.[モデルで定義したテーブル名] ThisItem.[モデルのテーブルで定義した列名] 作成したモデルを選択 FormProcessor1.Fields.[モデルのテーブルで定義したフィールド名] https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models ドキュメント処理
81. Power Automate で使用する 81 件名 必須 タイプ 内容 AIモデル 〇 モデル 分析に使用するドキュメント処理モデル ドキュメントの 種類 〇 文字列 分析するフォームのファイルの種類 フォーム 〇 file 処理するフォーム ページ × 文字列 処理するページ範囲 PDF, JPG, PNG, TIFF を取得 動的コンテンツで取得 ドキュメント処理
82. 出力（全体） 82 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0 ・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "layoutName": "Adatum", "layoutConfidenceScore": 0.9800000190734863, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "readResults": [ ], "tables": { }, "labels": { } ] } } } 検出したテーブル情報 検出されたすべてのOCR結果が 出力される 検出したフィールドと チェックボックス情報 ドキュメント処理
83. 83 "InvoiceNumber": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "value": "1000", "displayName": "InvoiceNumber", "fieldType": "string", "confidence": 0.995, "text": "1000", "valueLocation": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageNumber": 1, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.8875954710076146, "top": 0.11985685292052244, "width": 0.03932765607114419, "height": 0.01027344511923052, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection( ・・・, "coordinates": [ ] } }, "regions@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "regions": [ ] } } ] } } 出力（要素） 検出した値 座標情報 タグ名 タグ名 データ型 開始位置の座標 とサイズ ドキュメント処理
84. フィードバックループ機能 (Preview) ▪ モデルの定期的な改善プロセスを自動化するために 84 https://learn.microsoft.com/ja-jp/ai-builder/feedback-loop 信頼度が既定値 未満の場合 フィードバックループ にファイルを保存 モデル一覧で お知らせ 信頼度スコアが低かった ドキュメントで 再トレーニングできる ドキュメント処理
85. テキスト 機能
86. № モデル 事前/カスタム 日本語 対応 説明 1 感情分析 事前構築済み 〇 テキスト データから肯定的、否定的、中立的な感情を検出する 2 カテゴリ分類 （Preview） 事前構築済み × 顧客からのフィードバック テキストを、苦情、賛辞、顧客サービス、 ドキュメント、価格および請求、スタッフなどの定義済みカテゴリに 分類する 3 カスタム × 独自のカテゴリ分類機械学習モデルを簡単に構築し、トレーニングし て公開する 4 エンティティの抽出 事前構築済み △ テキストから重要な要素を識別し、それらを年齢、都市、日時、組織、 個人名および その他 などの定義済みカテゴリに分類する 5 カスタム × 独自のエンティティ抽出機械学習モデルを簡単に構築し、トレーニン グして公開する 6 キー フレーズ抽出 事前構築済み 〇 テキスト ドキュメントから要点（主な話題）を識別する 7 言語検出 事前構築済み 〇 テキスト ドキュメントの主要な言語を識別する 8 テキストの翻訳 事前構築済み 〇 60 以上の言語間でリアルタイムにテキスト データを翻訳する 日本ロケール未展開 テキスト機能 86 New!!：Power Autoamte のみ
87. 言語検出
88. 言語検出 88 ◼ テキスト ドキュメントの主要な言語を識別する ◼ 検出された言語はロケールIDではなく、言語の "スクリプト" が返る （"en-US" ではなく "en" ） ◼ Azure Cognitive Service for Language テクノロジを使用している 事前構築済みモデル 言語検出
89. 言語検出 89 AI Builder is a Microsoft Power Platform capability that provides AI models that are designed to optimize your business processes. AI Builder enables your business to use intelligence to automate processes and glean insights from your data in Power Apps and Power Automate. 言語検出
90. 仕様と出力 90 ◼ サポート言語 ➢ アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アッサム語、アゼルバイジャン 語、バスク語、ベラルーシ語、ベンガル語、ボスニア語、ブルガリア語、ミャンマー語、カタロニア語、中央 クメール語、中国語、簡体中国語、中国語 (繁体字)、コルシカ語、クロアチア語、チェコ語、デンマーク語、 ダリー語、ディベヒ語、オランダ語、英語、エスペラント語、エストニア語、フィジー語、フィンランド語、 フランス語、ガリシア語、ジョージア語、ドイツ語、ギリシャ語、グジャラート語、ハイチ・クレオール語、 ハウサ語、ヘブライ語、ヒンディー語、ミャオ語、ハンガリー語、アイスランド語、イボ語、インドネシア語、 イヌクティトット語、アイルランド語、イタリア語、日本語、ジャワ文字、カンナダ語、カザフ語、キニヤル ワンダ語、キルギス語、韓国語、クルド語、ラオス語、ラテン語、ラトビア語、リトアニア語、ルクセンブル ク語、マケドニア語、マダガスカル語、マレー語、マラヤーラム語、マルタ語、マオリ語、マラーティー語、 モンゴル語、ネパール語、ノルウェー語、ノルウェー語ニーノシュク、オリヤー語、パシュトウ語、ペルシャ 語、ポーランド語、Portuguese、パンジャーブ語、オトミ語、ルーマニア語、ロシア語、サモア語、セルビア 語、ショナ語、シンド語、シンハラ語、スロバキア語、スロベニア語、ソマリ語、スペイン語、スンダ文字、 スワヒリ語、スウェーデン語、タガログ語、タヒチ語、タジク語、タミル語、タタール語、テルグ語、タイ語、 チベット語、ティグリニア語、トンガ語、トルコ語、トルクメン語、ウクライナ語、ウルドゥ語、ウズベク語、 ベトナム語、ウェールズ語、コサ語、イディッシュ語、ヨルバ語、ユカテコ語、ズールー語 https://learn.microsoft.com/ja-jp/azure/cognitive-services/language-service/language- detection/language-support#languages-supported-by-language-detection ◼ 出力項目 ➢ 結果: 入力テキストで検出された言語の一覧 ➢ 言語: 言語コードのスクリプト バージョン (例: “en”、“fr”、“zh_chs”、“ru”)。 （信頼度も出力される） https://learn.microsoft.com/ja-jp/ai-builder/flow-language-detection#output 一覧で出力されない模様 言語検出
91. 制限 91 ◼ ドキュメントの制限 ➢ 5,120 文字まで ◼ 呼び出し制限 ➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環 境ごとに 400回/60秒 言語検出
92. 92 [ボタン] コントロール の OnSelect ClearCollect(colLanguagedetection,言語検出.Predict(TextInput.Text)) 言語検出 First(colLanguagedetection).Language First(colLanguagedetection).Confidence Power Apps で使用する 言語検出
93. 出力 93 https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models { Language: String, Confidence: Number } 検出された言語コード 検出された言語コードの信頼度 言語検出
94. Power Automate で使用する 94 件名 必須 タイプ 内容 テキスト 〇 文字列 言語検出するテキスト文 検出された言語コード 検出された言語コードの信頼度 outputs('テキストで使用されている言語を検出します') ?['body']?['responsev2']?['predictionOutput']?['results']?[0]?['language'] first(body('テキストで使用されている言語を検出します') ?['responsev2']?['predictionOutput']?['results'])?['score'] 言語コードや信頼度スコアは配列に格納されているため、 自動的にApply to Each が追加されます 言語検出
95. "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "results@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "results": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "language": "en", "score": 0.97 } ] } } } 出力 95 検出された言語コード 検出された言語コードの信頼度 検出される言語コードは1つだが、 配列に囲まれて出力されるため注意 言語検出
96. 感情分析
97. 感情分析 97 ◼ テキスト データから肯定的、否定的、または中立的な感情を検出する ◼ 複数の文で構成されたドキュメント全体の感情は、センテンスのスコア を集計することで判断される。 スコアのない "混在" センチメント ラベルが与えられる場合もある。 ◼ Azure Cognitive Service for Language テクノロジを使用しセンチメント を識別する 事前構築済みモデル 感情分析
98. 感情分析 98 各センチメントの 信頼度スコア ドキュメント全体のセンチメント 私の拙い登壇をお聞きいただき ありがとうございます 好きです。 嫌いです。 どちらでもありません。 テキストのoffset、lengthも 出力される ドキュメント全体のセンチメント 感情分析
99. 仕様と出力 99 ◼ サポート言語 ➢ ドイツ語、スペイン語、英語、フランス語、ヒンズー語、イタリア語、 日本語、韓国語、オランダ語、ノルウェー語、ポルトガル語 (ブラジル)、 ポルトガル語 (ポルトガル)、トルコ語、中国語 (簡体字)、中国語 (繁体字) ◼ 出力項目 ➢ 一文ごと、およびドキュメント全体の分析結果 https://learn.microsoft.com/ja-jp/ai-builder/flow-sentiment-analysis#output ➢ センチメント : positive / neutral / negative、および mixed (ドキュメント全体でのみ出力される） ➢ 信頼度スコア 0 から 1 の範囲の値 値が 1 に近いと、識別されたセンチメントが正確であるという高い信頼度を示す 感情分析
100. 制限 100 ◼ ドキュメントの制限 ➢ 5,120 文字まで ◼ 呼び出し制限 ➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環 境ごとに 400回/60秒 感情分析
101. Power Apps で使用する 101 [ボタン] コントロール の OnSelect ClearCollect(colsentiment, 感情分析.Predict(TextInput.Text, {Language:"ja"})) 感情分析 [ギャラリー] の Itmes First(colsentiment).Sentences First(colsentiment).Document.TopSentiment.Name ThisItem.TopSentiment.Name ThisItem.TopSentiment.Confidence Mid(TextInput1, ThisItem.StartIndex+1, ThisItem.Length) 次ページにて説明 感情分析
102. 出力 102 https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models { Document: { AllSentiments: [ { Name: "Positive", Confidence: Number }, { Name: "Neutral", Confidence: Number }, { Name: "Negative", Confidence: Number } ], TopSentiment: { Name: "Positive/Neutral/Negative/Mixed", Confidence: Number } } Sentences: [ { StartIndex: Number, Length: Number, AllSentiments: [ { Name: "Positive", Confidence: Number }, { Name: "Neutral", Confidence: Number }, { Name: "Negative", Confidence: Number } ], TopSentiment: { Name: "Positive/Neutral/Negative", Confidence: Number } }, { ・・・ }, ] } positive / neutral / negative の3つなのに配列になっている Index(First(colsentiment).Document. AllSentiments,1).Confidence ドキュメント全体 のセンチメント 一文ごとの センチメント （配列） 一文ごとの 開始位置（0からカウント）と長さ 一文ごとの分析結果を配列で出力 StartIndexn の値 ドキュメント全体に改行が入ると狂う 改行コードも1文字でカウントされる 感情分析
103. Power Automate で使用する 103 件名 必須 タイプ 内容 言語 〇 文字列 事前定義された言語または言語コードの一 覧内のアイテム (例: "en"、"jp"、"zh_chs"、"ru") テキスト 〇 文字列 分析するテキスト文 動的コンテンツで取得 一文ごとのセンチメントの信頼度スコア Sentences 感情分析
104. 出力 104 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "sentiment": "mixed", "documentScores": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "positive": 0.5, "neutral": 0.01, "negative": 0.49 }, "sentences@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "sentences": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "sentiment": "positive", "offset": 0, "length": 6, "sentenceScores": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "positive": 0.99, "neutral": 0.01, "negative": 0 } }, { }, { } ] } } } } ドキュメント全体の結果 一文ごとの各信頼度スコア 一文ごとの結果 ドキュメント全体のセンチメント ドキュメント全体の各信頼度スコア 一文ごとの開始位置と文字列長 一文ごとのセンチメント 感情分析
105. カテゴリ分類 （事前構築済み）
106. 事前構築済みモデル カテゴリ分類 106 ◼ 顧客からのフィードバック テキストを、苦情、賛辞、顧客サービス、ド キュメント、価格および請求、スタッフの定義済みカテゴリに分類する ◼ 現状、一つの文ごとの分析は行われない模様 ◼ Azure Cognitive Service for Language テクノロジを使用している 固有のカテゴリで識別する時は、カスタムモ デル（カテゴリ分類）を利用しよう プレビュー カテゴリ分類（事前構築済み）
107. カテゴリ分類 107 分類の信頼度スコア For product details visit http://www.fabrikam.com/. Very kind host, clean and cozy room. Convinient for sightseeing. 検出されたカテゴリ 製品の詳細は http://www.fabrikam.com/ を ご覧ください。 とても親切なホストで綺麗でくつろげる部屋で した。観光にも便利でした。 ドキュメント 賛辞 カテゴリ分類（事前構築済み）
108. 仕様と出力 108 ◼ サポート言語 ➢ 英語、中国語 (簡体字)、フランス語、ドイツ語、ポルトガル語、イタリア語、 スペイン語 ◼ 出力項目 ➢ カテゴリ : ➢ 信頼度スコア 0 から 1 の範囲の値 値が 1 に近いと、検出が正確であるという高い信頼度を示す 日本語未対応 問題 Issue 賛辞 Compliment 顧客サービス Customer Service ドキュメント Documentation 価格 & 請求 Pricing & Billing スタッフ Staff カテゴリ分類（事前構築済み）
109. 制限 109 ◼ ドキュメントの制限 ➢ 5,000 文字まで ◼ 呼び出し制限 ➢ 不明（Leranに記載なし） カテゴリ分類（事前構築済み）
110. Power Apps で使用する 110 [ボタン] コントロール の OnSelect ClearCollect(colcategorization,カテゴリ分類.Predict(TextInput.Text,{Language:"en"})) カテゴリ分類 First(colcategorization).TopClass.Name First(colcategorization).TopClass.Confidence カテゴリ分類（事前構築済み）
111. 出力 111 https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models { AllClasses: [ { Name: String, Confidence: Number }, { ・・・ } ], TopClass: { Name: String, Confidence: Number } } ドキュメント全体 のカテゴリ 一文ごとの カテゴリ（配列） 現状は TopClass の値を参照すればよい 一文毎の解析は 機能していない？ 分類されたカテゴリ 信頼度スコア 配列で出力されない カテゴリ分類（事前構築済み）
112. Power Automate で使用する 112 件名 必須 タイプ 内容 言語 〇 文字列 事前定義された言語または言語コードの一 覧内のアイテム (例: "en"、"jp"、"zh_chs"、"ru") テキスト 〇 文字列 分析するテキスト文 分類や信頼度スコアは配列に格 納されているため、自動的に Apply to Each が追加されます カテゴリ分類（事前構築済み） ドキュメント全体の分類されたカテゴリ ドキュメント全体の信頼度スコア body('標準モデルを使用してテキストをカテゴリに分類する')? ['responsev2']?['predictionOutput']?['results']?[0]?['type'] first(body('標準モデルを使用してテキストをカテゴリに分類する')? ['responsev2']?['predictionOutput']?['results'])?['score']
113. 出力 113 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "results@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "results": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "type": "Staff", "score": 0.393411875 } ] } } } ドキュメント全体の分類されたカテゴリ ドキュメント全体の信頼度スコア カテゴリ分類（事前構築済み）
114. カテゴリ分類 （カスタム）
115. カスタムモデル カテゴリ分類（カスタムモデル） 115 ◼ テキストデータをあらかじめ定義したタグで分類する機械学習モデルを 簡単に構築し、トレーニングして公開することができる ◼ トレーニングデータは Dataverse テーブル に格納する必要がある ◼ Azure Cognitive Service for Language テクノロジを使用している プレビュー カテゴリ分類（カスタムモデル）
116. ◼ Dataverse テーブル内にトレーニングデータを格納しトレーニングを実施する ◼ トレーニングデータは正しい形式で構造化されている必要がある ◼ トレーニング済みのモデルは、Power Automate および Power Apps で利用可能 ◼ モデルのライフサイクル ➢ 公開済みのバージョン － 1 つ Power Automate や Power Apps で利用可能 ➢ 最後にトレーニング済み、未公開バージョン － 1 つ トレーニング済み＆未公開 ➢ ドラフト バージョン － 1 つ 下書き カテゴリ分類モデルの作成 116 カテゴリ分類（カスタムモデル）
117. トレーニングデータについて 117 ◼ Dataverse テーブル内に格納する ◼ テーブルには、テキスト（複数行テキスト）とタグ（1行テキスト）の ２つの列を定義する ◼ 一つの分類タグにつき、少なくとも10個のテキストサンプルが必要 （10未満でタグ付けされている場合は無視される） ◼ トレーニングデータ内には、少なくとも２つのタグが必要 ◼ タグは最大200個まで定義可能 ◼ テキストデータの各サンプルは5,000文字まで 列名 必須 タイプ 内容 分類タグ 1行テキスト 分類タグ • 空白可 • 複数指定する場合はコンマ (,)、セミコロン (;)、 タブのいずれかで区切る テキスト 〇 複数行テキスト トレーニング対象のテキストデータ カテゴリ分類（カスタムモデル）
118. カテゴリ分類モデルの トレーニングと発行 118 ① サンプルデータを用意する（Dataverse テーブル、TextとTagsの列） ② テーブルからテキストが格納された列を選択する（Text列） ③ テーブルからタグが格納された列を選択する（ Tags列） ④ タグの区切り文字を選択する ⑤ 言語を選択する ⑥ トレーニングする ⑦ （オプション）クイックテストする ⑧ 公開する ⑨ アプリやフローでモデルを利用する モデル名を「カテゴリ分類」にするのは非推奨 （Category classification） （事前構築済みモデルの予約名と重複するため） カテゴリ分類（カスタムモデル）
119. 仕様と出力 119 ◼ サポート言語 ➢ 英語、フランス語、ドイツ語、ポルトガル語、イタリア語、 スペイン語 ◼ 出力項目 ➢ 信頼度スコア 0 から 1 の範囲の値 値が 1 に近いと、検出が正確であるという高い信頼度を示す 日本語未対応 カテゴリ分類（カスタムモデル）
120. 制限 120 ◼ ドキュメントの制限 ➢ 5,000 文字まで ◼ 呼び出し制限 ➢ 不明（Learnに記載なし） カテゴリ分類（カスタムモデル）
121. Power Apps で使用する 121 [ボタン] コントロール の OnSelect ClearCollect(colcategorization_custom, [モデル名].Predict(TextInput.Text,{Language:"en"})) 作成したモデル First(colcategorization_custom).TopClass.Name First(colcategorization_custom).TopClass.Confidence [ギャラリー] の Itmes First(colsentiment).Sentences ThisItem.Name ThisItem. Confidence カテゴリ分類（カスタムモデル）
122. 出力 122 https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models { AllClasses: [ { Name: String, Confidence: Number }, { ・・・ } ], TopClass: { Name: String, Confidence: Number } } 最も信頼度スコア の高いカテゴリ 分類された すべてのカテゴリ （配列） 分類されたカテゴリ 信頼度スコア カテゴリ分類（カスタムモデル）
123. Power Automate で使用する 123 件名 必須 タイプ 内容 AIモデル 〇 モデル トレーニングされ発行されたカテゴリ分類 モデル テキスト 〇 文字列 分析するテキスト文 言語 〇 文字列 「自動検出」または言語コード (例: "en"、 "fr"、"zh_chs"、"ru") カテゴリ分類（カスタムモデル）
124. "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "results@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "results": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "type": "Care", "score": 0.854097 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "type": "Staff", "score": 0.7570282 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "type": "Facilities", "score": 0.705356 } ] } } } 出力 124 ドキュメント全体で分類されたカテゴリ とその信頼度スコア カテゴリ分類（カスタムモデル）
125. エンティティの抽出 （事前構築済み）
126. 事前構築済みモデル エンティティの抽出 126 ◼ テキストから重要な要素を識別し、それらを年齢、都市、日時、組織、 個人名などの定義済みカテゴリに分類する ◼ エンティティを抽出することで、非構造化データを、コンピューターで 読み取り可能な構造化データに変換できるので、情報を取得し事実を抽 出可能となる ◼ Azure Cognitive Service for Language テクノロジを使用している 固有のエンティティで識別す る時は、カスタムモデル（エ ンティティの抽出）を利用し よう エンティティの抽出（事前構築済み）
127. DeepL翻訳は、2017年8月28日 にサービスを開始した無償の ニューラル機械翻訳サービスで、 ドイツのケルンに本拠地を置く DeepL GmbH が開発した。 エンティティの抽出 127 エンティティの値 エンティティの種類 エンティティの抽出（事前構築済み）
128. 仕様と出力 128 ◼ サポート言語 ➢ アラビア語、イタリア語、オランダ語、スウェーデン語、スペイン 語、チェコ語、デンマーク語、ドイツ語、トルコ語、ノルウェー語 (ブークモール)、ハンガリー語、フィンランド語、フランス語、ポー ランド語、中国語 (簡体字)、日本語、英語、韓国語 ◼ 出力項目 ➢ モデルの出力 https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-entity- extraction#supported-entity-types 2023年1月 Power automate での情報です（Learn未記載） Power Apps は日本語対応していない模様） エンティティの抽出（事前構築済み）
129. 129 年齢 Age 数値として抽出された人、場所、または物の年齢 Boolean Boolean ブール値として抽出された、肯定応答または否定応答 市区町村 City（GPE) 文字列として抽出された、市区町村名 色 Color 文字列として抽出された、カラー スペクトル上の原色と色合い 大陸 Continent 文字列として抽出された、大陸名 国/地域 Country or region 文字列として抽出された、国と地域の名前 日付と時刻 Date and time 文字列として抽出される、ある時点に相対した日付、時刻、曜日、および月 期間 Duration 文字列、標準の TimeSpan 形式として抽出された、時間の長さ メールアドレス Email 文字列として抽出されるメール アドレス イベント Event 文字列として抽出された、イベント名 言語 Language 文字列として抽出された、言語名 金額 Money 数値として抽出された、金額 番号 Number 数値として抽出された、数値またはテキスト形式の基数 序数 Ordinal 数値として抽出された、数値またはテキスト形式の序数 組織 Organization 文字列として抽出される、組織、アソシエーション、および企業の名前 割合 Percentage 数値またはテキスト形式のパーセンテージ。数値として抽出されます 個人名 Person name 文字列として抽出される、人名の一部またはフル ネーム 電話番号 Phone number 文字列として抽出された、標準の米国形式の電話番号 速度 Speed 数として抽出される速度 米国の州 State 米国の州の名称と略称。文字列として抽出されます 番地 Street address 標準の米国形式での番号付きの所番地、通り、道路、市区町村、州、郵便番号。文字列として抽出さ れます 温度 Temperature 数値として抽出された、温度 URL URL 文字列として抽出される Web サイトの URL とリンク エンティティの種類 エンティティの抽出（事前構築済み）
130. 制限 130 ◼ ドキュメントの制限 ➢ 5,000 文字まで ◼ 呼び出し制限 ➢ 不明（Leranに記載なし） エンティティの抽出（事前構築済み）
131. Power Apps で使用する 131 [ボタン] コントロール の OnSelect ClearCollect(colEntityClassification, エンティティの抽出.Predict(TextInput.Text,{Language:"en"})) エンティティの抽出 ThisItem.Value ThisItem.Type [ギャラリー] の Itmes First(colEntityClassification).Entities ThisItem.Confidence エンティティの抽出（事前構築済み）
132. 出力 132 https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models { Entities: [ { Type: String, Value: String, StartIndex: Number, Length: Number, Confidence: Number }, { ・・・ } ] } エンティティごと の配列 エンティティの値 エンティティの種類 検出したエンティティの開始位置 検出したエンティティの文字長 信頼度スコア エンティティの抽出（事前構築済み）
133. Power Automate で使用する 133 件名 必須 タイプ 内容 テキスト 〇 文字列 分析するテキスト文 言語 〇 文字列 事前定義された言語または言語コードの一 覧内のアイテム (例: "en"、"jp"、"zh_chs"、"ru") エンティティの抽出（事前構築済み）
134. 出力 134 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "text": "DeepL翻訳は、2017年8月28日にサービスを開始した無償のニューラル機械翻訳サービスで、 ドイツのケルンに本拠地を置く DeepL GmbH が開発した。", "textScore": 1, "entities@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "entities": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "type": "Organization", "startIndex": 0, "length": 5, "value": "DeepL", "score": 0.8213612175505702 }, { ・・・ } ] } } } } エンティティの種類 信頼度スコア エンティティの値 検出したエンティティの開始位置と文字長 エンティティの抽出（事前構築済み）
135. エンティティの抽出 （カスタム）
136. カスタムモデル エンティティの抽出（カスタムモデル） 136 ◼ テキストから特定のキーワード、エンティティ、機能を識別するエン ティティ抽出モデルを簡単に構築し、トレーニングして公開することが できる ◼ トレーニングデータは Dataverse テーブル に格納する必要がある ◼ Azure Cognitive Service for Language テクノロジを使用している エンティティの抽出（カスタム）
137. ◼ Dataverse テーブル内にトレーニングデータを格納しトレーニングを実施する ◼ アップロードされた例から、あらかじめ組み込まれたエンティティ タイプを自動的に 抽出する ◼ 結果に満足しない場合はカスタマイズ可能 ➢ 独自のエンティティを新規に作成 ➢ 既存のエンティティ種別を変更 ➢ モデルに含めたくないエンティティを選択解除 ◼ トレーニング済みのモデルは、Power Automate および Power Apps で利用可能 ◼ モデルのライフサイクル ➢ 他のカスタムモデルと同じ（３つ） エンティティの抽出モデルの作成 137 （5つ以上の例を追加する必要あり） エンティティの抽出（カスタム）
138. トレーニングデータについて 138 ◼ Dataverse テーブル内に格納する ◼ テーブルには、テキスト（複数行テキスト）列を定義する ◼ テキストデータの例は、10個以上のテキストサンプルが必要 ◼ エンティティを新規作成または、事前構築済みの既存エンティティ種別 を変更する場合は、5つ以上の例を指定する必要がある 件名 必須 タイプ 内容 テキスト 〇 複数行テキスト トレーニング対象のテキストデータ エンティティの抽出（カスタム）
139. エンティティの抽出モデルの トレーニングと発行 139 ① サンプルデータを用意する（Dataverse テーブル、Text列） ② テーブルからサンプルテキストが格納された列を選択する（Text列） ③ 言語を選択する ④ 事前構築済みモデルによるエンティティの自動抽出が行われる ⑤ モデルの確認と調整（エンティティの追加/修正/削除）を行う ⑥ トレーニングする ⑦ （オプション）クイックテストする ⑧ 公開する ⑨ アプリやフローでモデルを利用する モデル名を「エンティティの抽出」に するのは非推奨（Entity extraction） （事前構築済みモデルの予約名と重複 するため） エンティティの抽出（カスタム）
140. 仕様と出力 140 ◼ サポート言語 ➢ 英語、中国語 (簡体字)、フランス語、ドイツ語、ポルトガル語、イタ リア語、スペイン語 ◼ 出力項目 ➢ 信頼度スコア 0 から 1 の範囲の値 値が 1 に近いと、検出が正確であるという高い信頼度を示す 日本語未対応 エンティティの抽出（カスタム）
141. 制限 141 ◼ ドキュメントの制限 ➢ 5,000 文字まで ◼ 呼び出し制限 ➢ 不明（Learnに記載なし） エンティティの抽出（カスタム）
142. Power Apps で使用する 142 [ボタン] コントロール の OnSelect ClearCollect(colEntityClassification_custom, [モデル名].Predict(TextInput.Text,{Language:"en"})) 作成したモデル ThisItem.Type ThisItem.Confidence [ギャラリー] の Itmes First(colEntityClassification_custom).Entities ThisItem.Value ThisItem. Confidence エンティティの抽出（カスタム）
143. 出力 143 https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models { Entities: [ { Type: String, Value: String, StartIndex: Number, Length: Number, Confidence: Number }, { ・・・ } ] } エンティティごとの カテゴリ（配列） エンティティの値 エンティティの種類 検出したエンティティの開始位置 検出したエンティティの文字長 信頼度スコア エンティティの抽出（カスタム）
144. Power Automate で使用する 144 件名 必須 タイプ 内容 AIモデル 〇 モデル トレーニングされ発行されたエンティティ の抽出モデル テキスト 〇 文字列 分析するテキスト文 言語 〇 文字列 「自動検出」または言語コード (例: "en"、 "fr"、"zh_chs"、"ru") エンティティの抽出（カスタム）
145. "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "text": "Miyake will be speaking about AI Builder at the January 28, 2023 study group at will hosted by Miss Panda. conpass event URL is https://kimamani.connpass.com/event/271638/."", "textScore": 1, "entities@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "entities": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "type": "PersonName", "startIndex": 0, "length": 6, "value": "Miyake", "score": 0.242974231931466722 }, { ・・・ } ] } } } } 出力 145 エンティティの種類 信頼度スコア エンティティの値 検出したエンティティの開始位置と文字長 エンティティの抽出（カスタム）
146. キーフレーズ抽出
147. 事前構築済みモデル キーフレーズの抽出 147 ◼ テキスト ドキュメントから要点を識別する ◼ 非構造化テキストからの主要なトーキングポイントを識別する ◼ Azure Cognitive Service for Language テクノロジを使用している キーフレーズの抽出
148. AI Builder は、ビジネスプロセ スを最適化するように設計され た AI モデルを提供する Microsoft Power Platform 機能 です。 キーフレーズ抽出 148 エンティティの値 抽出されたキーフレーズ キーフレーズの抽出
149. 仕様と出力 149 ◼ サポート言語 ➢ アフリカーンス語、ブルガリア語、カタルニア語、中国語 (簡体字および繁体字)、 クロアチア語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、 フランス語、ドイツ語、ギリシャ語、ハンガリー語、イタリア語、インドネシア語、 日本語、韓国語、ラトビア語、ノルウェー語 (ブークモール)、ポーランド語、ポ ルトガル語 (ブラジル)、ポルトガル語 (ポルトガル)、ルーマニア語、ロシア語、 スペイン語、スロバキア語、スロベニア語、スウェーデン語、トルコ語 ◼ 出力項目 ➢ キーフレーズ 分析されたテキストの主要な話題を示す文字列 キーフレーズの抽出
150. 制限 150 ◼ ドキュメントの制限 ➢ 5,120 文字まで ◼ 呼び出し制限 ➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環 境ごとに 400回/60秒 キーフレーズの抽出
151. Power Apps で使用する 151 [ボタン] コントロール の OnSelect ClearCollect(colKeyPhraseExtraction,'キー フレーズ抽出 '.Predict(TextInput.Text,{Language:"ja"})) ThisItem.Phrase [ギャラリー] の Itmes First(colKeyPhraseExtraction).Phrases キーフレーズ抽出 キーフレーズの抽出
152. 出力 152 https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models { Phrases: [ { Phrases: String }, { ・・・ } ] } 検出されたキーフレーズ抽出 キーフレーズの抽出
153. Power Automate で使用する 153 件名 必須 タイプ 内容 テキスト 〇 文字列 分析するテキスト文 言語 〇 文字列 事前定義された言語または言語コードの一 覧内のアイテム (例: "en"、"jp"、"zh_chs"、"ru") キーフレーズの抽出
154. "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・", "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "results@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "results": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "phrase": "AI モデルを提供する" }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "phrase": "Microsoft" }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "phrase": "ビジネスプロセスを最適化" }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "phrase": "機能" } ] } } } 出力 154 キーフレーズの抽出
155. テキストの翻訳
156. テキストの翻訳 156 ◼ 100 以上の言語間でリアルタイムにテキスト データを翻訳する ◼ 翻訳するテキスト データの言語を検出することも可能 （信頼度も出力される） ◼ 日本ロケーションには未展開（米国またはヨーロッパのみ） ◼ Azure Cognitive Service for Language テクノロジを使用している 事前構築済みモデル テキストの翻訳
157. テキストの翻訳 157 AI Builder is a Microsoft Power Platform capability that provides AI models that are designed to optimize your business processes. AI Builder enables your business to use intelligence to automate processes and glean insights from your data in Power Apps and Power Automate. AI ビルダーは、ビジネス プロセスを最適化 するように設計された AI モデルを提供する Microsoft Power Platform 機能です。AI Builder を使用すると、ビジネスはインテリ ジェンスを使用してプロセスを自動化し、 Power Apps と Power Automate のデータから 分析情報を収集できます。 テキストの翻訳
158. 仕様と出力 158 ◼ サポート言語 ➢ アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アッサム語、アゼルバイジャン 語 (ラテン)、ベンガル語、バシキール語、バスク語、ボスニア語 (ラテン)、ブルガリア語、広東語 (繁体字)、 カタロニア語、中国語 (文語)、簡体中国語、中国語 (繁体字)、クロアチア語、チェコ語、デンマーク語、ダ リー語、ディベヒ語、オランダ語、英語、エストニア語、フェロー語、フィジー語、フィリピン語、フィンラ ンド語、フランス語、フランス語 (カナダ)、ガリシア語、ジョージア語、ドイツ語、ギリシャ語、グジャラー ト語、ハイチ・クレオール語、ヘブライ語、ヒンディー語、ミャオ語 (ラテン)、ハンガリー語、アイスランド 語、インドネシア語、イヌイナクトゥン語、イヌクティトット語、イヌクティトット語 (ラテン)、アイルラン ド語、イタリア語、日本語、カンナダ語、カザフ語、クメール語、クリンゴン語、クリンゴン語 (plqaD)、韓 国語、クルド語 (中央)、クルド語 (北)、キルギス語 (キリル)、ラオス語、ラトビア語、リトアニア語、マケ ドニア語、マダガスカル語、マレー語 (ラテン)、マラヤーラム語、マルタ語、マオリ語、マラーティー語、モ ンゴル語 (キリル)、モンゴル語 (繁体字)、ミャンマー、ネパール語、ノルウェー語、オディア語、パシュトウ 語、ペルシャ語、ポーランド語、ポルトガル語 (ブラジル)、ポルトガル語 (ポルトガル)、パンジャーブ語、オ トミ語、ルーマニア語、ロシア語、サモア語 (ラテン)、セルビア語 (キリル)、セルビア語 (ラテン)、スロバ キア語、スロベニア語、ソマリ語 (アラビア語)、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タヒチ 語、タミル語、タタール語 (ラテン)、テルグ語、タイ語、チベット語、ティグリニア語、トンガ語、トルコ語、 トルクメン語 (ラテン)、ウクライナ語、高地ソルブ語、ウルドゥ語、ウイグル語 (アラビア語)、ウズベク語 (ラテン)、ベトナム語、ウェールズ語、ユカテコ語、ズールー語 https://learn.microsoft.com/ja-jp/azure/cognitive-services/translator/language-support#translation ◼ 出力項目 ➢ テキスト: 翻訳されたテキスト ➢ 検出された言語: ソース言語を指定した場合は出力されない （信頼度も出力される） テキストの翻訳
159. 制限 159 ◼ ドキュメントの制限 ➢ 10,000 文字まで ◼ 利用可能なリージョン ➢ 米国、ヨーロッパのみ（2023/1/19時点） https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models ◼ 呼び出し制限 ➢ 不明（Learnに記載なし） テキストの翻訳
160. 160 [ボタン] コントロール の OnSelect ClearCollect(colTexttranslation,テキストの翻訳.Predict(TextInput1.Text,{'Translate To':"ja"})) テキストの翻訳 First(colTexttranslation).Text First(colTexttranslation).DetectedLanguage Power Apps で使用する 'Translate From:'は指定なし推奨 テキストの翻訳
161. 出力 161 https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models { Text: string, Translated text DetectedLanguage: string, DetectedLanguageConfidence: Number } 翻訳された言語 検出された入力テキストの言語 検出された入力テキストの言語の信頼度 テキストの翻訳
162. Power Automate で使用する 162 件名 必須 タイプ 内容 テキスト 〇 文字列 翻訳するテキスト文 翻訳後の言語 〇 文字列 事前定義された言語または言語コードの一 覧内のアイテム (例: "en"、"jp"、"zh_chs"、"ru") 翻訳元の言語 〇 文字列 「自動検出」または言語コード (例: "en"、 "fr"、"zh_chs"、"ru") テキストの翻訳
163. 出力 163 "body": { "@odata.context": "https://orge783a93d.crm.dynamics.com/api/data/v9.1・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "text": "AI ビルダーは、ビジネス プロセスを最適化するように 設計された AI モデルを提供する Microsoft Power Platform 機能です。AI Builder を使用すると、ビジネスはインテリジェンスを使用してプロセスを自動 化し、Power Apps と Power Automate のデータから分析情報を収集できます。 ", "detectedLanguage": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "language": "en", "score": 1 } } } } ドキュメント全体の結果 ドキュメント全体のセンチメント 検出された言語 検出された言語の信頼度スコア 「翻訳元の言語」が"自動検出"の場合のみ出力 テキストの翻訳
164. 構造化データ 機能
165. 画像 機能
166. № モデル 事前/カスタム 日本語 対応 説明 1 物体検出 カスタム － 画像から定義したオブジェクトの位置や数を認識する 2 画像分類 (Lobe による) カスタム － 画像を定義したラベルに分類する 画像機能 166
167. 物体検出
168. 物体検出 168 ◼ 画像からカスタム オブジェクトを識別して位置を認識するオブジェクト 検出カスタム モデルを簡単に構築し、トレーニングして公開することが できる ◼ 小売棚のオブジェクト、ブランドロゴ、または共通のオブジェクトから モデルドメインを選択する ◼ トレーニングは、自作のデータを使用して調整を行う カスタムモデル 物体検出
169. 画像検出 169 モデルのトレーニング 物体検出
170. トレーニング画像の準備 170 ◼ トレーニング用に、検出する物体を含む画像を収集する必要がある ◼ 一つのトレーニングセットの物体あたり15以上の画像が必要 （できれば50以上(後述)） ◼ データのバランスをとる必要がある（最大と最小の比率を 1:2 以下にする） （NGな例：1つのオブジェクトには500の画像があるのに対し、別のオブジェクトは50しかない等） ◼ より多様な画像を使用する ➢ 背景 ➢ 光の加減の ➢ オブジェクトのサイズ ➢ カメラアングル ➢ 予期しない結果（誤って学習してしまった画像を利用しトレーニング） 物体検出
171. モデルについて ① 171 ◼ モデルのライフサイクル ➢ 公開済みのバージョン － 1 つ Power Automate や Power Apps で利用可能 ➢ 最後にトレーニング済み、未公開バージョン － 1 つ トレーニング済み＆未公開 ➢ ドラフト バージョン － 1 つ 下書き ◼ モデルドメイン ➢ 共通のオブジェクト: 規定値。 ユース ケースが以下の特定の用途に適さな い場合は、この方法を使用する ➢ 小売棚のオブジェクト: 棚に密に詰められた製品を検出する ➢ ブランド ロゴ: ロゴ検出用に最適化されている 物体検出
172. モデルについて ② 172 ◼ 検出するオブジェクトの定義 ➢ 物体の名前は直接入力または、Dataverse テーブルからインポートし定義す る ➢ 最大 500 の異なるオブジェクトを 1 つのモデルで検出できる ◼ モデルのスコアについて ➢ トレーニングに使用した画像に対するモデルのパフォーマンスのことであ り、今後使用する画像に対するパフォーマンスではない ➢ 1つのラベルにトレーニングする画像が50未満の場合、高いスコア（最大 100％）を得る可能性があるが、これはモデルが万全という意味ではない ➢ トレーニングに使われた画像で、モデルが間違いを犯している状態 物体検出
173. 物体検出モデルのトレーニングと発行 173 ① モデルのドメインを選択する （共通オブジェクト / 小売棚のオブジェクト / ブランド ロゴ） ② 物体名を入力する（またはDataverseテーブルからインポートする） ③ トレーニング用の画像をアプロードする ④ 画像にタグを付ける ⑤ トレーニングする ⑥ （オプション）クイックテストする ⑦ 発行する ⑧ アプリやフローでモデルを利用する 物体検出
174. 仕様と出力 ② 174 ◼ 出力項目 ➢ 検出されたオブジェクトの名前と信頼度 ➢ 検出されたオブジェクトのサイズと位置 物体検出
175. 制限 175 ◼ ファイルの制限 ➢ 画像 (JPG, PNG, BMP) ファイル ➢ ファイル サイズは 6 MBまで ➢ 画像のサイズは 256 x 256 ピクセルまで ◼ 呼び出し制限 ➢ 環境ごとに 4800回/60秒 物体検出
176. Power Apps で使用する 176 [ギャラリー] の Itmes First(colObjectDetection).Objects ThisItem.Name 作成したモデル [画像の追加] コントロール の OnSelect ClearCollect(colObjectDetection,[モデル名].Predict(AddMediaButton.Media)) ThisItem.BoundingBox.Left 物体検出
177. Power Apps で使用する 177 [ギャラリー] の Itmes ObjectDetector.GroupedResults ThisItem.TagName オブジェクト検出器 ThisItem.ObjectCount 物体検出 オブジェクト検出器の オブジェクト名
178. 出力 178 https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models { Objects: [ { Name: String, Confidence: Number, Confidence: Number, BoundingBox: { Left: Number, Top: Number, Width: Number, Height: Number }, { ・・・ } ] } 信頼度は表示されない模様 （Leanに記載があるが・・・） 検出したオブジェクト名 検出したオブジェクトの位置とサイズ 物体検出
179. Power Automate で使用する 179 件名 必須 タイプ 内容 AIモデル 〇 モデル 分析に使用するドキュメント処理モデル イメージ 〇 文字列 処理する画像 JPG, PNG, BMP を取得 動的コンテンツで取得 物体検出
180. 出力（全体） 180 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "results@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "results": [ ] } } } 検出したオブジェクトの情報が 出力される 物体検出
181. 181 { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "tagId": "683284ad-ccc1-4503-91e3-3e177e168678", "tagName": "ミカン", "confidence": 0.9625253, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.6370432, "top": 0.42552555, "width": 0.21556318, "height": 0.2624352, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.6370432, "y": 0.42552555 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.85260638, "y": 0.42552555 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.85260638, "y": 0.68796075 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.6370432, "y": 0.68796075 } ] } } }, 出力（要素） 検出したオブジェクトの名前 座標（左上） 座標（右上） 座標（右下） 座標（左下） 信頼度スコア オブジェクトの左上座標、幅、高さ 検出したオブジェクトのID 物体検出
182. 画像分類
183. Coming Soon 183 物体検出 https://qiita.com/MiyakeMito/items/ba78d3cea7b1d1a89840 待ちきれない方に・・・
184. まとめ
185. まとめ AI Builderの魅力が 伝わりましたか？ 是非、業務や遊びでご活用ください 185
186. ありがとうございました 188