Tweet
Tweet

Slide 1

Slide 1 text

AI Builder について 気ままに勉強会 #97 1

Slide 2

Slide 2 text

今日の目標 AI Builder を知ろう 2

Slide 3

Slide 3 text

アジェンダ AI Builder とは AI Builder のモデルたち ドキュメント テキスト 構造化データ 画像 3

Slide 4

Slide 4 text

Miyake @MiTo60448639 https://qiita.com/MiyakeMito 株式会社アイシーソフト Technical Manager www.icsoft.jp https://speakerdeck.com/miya kemito 4

Slide 5

Slide 5 text

本日の参考サイト 5 ◼ AI Builder のドキュメント（Microsoft Learn） https://learn.microsoft.com/ja-jp/ai-builder/ ◼ Learn （AI Builder） https://learn.microsoft.com/ja-jp/training/browse/?expanded=power- platform&products=ai-builder ◼ AI Builder labs（GitHub） https://github.com/microsoft/PowerApps-Samples/tree/master/ai-builder/labs

Slide 6

Slide 6 text

免責事項 当スライドは、 2024年10月現在のバージョンでの情報です 今後のアップデート等により、 仕様変更する可能性があります また、私の見解による内容が含まれます 間違いなどありましたらご指摘ください 6

Slide 7

Slide 7 text

AI Builder とは

Slide 8

Slide 8 text

AI Builder とは 8 ◼ ビジネスプロセスを最適化するように設計された AI モデルを提供する Microsoft Power Platform の機能 ◼ Power Apps と Power Automate （Dataverse のロー コード プラグイン、Copilot Studio）で利用可能 ◼ AI のコーディングやデータ サイエンスは不要 ◼ ２つの機能 AIプロンプト：GPTの生成AI機能 AIモデル：従来のAI Builder機能

Slide 9

Slide 9 text

AI プロンプト 9 ◼ 自然言語を使用した生成AIモデルに対し、プロンプ トでタスクを実行するよう指示できる機能。 ◼ 入力変数や Dataverse データといった動的なコンテ キストデータ使用した実行が可能。 ◼ プロンプトは以下の２つ • 一般的なビジネス シナリオ向けに事前に構築さ れた 事前構築済みプロンプト • 一から作成する カスタムプロンプト

Slide 10

Slide 10 text

AI モデル 10 ◼ 様々なビジネスシナリオに適したモデルを含む。 • OCR(光学文字認識)によるドキュメントからの エンティティ取得 • 非構造化テキストから情報を抽出、分析 など ◼ モデル（データ解析を行う手法）は以下の２つ • そのまま利用できる 事前構築済みモデル • ニーズに合わせて調整する カスタムモデル

Slide 11

Slide 11 text

Azure AI 11 サービス名 概要 主な用途 1 Azure OpenAI Service GPT-4 などの高度な言語モデルを使用して、テキスト生成や会話 などを実行 チャットボット、コンテンツ生成、 コード生成 2 Azure AI Search AI を活用した検索機能を提供し、キーワード検索やベクトル検索 をサポート エンタープライズ検索、ドキュメン ト検索 3 Azure AI Content Safety テキストや画像のコンテンツを監視し、不適切な内容を検出 ソーシャルメディアのモデレーショ ン、管理 4 Azure AI Translator 100 以上の言語に対応したリアルタイム翻訳サービスを提供 多言語対応のアプリケーション、国 際的なコミュニケーション 5 Azure AI Speech 音声認識、音声合成、音声翻訳、話者認識などの機能を提供 音声アシスタント、音声ナビゲー ション、アクセシビリティ向上 6 Azure AI Vision 画像とビデオの解析を行い、OCR、物体認識、顔認識などの機能 を提供 画像検索、監視システム、医療画像 解析 7 Azure AI Language テキスト分析、ドキュメント要約、会話型インターフェースの構 築などを提供 テキスト分析、カスタマーサポート、 ドキュメント管理 8 Azure AI Document Intelligence ドキュメントからテキストや構造化データを自動的に抽出 請求書処理、契約書管理、データエ ントリーの自動化

Slide 12

Slide 12 text

Azure AI Service ◼ Azure AI の中でも特に事前構築された AI モデルや API を提供するサービス群。専門的な知識が無くても簡単に 利用できる。 ◼ 次の ５つの主要なカテゴリで分類 ➢ Vision - 視覚 ➢ Speech - 音声 ➢ Language - 言語 ➢ Decision - 意思決定 ➢ Search - 検索 ◼ Azure AI Service とは https://learn.microsoft.com/ja-jp/azure/ai-services/what- are-ai-services 12

Slide 13

Slide 13 text

利用可能な Azure AI Service 13 サービス名 説明 1 Azure AI 検索 AI を利用したクラウド検索をモバイルおよび Web アプリで実現できます。 2 Azure OpenAI さまざまな自然言語タスクを実行します。 3 ボット サービス ボットを作成し、それらをチャネル間で接続します。 4 コンテンツの安全性 望ましくないコンテンツを検出する AI サービス 5 Custom Vision 画像認識をビジネス用にカスタマイズします。 6 Document Intelligence ドキュメントをインテリジェントなデータ ドリブン ソリューションに変換します。 7 Face 画像内の人や感情を検出および識別します。 8 イマーシブ リーダー ユーザーがテキストを読み、理解するのを支援します。 9 Language 業界をリードする自然言語理解機能を備えたアプリを構築します。 10 Speech 音声テキスト変換、テキスト読み上げ、翻訳、話者認識。 11 Translator AI を利用した翻訳テクノロジを使用して、100 以上の使用中の言語、危険にさらされている 言語、消滅の危機に瀕している言語や方言を翻訳します。 12 Video Indexer ご利用のビデオからアクションにつながる分析情報を抽出します。 13 Vision 画像と動画のコンテンツを分析します。

Slide 14

Slide 14 text

Azure AI Service vs. AI Builder 14 Azure AI Service AI Builder 利便性 高度な設定が必要だが、 柔軟性が高い 簡単に利用開始でき、 直感的な操作が可能 含まれる機能 音声 言語 視覚 意思決定 検索 言語（テキスト） 視覚（ドキュメント、画像） 決定（予測） Power Platform で利用 AzureにAI Serviceのサービスを作成 Power Platformで接続を作成 コネクタの利用 コネクタの利用 セキュリティ Azure のセキュリティ機能 Power Platform のセキュリティ機能 ライセンス Azure サブスクリプション Power Platform の 追加ライセンスに含まれる クレジット

Slide 15

Slide 15 text

AI Builder のライセンス 15 ◼ AI Builder のライセンスは、Power Apps および Power Automate のスタンドアロン ラ イセンスと Dynamics 365 ライセンスのアドオンとして提供される（キャパシティベー ス） ◼ Power Apps Premium、Power Apps per app、Power Automate Premium、Power Automate Process、Power Automate Hosted Process、Power Automate unattended RPA アドオン、Dynamics 365 Finance、Dynamics 365 Finance Premium サブスクリプション にAI Builder 容量が含まれている ◼ Power Platform管理センター＞リソース＞容量＞アドオンで、クレジットを環境に割り 当てる ◼ 試用版のライセンス を使用して期間限定で使用することも可能 https://www.microsoft.com/ja-jp/power-platform/products/power-apps/

Slide 16

Slide 16 text

AI Builderの モデルと プロンプト

Slide 17

Slide 17 text

AI Builder のモデル一覧 17 № データ型 モデルの種類 事前構 築済み カスタ ム 備考 1 ドキュメント 請求書処理 2 ドキュメント・画像 テキスト認識 3 ドキュメント 領収書処理 4 ドキュメント ID ドキュメントリーダー 5 ドキュメント 名刺リーダー 6 ドキュメント ドキュメント処理中 7 テキスト 感情分析 8 テキスト カテゴリ分類 事前構築済みモデルはPreview 9 テキスト エンティティの抽出 10 テキスト キー フレーズ抽出 11 テキスト 言語検出 12 テキスト テキストの翻訳 日本ロケールでは（未だ）未展開 13 構造化データ 予測 14 画像 物体検出 15 画像 画像の説明 Preview － 画像 画像分類 (Lobe による) オミット（2023年1月非推奨） 16 プロンプト AI プロンプト アイコン変更

Slide 18

Slide 18 text

AI Builderのアクション 18 ID ドキュメントリーダー エンティティの抽出（カスタムモデル） カテゴリ分類（カスタムモデル） キーフレーズ抽出 言語検出 感情分析 ドキュメント処理 トリガーは 無いです テキストの翻訳 AI プロンプト

Slide 19

Slide 19 text

AI Builderのアクション 19 予測 テキスト認識 物体検出 請求書処理 エンティティの抽出（事前構築済み） カテゴリ分類（事前構築済み） 名刺リーダー 領収書処理 予測 カスタムモデル用 【New】画像の説明

Slide 20

Slide 20 text

プロンプト 機能

Slide 21

Slide 21 text

№ モデル 事前/カスタム 説明 1 GPTでプロンプトを 使用してテキストを 作成する カスタム 必要なデータ ソースと情報を入力してカスタム プロンプトを作成します。 2 テキストを要約する 事前構築済み 段落、記事、ドキュメントなどのテキストの概要を簡潔に作成します。 3 テキストから情報を 抽出する 事前構築済み ドキュメントまたはオンライン リソースから関連情報を特定し、 抽出します。 4 テキストを分類する 事前構築済み 未定義のカテゴリを無期限のテキストに割り当てます。 5 テキストの感情分析 事前構築済み 特定のテキストで表現された感情や意見を理解します。 6 苦情に応答する 事前構築済み 顧客の不満をより効率的に処理します。 プロンプト機能 21

Slide 22

Slide 22 text

AIプロンプト

Slide 23

Slide 23 text

AIプロンプト 23 ◼ Power Platform で GPTモデルを利用する手段のひとつ。 ◼ 生成AIのモデルは、gpt-3.5-turbo-0125 と GPT 4o（日本リージョン） https://learn.microsoft.com/ja-jp/azure/ai-services/openai/whats-new ◼ Temperature の設定が可能 ◼ データソースを Dataverse テーブルとした 、 RAG(Retrieval-Augmented Generatio)が可能（プレビュー） AI プロンプト

Slide 24

Slide 24 text

24 事前構築済みプロンプト AI プロンプト № モデル 説明 入力 出力 1 AISummarize 提供したテキストを要約します。 たとえば、このプロンプトは電子メール メッセージまたはドキュメントのテキストを要約したものです 要約するテキスト 入力テキストの要約バー ジョン 2 AISentiment 提供したテキストのセンチメントを検出します。 たとえば、このプロンプト は、顧客レビューのセンチメントが肯定的、否定的、または中立的のいずれ かを検出します。 分析するテキスト 分析されたテキストの全 体的な感情 3 AIReply 提供したメッセージに対する返信の下書きを作成します。 たとえば、このプ ロンプトは、製品に関する顧客のレビューに対する返信の下書きを作成しま す。 返信するテキスト 提供された入力テキスト に応答する下書きメッ セージ 4 AITranslate テキストを別の言語から翻訳します。 たとえば、このプロンプトは顧客の電 子メールや製品レビューを翻訳します。 ソース言語を指定する必要はなく、 自動的に検出されます。 翻訳するテキスト テキストを翻訳する先の 言語コード 翻訳されたテキスト 5 AIClassify テキストを 1 つ以上の提供されたカテゴリに分類します。 たとえば、次のカ テゴリのリストは、顧客から提出された問題を分類するために使用される場 合があります。 分類するテキスト カテゴリー 選択したカテゴリの名前 6 AIExtract 登録番号、電話番号、人物名などの指定されたエンティティを抽出します。 データ抽出元テキスト 抽出するエンティティ 提供されたエンティティ のタイプと一致する抽出 済みデータ（テーブル） 存在 しない？ 事前構築済みプロンプトの利用を開始する | Microsoft Learn

Slide 25

Slide 25 text

仕様と出力 25 ◼ サポート言語 ➢ 中国語（簡体字）、チェコ語（チェコ共和国）、デンマーク語（デンマーク）、オ ランダ語（オランダ）、英語（米国）、フィンランド語（フィンランド）、フラン ス語（フランス）、ドイツ語（ドイツ）、ギリシャ語（ギリシャ）、イタリア語 （イタリア）、日本語（日本）、韓国語（韓国）、ポーランド語（ポーランド）、 ポルトガル語（ブラジル）、ロシア語（ロシア）、スペイン語（スペイン）、ス ウェーデン語（スウェーデン）、タイ語（タイ）、トルコ語（トルコ） ◼ 入出力項目 ➢ モデルの入出力 https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-prompts AI プロンプト

Slide 26

Slide 26 text

プロンプトエンジニアリング 26 ◼ AI Builder プロンプト エンジニアリング ガイド（ダウンロードリンク） https://go.microsoft.com/fwlink/?linkid=2255775 AI プロンプト タスク ⼊力変数とともに、処理対象となるデータに ついて説明します。 GPTモデルに実⾏するタスクを 指示する命令 タスク 期待 GPTに⽬標と期待を伝える 最近の顧客 [レビュー] に基づいて、製品のフィードバック サマリーを作成します。 サマリーでは、主要なテーマ、全体的な感情、繰り返し発⽣する問題や賞賛を特定する必要があります。 サマリーは簡潔な形式にし、 マーケティング チームの会議に適した明確でわかりやすい方法で情報を提示します。 出力 GPTが希望どおりに出力をフォーマットする のを⼿伝います

Slide 27

Slide 27 text

独自データを使用 27 ◼ 1つの Dataverse テーブルをナレッジとして回答させることが可能。 https://learn.microsoft.com/ja-jp/ai-builder/use-your-own-prompt-data AI プロンプト 挿入で参照したテーブルのカラムを参照 テーブルを追加 フィールドを指定しフィルター可能 参照できるテーブルは1つです が、リレーションシップにより 複数のデータを参照できます

Slide 28

Slide 28 text

人間によるレビュー 28 ◼ GPT モデルによって生成された出力を人間が レビューする機能。 ◼ [承認]コネクタ-[開始してテキストの承認を待 機] AI プロンプト

Slide 29

Slide 29 text

Power Apps で使用する 29 ボタンコントロール の OnSelectなど UpdateContext({result:'AI Sentiment'.Predict(TextInput1.Text)}) https://learn.microsoft.com/ja-jp/ai-builder/use-a-custom-prompt-in-app AI プロンプト 作製済みの カスタムプ ロンプトが 表示される result.Text="Neutral" result.Text="Positive" result.Text="Negative" AISentiment の場合

Slide 30

Slide 30 text

Power Automate で使用する 30 件名 必須 タイプ 内容 プロンプト 〇 ー モデルを選ぶ Input Text 〇 文字列 処理後の文字 要約するテキスト AI プロンプト AISentiment の場合 動的コンテンツで取得

Slide 31

Slide 31 text

ドキュメント 機能

Slide 32

Slide 32 text

№ モデル 事前/カスタム 日本語 対応 説明 1 請求書処理 事前構築済み 〇 請求書処理を自動化するために、主要な請求書データを抽出するとき 2 テキスト認識 事前構築済み 〇 ドキュメントや画像から、コンピューターで読み取り可能な文字スト リームに、単語を抽出するとき 3 領収書処理 事前構築済み 〇 レシートから主要な情報を抽出するとき 4 ID ドキュメント リーダー 事前構築済み 〇 パスポートから情報を抽出するとき （USの運転免許証、ソーシャル セキュリティ カード、グリーン カー ドも可能） 5 名刺リーダー 事前構築済み 〇 名刺やビシネスカードから情報を抽出するとき 6 ドキュメント処理 カスタム 〇 独自のドキュメントから、モデルをトレーニングした上で情報を抽出 するとき ドキュメント機能 32

Slide 33

Slide 33 text

請求書処理

Slide 34

Slide 34 text

請求書処理 34 ◼ 請求書から、請求書 ID、顧客の詳細、ベンダーの詳細、出荷先、請求先、合計 金額、税、小計、品目などの一般的な要素を認識し検出する ◼ Azure Form Recognizer により、強力な光学式文字認識 (OCR) 機能と、請求書 解釈モデルを組み合わせて、売上請求書の主要なフィールドと明細を分析し、 抽出する ◼ OCR 操作はファイルに書き込まれたすべての単語を抽出するので、検出された 生の OCR 結果にもアクセスできる 固有の情報を識別する時は、カスタムモデル （ドキュメント処理）を利用しよう 事前構築済みモデル 請求書処理

Slide 35

Slide 35 text

請求書処理 35 一般的に使用される 請求書フィールド 信頼度スコア 請求書処理

Slide 36

Slide 36 text

仕様と出力 36 ◼ サポート言語 ➢ アルバニア語 (アルバニア)、チェコ語 (チェコ共和国)、中国語 (簡体字) 中国、中国語 (繁体字) 香港 特別行政区、中国語 (繁体字) 台湾、デンマーク語 (デンマーク)、クロアチア語 (ボスニア・ヘルツェ ゴビナ)、クロアチア語(クロアチア)、クロアチア語 (セルビア)、オランダ語 (オランダ)、英語 (オー ストラリア)、英語 (カナダ)、英語 (インド)、英語 (英国)、英語 (米国)、エストニア語 (エストニア)、 フィンランド語 (フィンランド)、フランス語 (フランス)、ドイツ語 (ドイツ)、ハンガリー語 (ハンガ リー)、アイスランド語 (アイスランド)、イタリア語 (イタリア)、日本語 (日本)、韓国語 (韓国)、リ トアニア語 (リトアニア)、ラトビア語 (ラトビア)、マレー語 (マレーシア)、ノルウェー語 (ノル ウェー)、ポーランド語 (ポーランド)、ポルトガル語 (ポルトガル)、ルーマニア語 (ルーマニア)、ス ロバキア語 (スロバキア)、スロベニア語 (スロベニア)、セルビア語 (セルビア)、スペイン語 (スペイ ン)、スウェーデン語 (スウェーデン)。 ◼ 出力項目 ➢ モデルの出力 https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-invoice-processing#model-output 一般的に使用される請求書フィールドと信頼度スコア 請求書で検出されたすべてのテキスト 請求書処理

Slide 37

Slide 37 text

37 請求額 (テキスト) Amount due (text) 請求額 (数値) Amount due (number) 請求先住所 Billing address 請求先住所の受取人 Billing address recipient 顧客住所 Customer address 顧客住所の受取人 Customer address recipient 顧客 ID Customer ID 顧客名 Customer name 顧客の税 ID Customer tax ID 期限 (テキスト) Due date (text) 期限 (日付) Due date (date) 請求日 (テキスト) Invoice date (text) 請求日 (日付) Invoice date (date) 請求書 ID Invoice ID 請求書の合計 (テキスト) Invoice total (text) 請求書の合計 (数値) Invoice total (number) 品目 Line Items 支払条件 Payment terms 発注書 Purchase order 前回の未払残高 (テキスト) Previous unpaid balance (text) 前回の未払い残高 (数値) Previous unpaid balance (number) 送金先住所 Remittance address 送金先住所の受取人 Remittance address recipient サービス住所 Service address サービス住所の受取人 Service address recipient サービス開始日 (テキスト) Service start date (text) サービス開始日 (日付) Service start date (date) サービス終了日 (テキスト) Service end date (text) サービス終了日 (日付) Service end date (date) 送付先住所 Shipping address 送付先住所の受取人 Shipping address recipient 小計 (テキスト) Subtotal (text) 小計 (数値) Subtotal (number) 税額計 (テキスト) Total tax (text) 税額計 (数値) Total tax (number) ベンダー住所 Vendor address ベンダー住所の受取人 Vendor address recipient ベンダー名 Vendor name 仕入先税 ID Vendor tax ID 検出されたテキスト Detected text 検出されたキー Detected key 検出された値 Detected value 請求書の項目 請求書処理

Slide 38

Slide 38 text

制限 38 ◼ ファイルの制限 ➢ 1ファイルごと ➢ PDF および画像 (JPG, PNG) ファイル ➢ ファイル サイズは 20 MBまで ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセルの間に収める ➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等) ➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される ◼ 呼び出し制限 ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒 請求書処理

Slide 39

Slide 39 text

こんな時には？ 39 ◼ 事前構築済み項目に存在しない項目を取得したい。 1. 生のOCR結果から取得する “readResults” : [] を参照 2. ドキュメント処理モデルを使用する 2-1. カスタム請求書モデルを使用する 抽出する新しいフィールをカスタマイズ可能 2-2. 固定テンプレートドキュメントを使用する 独自のカスタムAIモデルを構築する 請求書処理 下に行くほど手間が増えます

Slide 40

Slide 40 text

Power Apps で使用する 40 [画像の追加] コントロール の OnSelect ClearCollect( colInvoice, 請求書処理.Predict( AddMediaButton1.Media )) 請求書処理 [ギャラリー] の Itmes First( colInvoice ).Tables.Items.Rows First( colInvoice ).Fields.[フィールド名].Value.Text https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models 請求書処理

Slide 41

Slide 41 text

Power Automate で使用する 41 件名 必須 タイプ 内容 請求書ファイル 〇 file 処理する請求書ファイル ページ × 文字列 処理するページ範囲 PDF, JPG, PNG を取得 動的コンテンツで取得 キー値ペアで取得する場合 KeyValuePairs 検出されたキー 検出された値 請求書処理

Slide 42

Slide 42 text

出力（全体） 42 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・ "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "result": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "items@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・ "items": [ ], "keyValuePairs@odata.type": "#Collection(Microsoft.Dynamics. ・・・ "keyValuePairs": [ ], "fields": { }, "context": { } }, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.cr ・・・ "readResults": [ ], “pageReadResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.cr ・・・ “pageReadResults": [ ] } 品目の一覧データが出力される 請求書項目が出力される 開始と終了ページ 検出されたすべてのOCR結果が 出力される（ページ単位で出力） キー値ペア情報が出力される 請求書処理 検出されたすべてのOCR結果が 出力される（全ページを通番で出力）

Slide 43

Slide 43 text

43 "invoiceDate": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "valueText": "Nov 12, 2020", "valueDate": "2020-11-12", "confidence": 0.928, "location": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "page": 1, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.07739999715019674, "top": 0.15870909257368607, "width": 0.15170588212854721, "height": 0.017363634976473724, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "coordinates": [ { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.07739999715019674, "y": 0.15870909257368607 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.22910587927874396, "y": 0.15870909257368607 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.22910587927874396, "y": 0.1760727275501598 }, { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "x": 0.07739999715019674, "y": 0.1760727275501598 } } ] } } } } 出力（要素） 一般的な請求書の項目 検出した値 信頼度 ページ 開始位置の座標 とサイズ 座標（左上） 座標（右上） 座標（右下） 座標（左下） 日付、数値の場合 "valueDate" : " valueNumber " : が追加される 請求書処理

Slide 44

Slide 44 text

ドキュメント処理

Slide 45

Slide 45 text

ドキュメント処理 85 ◼ ドキュメントからテキスト、テーブル、数値、手書きテキスト、チェックボッ クスなどの情報を抽出する独自のカスタム モデルを簡単に構築し、トレーニン グして公開できる ◼ トレーニングは、自作のデータを使用して調整を行う ◼ ドキュメントからフィールド、テーブル、およびチェックボックスを抽出可能 カスタムモデル ドキュメント処理

Slide 46

Slide 46 text

ドキュメント処理 86 モデルのトレーニング ドキュメント処理

Slide 47

Slide 47 text

ドキュメント処理モデルの作成 87 ◼ モデルを トレーニング し、フォームから抽出される情報を定義する ◼ 同じレイアウトを使用するサンプルが５つ以上の必要 ◼ ドキュメントの種類 ➢ 固定テンプレート ドキュメント 指定されたレイアウト、フィールド、テーブル、チェックボックス、およびその他の アイテムが同じような場所で見つかるドキュメントのこと ➢ 汎用ドキュメント 構造が設定されておらず、その多くは段落の数がそれぞれに異なる自由形式のドキュ メント ➢ 請求書 デフォルトのフィールドに加え、抽出する新しいフィールドや、適切に抽出されな かったドキュメントのサンプルを追加して、事前構築済みの請求書処理の動作を拡張 します。 ドキュメント処理

Slide 48

Slide 48 text

モデルについて ① 88 ◼ モデルのライフサイクル ➢ 公開済みのバージョン － 1 つ Power Automate や Power Apps で利用可能 ➢ 最後にトレーニング済み、未公開バージョン － 1 つ トレーニング済み＆未公開 ➢ ドラフト バージョン － 1 つ 下書き ◼ コレクション 同じ項目を共有するドキュメントのグループ コレクションを複数追加すると、レイアウトが異なるドキュメントから 同じ情報を抽出する独自の AI モデルを作成できる ドキュメント処理

Slide 49

Slide 49 text

モデルについて ② 89 ◼ 抽出する情報の種類 ➢ テキストフィールド 印刷または手書きのテキストを抽出 ➢ 数値フィールド サポートされる形式は年月日、 月日年 または 日月年 から選ぶ ➢ 日付フィールド サポートされる形式は年月日、 月日年 または 日月年 から選ぶ ➢ チェックボックス チェック ボックスやラジオ ボタンなどの選択マークを抽出 ➢ テーブル 表形式の情報を抽出 結合したセル、入れ子になった項目、境界線の有無、複数のページにまたがる可能性がある項目を含む、 複雑なテーブル ➢ 署名 請求書モデルのみ存在 ドキュメント処理

Slide 50

Slide 50 text

ドキュメント処理モデルの トレーニングと発行 90 ① ドキュメントの種類を選択する（構造化(半構造化)⇔非構造化） ② 抽出する項目を設定する ③ ドキュメントのコレクションを追加する ④ ドキュメントにタグを付ける ⑤ トレーニングする ⑥ （オプション）クイックテストする ⑦ 発行する ⑧ アプリやフローでモデルを利用する ドキュメント処理

Slide 51

Slide 51 text

テーブルへのタグ設定 91 列の区切りは ctrl ＋ 左クリック 行の区切りは 左クリック タイトル行 を無視 各セルに対しタグ付け可能 列名をマッピング テーブルの区切りは、 列と行の数を指定してもよい ドキュメント処理

Slide 52

Slide 52 text

仕様と出力 ① 92 ◼ サポート言語 ➢ 固定テンプレート ドキュメントのモデル アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ語 (ラテン)、ボージュプリー語-ヒンディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァ ナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、 チェコ語、デンマーク語、ダリー語、ディマル語 (デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、キリバス語、ゴーンディー語 (デーバナーガ リー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デーバナーガリー)、ハンガリー語、アイスランド語、イナリ サーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、ア イルランド語、イタリア語、 日本語 、ジャウンサリ語 (デーバナーガリー)、ジャワ語、カブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、韓 国語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレ サーミ語、ルクセンブルク語、マハス・パハリー語 (デーバナーガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバ ナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパール語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシタン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、 リプアーリ語、ルーマニア語、ロマンシュ語、ロシア語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバナーガリー)、スコットランド語、スコットランド ゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語 (デーバナーガリー)、スコルト サーミ語、 スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トルコ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、 ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー語、ウェールズ語、西フリジア語、ユカテコマヤ語、チワン語、ズールー語 ➢ 汎用ドキュメントのモデル アフリカーンス語、アルバニア語、アラビア語、ブルガリア語、中国語 (漢 (簡体字))、中国語 (漢 (繁体字))、クロアチア語、チェコ語、デンマーク語、オランダ語、エストニア語、フィンランド語、フランス語、ドイツ語、ヘブライ語、ヒンディー語、ハンガリー語、インドネシア語、 イタリア語、 日本語 、韓国語、ラトビア語、リトアニア語、マケドニア語、マラーティー語、現代ギリシャ語 (1453-)、ネパール語 (マクロ言語)、ノルウェー語、パンジャーブ語、ペルシア語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スロバキア語、スロベニ ア語、ソマリ語 (アラビア)、ソマリ語 (ラテン)、スペイン語、スワヒリ語 (マクロ言語)、スウェーデン語、タミール語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語 ドキュメント処理

Slide 53

Slide 53 text

制限 94 ◼ ファイルの制限 ➢ PDF および画像 (JPG, PNG) ファイル PDF推奨（文字の抽出と位置でエラーが生じにくため） ➢ TIFFファイル トレーニングに使用できないが、 Power Automate ではデータ抽出可能 ➢ ファイル サイズは 20 MBまで ➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセルの間に収める ◼ コレクション数とタグ数 ➢ 各モデルごとに最大 200 まで ➢ Power Automateクラウドフローでは、タグ付けできるフィールドは300まで ◼ 呼び出し制限 ➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒 ドキュメント処理

Slide 54

Slide 54 text

ドキュメント処理 Power Apps で使用する 95 [フォーム プロセッサ] コントロール [ギャラリー] の Itmes FormProcessor1.Tables.[モデルで定義したテーブル名] ThisItem.[モデルのテーブルで定義した列名] 作成したモデルを選択 FormProcessor1.Fields.[モデルのテーブルで定義したフィールド名] https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models

Slide 55

Slide 55 text

Power Automate で使用する 96 件名 必須 タイプ 内容 AIモデル 〇 モデル 分析に使用するドキュメント処理モデル ドキュメントの 種類 〇 文字列 分析するフォームのファイルの種類 フォーム 〇 file 処理するフォーム ページ × 文字列 処理するページ範囲 PDF, JPG, PNG, TIFF を取得 動的コンテンツで取得 ドキュメント処理

Slide 56

Slide 56 text

出力（全体） 97 "body": { "@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0 ・・・, "responsev2": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "operationStatus": "Success", "predictionOutput": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageCount": 1, "layoutName": "Adatum", "layoutConfidenceScore": 0.9800000190734863, "readResults@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "readResults": [ ], "tables": { }, "labels": { } ] } } } 検出したテーブル情報 検出されたすべてのOCR結果が 出力される 検出したフィールドと チェックボックス情報 ドキュメント処理

Slide 57

Slide 57 text

98 "InvoiceNumber": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "value": "1000", "displayName": "InvoiceNumber", "fieldType": "string", "confidence": 0.995, "text": "1000", "valueLocation": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "pageNumber": 1, "boundingBox": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "left": 0.8875954710076146, "top": 0.11985685292052244, "width": 0.03932765607114419, "height": 0.01027344511923052, "polygon": { "@odata.type": "#Microsoft.Dynamics.CRM.expando", "coordinates@odata.type": "#Collection( ・・・, "coordinates": [ ] } }, "regions@odata.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)", "regions": [ ] } } ] } } 出力（要素） 検出した値 座標情報 タグ名 タグ名 データ型 開始位置の座標 とサイズ ドキュメント処理

Slide 58

Slide 58 text

まとめ

Slide 59

Slide 59 text

まとめ AI Builderの魅力が 伝わりましたか？ 是非、業務や遊びでご活用ください 200

Slide 60

Slide 60 text

ありがとうございました 203