AI Builderについて

AI Builder
について
気ままに勉強会 #43
1

View Slide

今日の目標
AI Builderの
魅力を知ろう
2

View Slide

アジェンダ
AI Builder とは
AI Builder のモデルたち
ドキュメント
テキスト
構造化データ
画像
3

View Slide

Miyake Mito
@MiTo60448639
https://qiita.com/MiyakeMito
株式会社アイシーソフト
Technical Manager
www.icsoft.jp
https://speakerdeck.com/miya
kemito
4

View Slide

connpass (独立発行者) コネクタ
が認定されました
5
https://learn.microsoft.com/ja-jp/connectors/connpassip/
イベント情報のキャッチ
や管理などに便利です
是非ご活用ください！

View Slide

本日の参考サイト
6
◼ AI Builder のドキュメント（Microsoft Learn）
https://learn.microsoft.com/ja-jp/ai-builder/
◼ AI Builder labs（GitHub）
https://github.com/microsoft/PowerApps-Samples/tree/master/ai-builder/labs

View Slide

免責事項
当スライドは、
2023年1月現在のバージョンでの情報です
今後のアップデート等により、
仕様変更する可能性があります
また、私の見解による内容が含まれます
間違いなどありましたらご指摘ください
7

View Slide

AI Builder
とは

View Slide

AI Builder とは
9
◼ ビジネスプロセスを最適化するように設計された AI
モデルを提供する Microsoft Power Platform の機能
◼ Power Apps と Power Automate で利用可能
◼ AI のコーディングやデータサイエンスは不要
◼ モデル（データ解析を行う手法）は以下の２つ
• そのまま利用できる事前構築済みモデル
• ニーズに合わせて調整するカスタムモデル

View Slide

Azure AI の主な機能
10
◼ 機械学習
➢ Azure machine Learning や Azure Databricks を使い、予測を行い、データから結論を導き出す方法をコンピューターモデルに「教える」こと。多くの場合、AI シス
テムの基盤となる
◼ ドキュメント処理
➢ Azure Form Recognizer でドキュメントから高速にテキスト、キーと値のペア、テーブル、構造、その他実用的な情報を正確に抽出する
◼ Computer Vision
➢ Azure Computer Vision を使い、カメラ、ビデオ、画像を通じて世界を視覚的に解釈するソフトウェアの機能
◼ 会話型AI
➢ Azure Bot Service を使用して、会話型AIエクスペリエンスを開発可能。多言語およびマルチモーダルのボットを構築できる
◼ 自然言語処理
➢ Language Understanding (LUIS) を使用し、コンピューターが自然言語での会話テキストを解釈し、全体の意味を予測し、関連性のある詳細な情報を引き出す
◼ 機械翻訳
➢ 100以上の言語と方言でリアルタイムまたは一括に翻訳
◼ 音声文字起こし
➢ Speech サービスを利用して、高い精度で音声からテキストを書き起こしたり、自然な音声で読み上げたり、音声を翻訳することが可能
◼ ナレッジマイニング
➢ Azure Cognitive Search を使い、ドキュメント、画像、メディアなどすべてコンテンツから、パターンやリレーションシップの発見、センチメントの解釈、キーフ
レーズの抽出などを行う

View Slide

Azure Cognitive Services
◼ 開発者が直接的なAIまたはデータサイエンスのスキルや
知識がなくても、インテリジェントなアプリケーション
を開発するために使用できるAPI、SDKおよびサービス
◼ 次の５つの主要なカテゴリで分類
➢ Vision API - 視覚
➢ Speech API - 音声
➢ Language API – 言語
➢ Decision API - 決定
➢ Search API - 検索
◼ Azure Cognitive Services とは
https://learn.microsoft.com/ja-jp/azure/cognitive-
services/what-are-cognitive-services
11

View Slide

Azure Cognitive Services vs.
AI Builder
12
Azure Cognitive Services AI Builder
含まれる機能
音声
言語
視覚
決定
検索
OpenAI
言語（テキスト）
視覚（ドキュメント、画像）
決定（予測）
Power Platform で利用
AzureにCognitive Servicesの
サービスを作成
Power Platformで接続を作成
コネクタの利用
コネクタの利用
ライセンス Azure サブスクリプション
Power Apps，Power Automate，
Dynamics 365 の
追加ライセンスに含まれる

View Slide

AI Builder のライセンス
13
◼ AI Builder のライセンスは、Power Apps および Power Automate のスタ
ンドアロンライセンスと Dynamics 365 ライセンスのアドオンとして提
供される（キャパシティベース）
◼ AI Builder 計算ツール | Microsoft Power Automate
https://powerautomate.microsoft.com/ja-jp/ai-builder-calculator/
◼ アプリごと／ユーザーごとの Power Apps プラン、アテンド型 RPA を含
むユーザーごとの Power Automate プランなどには、AI Builder 容量が含
まれてる
◼ 試用版のライセンスを使用して期間限定で使用することも可能

View Slide

AI builderの
モデルたち

View Slide

AI Builder のモデル一覧
15
№ データ型モデルの種類
事前構
築済み
カスタ
ム
備考
1 ドキュメント請求書処理
2 ドキュメント・画像テキスト認識
3 ドキュメント領収書処理
4 ドキュメント ID ドキュメントリーダー
5 ドキュメント名刺リーダー
6 ドキュメントドキュメント処理フォーム処理（2022 年 6 月まで）
7 テキスト感情分析
8 テキストカテゴリ分類事前構築済みモデルはPreview
9 テキストエンティティの抽出
10 テキストキーフレーズ抽出
11 テキスト言語検出
12 テキストテキストの翻訳日本ロケールでは未展開
13 構造化データ予測
14 画像物体検出
15 画像画像分類 (Lobe による)

View Slide

AI Builderのアクション
16
ID ドキュメントリーダー
エンティティの抽出（カスタムモデル）
カテゴリ分類（カスタムモデル）
キーフレーズ抽出
言語検出
感情分析
ドキュメント処理
トリガーは
無いです
テキストの翻訳

View Slide

AI Builderのアクション
17
予測
テキスト認識
物体検出
請求書処理
エンティティの抽出（事前構築済み）
カテゴリ分類（事前構築済み）
名刺リーダー
領収書処理
予測
カスタムモデル用

View Slide

ドキュメント
機能

View Slide

№ モデル事前/カスタム
日本語
対応
説明
1 請求書処理事前構築済み △ 請求書処理を自動化するために、主要な請求書データを抽出するとき
2 テキスト認識事前構築済み〇
ドキュメントや画像から、コンピューターで読み取り可能な文字スト
リームに、単語を抽出するとき
3 領収書処理事前構築済み △ レシートから主要な情報を抽出するとき
4
ID ドキュメント
リーダー
事前構築済み〇
パスポートから情報を抽出するとき
（USの運転免許証、ソーシャルセキュリティカード、グリーンカー
ドも可能）
5 名刺リーダー事前構築済み〇名刺やビシネスカードから情報を抽出するとき
6 ドキュメント処理カスタム〇
独自のドキュメントから、モデルをトレーニングした上で情報を抽出
するとき
ドキュメント機能
19

View Slide

請求書処理

View Slide

請求書処理
21
◼ 請求書から、請求書 ID、顧客の詳細、ベンダーの詳細、出荷先、請求先、合計
金額、税、小計、品目などの一般的な要素を認識し検出する
◼ Azure Form Recognizer により、強力な光学式文字認識 (OCR) 機能と、請求書
解釈モデルを組み合わせて、売上請求書の主要なフィールドと明細を分析し、
抽出する
◼ OCR 操作はファイルに書き込まれたすべての単語を抽出するので、検出された
生の OCR 結果にもアクセスできる
固有の情報を識別する時は、カスタムモデル
（ドキュメント処理）を利用しよう
事前構築済みモデル
請求書処理

View Slide

請求書処理
22
一般的に使用される
請求書フィールド
信頼度スコア
請求書処理

View Slide

仕様と出力
23
◼ サポート言語
➢ オランダ語 (オランダ)、英語 (米国)、フランス語 (フランス)、ドイツ語 (ドイツ)、
イタリア語 (イタリア)、ポルトガル語 (ポルトガル)、スペイン語 (スペイン)
◼ 出力項目
➢ モデルの出力
https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-invoice-processing#model-output
一般的に使用される請求書フィールドと信頼度スコア
請求書で検出されたすべてのテキスト
日本語未対応
請求書処理

View Slide

24
請求額 (テキスト) Amount due (text)
請求額 (数値) Amount due (number)
請求先住所 Billing address
請求先住所の受取人 Billing address recipient
顧客住所 Customer address
顧客住所の受取人 Customer address recipient
顧客 ID Customer ID
顧客名 Customer name
顧客の税 ID Customer tax ID
期限 (テキスト) Due date (text)
期限 (日付) Due date (date)
請求日 (テキスト) Invoice date (text)
請求日 (日付) Invoice date (date)
請求書 ID Invoice ID
請求書の合計 (テキスト) Invoice total (text)
請求書の合計 (数値) Invoice total (number)
品目 Line Items
支払条件 Payment terms
発注書 Purchase order
前回の未払残高 (テキスト) Previous unpaid balance (text)
前回の未払い残高 (数値) Previous unpaid balance
(number)
送金先住所 Remittance address
送金先住所の受取人 Remittance address recipient
サービス住所 Service address
サービス住所の受取人 Service address recipient
サービス開始日 (テキスト) Service start date (text)
サービス開始日 (日付) Service start date (date)
サービス終了日 (テキスト) Service end date (text)
サービス終了日 (日付) Service end date (date)
送付先住所 Shipping address
送付先住所の受取人 Shipping address recipient
小計 (テキスト) Subtotal (text)
小計 (数値) Subtotal (number)
税額計 (テキスト) Total tax (text)
税額計 (数値) Total tax (number)
ベンダー住所 Vendor address
ベンダー住所の受取人 Vendor address recipient
ベンダー名 Vendor name
仕入先税 ID Vendor tax ID
検出されたテキスト Detected text
検出されたキー Detected key
検出された値 Detected value
請求書の項目
請求書処理

View Slide

制限
25
◼ ファイルの制限
➢ 1ファイルごと
➢ PDF および画像 (JPG, PNG) ファイル
➢ ファイルサイズは 20 MBまで
➢ 画像のサイズは 50 x 50 ピクセルから 10,000 x 10,000 ピクセル
➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等)
➢ PDF ドキュメントの場合、最初の 2,000 ページのみ処理される
◼ 呼び出し制限
➢ 領収書処理と請求書処理とドキュメント処理を合わせて、環境ごとに 360回/60秒
請求書処理

View Slide

Power Apps で使用する
26
[画像の追加] コントロールの OnSelect
ClearCollect( colInvoice, 請求書処理.Predict( AddMediaButton1.Media ))
請求書処理
[ギャラリー] の Itmes
First( colInvoice ).Tables.Items.Rows
First( colInvoice ).Fields.[フィールド名].Value.Text
https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#prebuilt-models
請求書処理

View Slide

Power Automate で使用する
27
件名必須タイプ内容
請求書ファイル〇 file 処理する請求書ファイル
ページ × 文字列処理するページ範囲
PDF, JPG, PNG を取得
動的コンテンツで取得
キー値ペアで取得する場合
KeyValuePairs 検出されたキー
検出された値
請求書処理

View Slide

出力（全体）
28
"body": {
"@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0/ ・・・
"responsev2": {
"@odata.type": "#Microsoft.Dynamics.CRM.expando",
"operationStatus": "Success",
"predictionOutput": {
"pageCount": 1,
"result": {
"[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmb ・・・
"items": [
],
"[email protected]": "#Collection(Microsoft.Dynamics. ・・・
"keyValuePairs": [
],
"fields": {
},
"context": {
}
},
"[email protected]": "#Collection(Microsoft.Dynamics.CRM.cr ・・・
"readResults": [
]
}
}
}
品目の一覧データが出力される
請求書項目が出力される
開始と終了ページ
検出されたすべてのOCR結果が
出力される
キー値ペア情報が出力される
請求書処理

View Slide

29
"invoiceDate": {
"valueText": "Nov 12, 2020",
"valueDate": "2020-11-12",
"confidence": 0.928,
"location": {
"page": 1,
"boundingBox": {
"left": 0.07739999715019674,
"top": 0.15870909257368607,
"width": 0.15170588212854721,
"height": 0.017363634976473724,
"polygon": {
"[email protected]": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
"coordinates": [
{
"x": 0.07739999715019674,
"y": 0.15870909257368607
},
{
"x": 0.22910587927874396,
"y": 0.15870909257368607
},
{
"x": 0.22910587927874396,
"y": 0.1760727275501598
},
{
"x": 0.07739999715019674,
"y": 0.1760727275501598
}
} ] } } } }
出力（要素）一般的な請求書の項目
検出した値
信頼度
ページ
開始位置の座標とサイズ
座標（左上）
座標（右上）
座標（右下）
座標（左下）
日付、数値の場合
"valueDate" :
" valueNumber " :
が追加される
請求書処理

View Slide

テキスト認識

View Slide

テキスト認識
31
◼ 写真や PDF ドキュメントからすべてのテキストを抽出
◼ Azure Computer Vision OCRサービスを使用して、印字および手書きのテ
キストを画像 (JPG、PNG、BMP、PDF) から抽出し、コンピューターで読
み取り可能な文字ストリームに変換する
◼ 日本語はサポート済み
記号は認識しません
テキスト認識

View Slide

テキスト認識
32
Microsoft MVP for Business Application (
テキスト認識

View Slide

仕様と出力 ①
33
➢ 印刷テキストの言語:
アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ語 (ラテン)、ボージュプリー語-ヒン
ディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、
中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、チェコ語、デンマーク語、ダリー語、ディマル語 (デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェ
ロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、キリバス語、ゴーンディー語 (デーバナーガリー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、
ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デーバナーガリー)、ハンガリー語、アイスランド語、イナリサーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、アイルランド語、イタリア語、
日本語
、ジャ
ウンサリ語 (デーバナーガリー)、ジャワ語、カブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、
韓国語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレサーミ語、ルクセンブルク語、マハス・パハリー語 (デーバナー
ガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパール語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシ
タン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、リプアーリ語、ルーマニア語、ロマンシュ語、ロシア語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバ
ナーガリー)、スコットランド語、スコットランドゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語 (デーバナーガリー)、スコルトサーミ語、スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェー
デン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トルコ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー
語、ウェールズ語、西フリジア語、ユカテコマヤ語、チワン語、ズールー語
➢ 手書きテキストの言語
英語、中国語 (簡体字)、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポル
トガル語、スペイン語
日本語対応
テキスト認識

View Slide

仕様と出力 ②
34
◼ 出力項目
➢ 結果:
入力テキストから抽出した行のリスト
➢ テキスト:
検出したテキストの行を含む文字列
➢ BoundingBox:
境界ボックスを表す 4 つの値で、幅と高さとともに上と左の位置を使用して記述しま
す。
信頼度スコアは出力されません
テキスト認識

View Slide

制限
35
➢ PDF および画像 (JPG, PNG,BMP) ファイル
➢ PDF ドキュメントの場合、最初の 2,000 ページ
➢ 環境ごとに
480回/60秒
テキスト認識

View Slide

36
[テキスト認識エンジン] コントロール
TextRecognizer1.Results
ThisItem.Text
[テキスト認識エンジン] コントロールで
選択した検出ボックスの値
TextRecognizer1.Selected.Text
ThisItem.BoundingBox.Top
ThisItem.BoundingBox.Left
テキスト認識

View Slide

検出した値を動的な値で取得する場合は、Lines
37
領収書ファイル〇 file 処理する請求書ファイル
PDF, JPG, PNG,BMP を取得
outputs('画像や_PDF_ドキュメントのテキストを認識する')?
['body/responsev2/predictionOutput/results']?[0]?['lines']
item()?['text']
concat(item()?['boundingBox']?['left'],'/',
item()?['boundingBox']?['top'])
ページを指定
テキスト認識

View Slide

出力（全体）
38
"body": {
"@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1 ・・・
"responsev2": {
"results": [
{
"page": 1,
"[email protected]": "#Collection(Microsoft.Dynamics.CRM. ・・・,
"lines": [
]
}
]
}
}
}
ページ情報
出力される
テキスト認識

View Slide

39
{
"text": "プログラミングなしで業務を自動化!",
"boundingBox": {
"left": 0.040013227513227514,
"top": 0.09623015873015874,
"width": 0.5793650793650793,
"height": 0.08234126984126984,
"polygon": {
"coordinates": [
{
"x": 0.040013227513227514,
"y": 0.15848214285714285
},
{
"x": 0.6154100529100529,
"y": 0.09623015873015874
},
{
"x": 0.6193783068783069,
"y": 0.11979166666666667
},
{
"x": 0.044642857142857144,
"y": 0.17857142857142858
} ] } } }
出力（要素）
検出した値
座標（左上）
座標（右上）
座標（右下）
座標（左下）
テキスト認識

View Slide

領収書処理

View Slide

領収書処理
41
◼ 印刷および手書きの領収書から、業者名、業者の電話番号、取引日、税
金、取引合計などの主要な情報を抽出する
◼ 米国の英語の領収書のみがサポートされている
（ホテルの領収書や請求書などのフルページの領収書は未サポート）
◼ 日本語は未対応だが、合計額などは一部項目は取得可能
固有の情報を識別する時は、カスタムモデル
（ドキュメント処理）を利用しよう
領収書処理

View Slide

領収書処理
42
領収書フィールド
信頼度スコア
領収書処理

View Slide

仕様と出力
43
➢ オーストラリア (英語)、カナダ (英語)、フランス (フランス語)、ドイツ (ドイツ語)、
米国 (英語)、英国 (英語)、インド (英語)、イタリア (イタリア語)、ポルトガル (ポルト
ガル語)、スペイン (スペイン語)
◼ 出力項目
https://learn.microsoft.com/ja-jp/ai-builder/flow-receipt-processing#output
一般的に使用される領収書フィールドと信頼度スコア
領収書で検出されたすべてのテキスト
日本語未対応
領収書処理

View Slide

44
店舗名 Merchant name
マーチャントの住所 Merchant address
マーチャントの電話番号 Merchant phone number
トランザクションの日付 Transaction date
トランザクションの時刻 Transaction time
購入品目名 Purchased item name
購入品目の数量 Purchased item quantity
購入品目価格 Purchased item price
購入品目の合計価格 Purchased item total price
小計 Subtotal
税額 Tax
ヒント Tip
合計 Total
検出されたテキスト Detected text
検出されたテキストのページ番号 Page number of detected text
検出されたテキストの高さ Height of detected text
検出されたテキストの左位置 Left position of detected text
検出されたテキストの上位置 Top position of detected text
検出されたテキストの幅 Width of detected text
検出されたテキストの幅 Width of detected text
領収書の項目
領収書処理

View Slide

制限
45
➢ 1ファイルごと
➢ PDF のサイズは最大で17 x 17 インチ (リーガルまたは A3 用紙サイズ以下と同等)
請求書処理と同じ
領収書処理

View Slide

46
[領収書プロセッサ] コントロール
ReceiptProcessor1.PurchasedItems
ReceiptProcessor1.MerchantName
ThisItem.TotalPrice
Preview (2022/12)
ThisItem.Name
領収書処理

View Slide

47
領収書ファイル〇 file 処理する領収書ファイル
領収書処理

View Slide

出力（全体）
48
"body": {
"responsev2": {
"pageCount": 1,
"result": {
"items": [
],
"fields": {
},
"context": {
}
},
"readResults": [
]
}
}
}
商品の一覧データが出力される
領収書項目が出力される
ページ情報
出力される
領収書処理

View Slide

49
"merchantName": {
"value": "Main Street Restaurant",
"location": {
"page": 1,
"boundingBox": {
"left": 0.421875,
"top": 0.08498677248677249,
"width": 0.16765873015873012,
"height": 0.02083333333333333,
"polygon": {
"[email protected]": "#Collection(Microsoft.Dynamics ・・・,
"coordinates": [
{
"x": 0.421875,
"y": 0.09986772486772487
},
{
"x": 0.42212301587301587,
"y": 0.08498677248677249
},
{
"x": 0.5895337301587301,
"y": 0.09093915343915344
},
{
"x": 0.5892857142857143,
"y": 0.10582010582010581
} ] } } } }
出力（要素）領収書の項目
検出した値
信頼度
ページ
座標（左上）
座標（右上）
座標（右下）
座標（左下）
領収書処理

View Slide

リーダー

View Slide

51
◼ パスポートや米国の運転免許証等から個人の名、生年月日、性別などの
情報を抽出する
◼ あらゆる国のパスポート、米国の運転免許証、米国のソーシャルセキュ
リティカード、米国のグリーンカードから抽出可能
◼ 画像処理の際に写真や顔検出は行われず、ID のスキャンはモデルで処理
された後に削除される
日本の
運転免許証
マイナンバーカード
は未対応です

View Slide

リーダー
52
ID フィールド
信頼度スコア

View Slide

仕様と出力
53
➢ ラテン文字の抽出のみサポート
◼ 出力項目
https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-id-reader#model-output
First name，Last name，Gender，誕生日，出生地など
一部、パスポート、米国運転免許証、米国グリーンカードでのみ抽出項目あり
日本語未対応

View Slide

54
First name First name
Last name Last name
Gender Gender
誕生日 Date of birth
出生地 Place of birth
Region Region
Country Country
国籍 Nationality
番地 Street address
ID ドキュメント番号 Identity document number
イシューの日付 Date of issue
ID ドキュメントの有効期限 Identity document expiration date
カテゴリコード Category code
ID ドキュメントリーダーの項目

View Slide

制限
55
➢ 環境ごとに
24回/60秒

View Slide

56
ClearCollect(colIDDoc,'ID ドキュメントリーダー'.Predict(AddMediaButton1_1.Media))
First(colIDDoc).Fields.[フィールド名].Value.Text

View Slide

57
ファイル
〇 file 対象のファイル

View Slide

出力（全体）
58
"body": {
"responsev2": {
"pageCount": 1,
"result": {
"fields": {
},
"context": {
}
},
"readResults": [
]
}
}
}
ID ドキュメント情報が出力される
ページ情報
出力される

View Slide

59
"firstName": {
"value": "NATSUKO",
"confidence": 0.99,
"location": {
"page": 1,
"boundingBox": {
"left": 0.045,
"top": 0.8,
"width": 0.8933333333333333,
"height": 0.12325581395348828,
"polygon": {
"coordinates": [
{
"x": 0.045,
"y": 0.8093023255813954
},
{
"x": 0.9383333333333334,
"y": 0.8
},
{
"x": 0.9383333333333334,
"y": 0.913953488372093
},
{
"x": 0.045,
"y": 0.9232558139534883
} ] } } } }
出力（要素） ID ドキュメントリーダーの項目
検出した値
信頼度
ページ
座標（左上）
座標（右上）
座標（右下）
座標（左下）

View Slide

名刺リーダー

View Slide

名刺リーダー
61
◼ 名刺の画像から情報を抽出する
◼ AI モデルによって個人の名前、役職、住所、電子メール、会社名、電話
番号およびその他などの情報が抽出される
◼ Power Automate、キャンパスアプリの他、Dynamics 365 Sales
Enterpriseにも含まれる
名刺リーダー

View Slide

名刺リーダー
62
ID フィールド
信頼度スコア
IT 空間デザイン
クラウドビジネス本部
テクニカルマネージャー
三宅頼雅練介
Miyake Lioness
[email protected]
070-9876-5432
[本社]
〒460-0003
愛知県名古屋市中区錦2丁目2番2号
名古屋丸紅ビル9階
Tel. 052-854-7279 Fax. 052-231-7311
[東京オフィス]
〒103-0025 東京都中央区日本橋茅場町
一丁目5番2号日原ビル4階
Tel. 03-6264-8150
https://www.icsoft.jp/
名刺リーダー

View Slide

仕様と出力
63
➢ 英語と日本語
◼ 出力項目
https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-business-card#model-output
CompanyName，FirstName，LastName，Gender，Department，Title など
日本語対応
名刺リーダー

View Slide

制限
64
➢ PDF および画像 (JPG, PNG,BMP) ファイル
➢ 環境ごとに
24回/60秒
名刺リーダー

View Slide

65
[名刺リーダー] コントロール
BusinessCardReader1.[フィールド名]
名刺リーダー

View Slide

66
Image 〇 file 分析する画像ファイル
ファイルの種類〇文字列既定値は "auto" です。この列は廃止さ
れたため、どの値でも受け入れられます。
PDF, JPG, PNG,BMP を取得
名刺リーダー

View Slide

出力（全体）
67
"body": {
"responsev2": {
"pageCount": 1,
"result": {
"[email protected]": "#Collection(Microsoft.Dynamics ・・・
"contactFields": {
},
"contact": {
}
},
"cleanedImage": {
}
}
}
}
検出された項目（座標情報など含む）
検出された項目（"名刺項目": Value）
元の画像から、名刺がトリミングまた
は拡張された処理後の画像データ
(Base64)
三宅頼雅練介
Miyake Lioness
[email protected]
070-9876-5432
[本社]
〒460-0003
Tel. 052-854-7279 Fax. 052-231-7311
Tel. 03-6264-8150
"contact": {
"@odata.type": "#Microsoft. ・・・,
"fullName": "三宅頼雅練介",
"title": "テクニカルマネージャー",
"mobilePhone": "070-9876-5432",
"phone2": "070-9876-5432",
"email": "[email protected]",
"companyName": "株式会社アイシーソフト",
"department": "クラウドビジネス本部",
"firstName": "頼雅練介",
・・・
}
名刺リーダー

View Slide

三宅頼雅練介
Miyake Lioness
[email protected]
070-9876-5432
[本社]
〒460-0003
Tel. 052-854-7279 Fax. 052-231-7311
Tel. 03-6264-8150
68
{
"parentName": "",
"name": "fullName",
"value": "三宅頼雅練介",
"boundingBox": [
{
"left": 0.07610993657505286,
"top": 0.34760383386581467,
"width": 0.6215644820295984,
"height": 0.06261980830670927,
"polygon": {
"[email protected]a.type": "#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
"coordinates": [
{
"x": 0.07610993657505286,
"y": 0.35079872204472845
},
{
"x": 0.6966173361522199,
"y": 0.34760383386581467
},
{
"x": 0.6976744186046512,
"y": 0.40638977635782747
},
{
"x": 0.07716701902748414,
"y": 0.41022364217252394
} ] } } } }
出力（要素）
検出した名刺リーダーの項目
検出した値
座標（左上）
座標（右上）
座標（右下）
座標（左下）
名刺リーダー

View Slide


View Slide

70
◼ ドキュメントからテキスト、テーブル、数値、手書きテキスト、チェックボッ
クスなどの情報を抽出する独自のカスタムモデルを簡単に構築し、トレーニン
グして公開できる
◼ トレーニングは、自作のデータを使用して調整を行う
◼ ドキュメントからフィールド、テーブル、およびチェックボックスを抽出可能
カスタムモデル

View Slide

71
モデルのトレーニング

View Slide

ドキュメント処理モデルの作成
72
◼ モデルをトレーニングし、フォームから抽出される情報を定義する
◼ 同じレイアウトを使用するサンプルが５つ以上の必要
◼ ドキュメントの種類
➢ 構造化ドキュメント（および半構造化ドキュメント）
指定されたレイアウト、フィールド、テーブル、チェックボックス、
およびその他のアイテムが同じような場所で見つかるドキュメント
のこと
➢ 構造化されていないドキュメント（自由形式）
構造が設定されておらず、その多くは段落の数がそれぞれに異なる
自由形式のドキュメント

View Slide

モデルについて ①
73
◼ モデルのライフサイクル
➢ 公開済みのバージョン－ 1 つ
Power Automate や Power Apps で利用可能
➢ 最後にトレーニング済み、未公開バージョン－ 1 つ
トレーニング済み＆未公開
➢ ドラフトバージョン－ 1 つ
下書き
◼ コレクション
同じ項目を共有するドキュメントのグループ
コレクションを複数追加すると、レイアウトが異なるドキュメントから
同じ情報を抽出する独自の AI モデルを作成できる

View Slide

モデルについて ②
74
◼ 抽出する情報の種類
➢ フィールド
印刷または手書きのテキストを抽出
➢ チェックボックス
チェックボックスやラジオボタンなどの選択マークを抽出
➢ テーブル
表形式の情報を抽出
結合したセル、入れ子になった項目、境界線の有無、複数のページ
にまたがる可能性がある項目を含む、複雑なテーブル

View Slide

ドキュメント処理モデルの
トレーニングと発行
75
① ドキュメントの種類を選択する（構造化(半構造化)⇔非構造化）
② 抽出する項目を設定する
③ ドキュメントのコレクションを追加する
④ ドキュメントにタグを付ける
⑤ トレーニングする
⑥ （オプション）クイックテストする
⑦ 発行する
⑧ アプリやフローでモデルを利用する

View Slide

テーブルへのタグ設定
76
列の区切りは ctrl ＋左クリック
行の区切りは
左クリック
タイトル行
を無視
各セルに対しタグ付け可能
列名をマッピング
テーブルの区切りは、
列と行の数を指定してもよい

View Slide

仕様と出力 ①
77
➢ 構造化および半構造化ドキュメント :
アフリカーンス語、アルバニア語、アンギカ語 (デヴァナギリ)、アラビア語、アストゥリアス語、アワディー語-ヒンディー語 (デーバナーガリー語)、アゼルバイジャン語 (ラテン)、バゲーリー語、バスク語、ベラルーシ語 (キリル)、ベラルーシ
語 (ラテン)、ボージュプリー語-ヒンディー語 (デーバナーガリー語)、ビスラマ語、ボド語 (デヴァナギリ)、ボスニア語 (ラテン)、ヒンディー語、ブルトン語、ブルガリア語、ブンデーリー語、ブリヤート語 (キリル)、カタルニア語、セブアノ語、
チャムリング語、チャモロ語、チャッティースガル語 (デーバナーガリー)、中国語 (簡体字)、中国語 (繁体字)、コーニッシュ語、コルシカ語、クリミア語、タタール語 (ラテン)、クロアチア語、チェコ語、デンマーク語、ダリー語、ディマル語
(デーバナーガリー)、ドーグリ語 (デーバナーガリー)、オランダ語、英語、エルジャ語 (キリル)、エストニア語、フェロー語、フィジー語、フィリピノ語、フィンランド語、フランス語、フリウリ語、ガガウズ語 (ラテン)、ガリシア語、ドイツ語、
キリバス語、ゴーンディー語 (デーバナーガリー)、グリーンランド語、グルン語 (デーバナーガリー)、ハイチクレオール語、ハルビ語 (デーバナーガリー)、ハニ語、ハリヤーンウィー語、ハワイ語、ヒンディー語、モン語 (ラテン)、ホー語 (デー
バナーガリー)、ハンガリー語、アイスランド語、イナリサーミ語、インドネシア語、インターリングア語、イヌクティトット語 (ラテン)、アイルランド語、イタリア語、
日本語
、ジャウンサリ語 (デーバナーガリー)、ジャワ語、カ
ブベルディアヌ語、カチン語 (ラテン)、カングリ語 (デーバナーガリー)、カラチャイ・バルカル語、カラカルパク語 (キリル)、カラカルパク語 (ラテン)、カシュブ語、カザフ語 (キリル)、カザフ語 (ラテン)、カリン語、カーシ語、キチェ語、韓国
語、コルク語、コリャーク語、コスラエ語、クムク語 (キリル)、クルド語 (アラビア)、クルド語 (ラテン)、クルド語 (デーバナーガリー)、キルギス語 (キリル)、ラコタ語、ラテン語、リトアニア語、下ソルブ語、ルレサーミ語、ルクセンブルク語、
マハス・パハリー語 (デーバナーガリー)、マレー語 (ラテン)、マルタ語、マルト語 (デーバナーガリー)、マンクス語、マオリ語、マラーティー語、モンゴル語 (キリル)、モンテネグロ語 (キリル)、モンテネグロ語 (ラテン)、ナポリタン語、ネパー
ル語、ニウエ語、ノガイ語、北サーミ語 (ラテン)、ノルウェー語、オクシタン語、オセティック語、パシュトゥー語、ペルシャ語、ポーランド語、ポルトガル語、パンジャブ語 (アラビア)、リプアーリ語、ルーマニア語、ロマンシュ語、ロシア
語、サドリ語 (デーバナーガリー)、サモア語 (ラテン)、サンスクリット語 (デーバナーガリー)、サンタル語 (デーバナーガリー)、スコットランド語、スコットランドゲール語、セルビア語 (ラテン)、シェルパ語 (デーバナーガリー)、スルマウリ語
(デーバナーガリー)、スコルトサーミ語、スロバキア語、スロベニア語、ソマリ語 (アラビア)、南サーミ語、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タジク語 (キリル)、タタール語 (ラテン)、テトゥン語、タンミ語、トンガ語、トル
コ語、トルクメン語 (ラテン)、トゥバ語、上ソルブ語、ウルドゥー語、ウイグル語 (アラビア)、ウズベク語 (アラビア)、ウズベク語 (キリル)、ウズベク語 (ラテン)、ヴォラピュク語、ウォルサー語、ウェールズ語、西フリジア語、ユカテコマヤ語、
チワン語、ズールー語
➢ 手書きテキストの言語
英語、中国語 (簡体字)、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語
➢ 非構造化の自由形式のドキュメント :
英語
手書きについてはForm Recognizer の仕様なので不確かです

View Slide

仕様と出力 ②
78
◼ 出力項目
➢ 結果:
検出されたすべてのテキスト
➢ フィールドとチェックボックスの値:
タグ付けしたフィールドの文字列と
チェックボックスのON/OFFの値（True/False）
➢ テーブルの値:
タグ付けした列の値

View Slide

制限
79
PDF推奨（文字の抽出と位置でエラーが生じにくため）
➢ TIFFファイル
トレーニングに使用できないが、 Power Automate ではデータ抽出可能
◼ コレクション数
➢ 造化および半構造化：各モデルごとに最大 200 まで
➢ 非構造化ドキュメント：無制限

View Slide

80
[フォームプロセッサ] コントロール
FormProcessor1.Tables.[モデルで定義したテーブル名]
ThisItem.[モデルのテーブルで定義した列名]
作成したモデルを選択
FormProcessor1.Fields.[モデルのテーブルで定義したフィールド名]
https://learn.microsoft.com/ja-jp/ai-builder/powerfx-in-powerapps#custom-models

View Slide

81
AIモデル〇モデル分析に使用するドキュメント処理モデル
ドキュメントの
種類
〇文字列分析するフォームのファイルの種類
フォーム〇 file 処理するフォーム
PDF, JPG, PNG, TIFF を取得

View Slide

出力（全体）
82
"body": {
"@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.0 ・・・,
"responsev2": {
"pageCount": 1,
"layoutName": "Adatum",
"layoutConfidenceScore": 0.9800000190734863,
"readResults": [
],
"tables": {
},
"labels": {
}
]
}
}
}
検出したテーブル情報
出力される
検出したフィールドと
チェックボックス情報

View Slide

83
"InvoiceNumber": {
"value": "1000",
"displayName": "InvoiceNumber",
"fieldType": "string",
"text": "1000",
"valueLocation": {
"pageNumber": 1,
"boundingBox": {
"left": 0.8875954710076146,
"top": 0.11985685292052244,
"width": 0.03932765607114419,
"height": 0.01027344511923052,
"polygon": {
"[email protected]": "#Collection( ・・・,
"coordinates": [
]
}
},
"regions": [
] } } ] } }
出力（要素）
検出した値
座標情報
タグ名
タグ名
データ型

View Slide

フィードバックループ機能 (Preview)
■ モデルの定期的な改善プロセスを自動化するために
84
https://learn.microsoft.com/ja-jp/ai-builder/feedback-loop
信頼度が既定値
未満の場合
フィードバックループ
にファイルを保存
モデル一覧で
お知らせ
信頼度スコアが低かった
ドキュメントで
再トレーニングできる

View Slide

テキスト
機能

View Slide

日本語
対応
説明
1 感情分析事前構築済み〇テキストデータから肯定的、否定的、中立的な感情を検出する
2
カテゴリ分類
（Preview）
事前構築済み ×
顧客からのフィードバックテキストを、苦情、賛辞、顧客サービス、
ドキュメント、価格および請求、スタッフなどの定義済みカテゴリに
分類する
3 カスタム ×
独自のカテゴリ分類機械学習モデルを簡単に構築し、トレーニングし
て公開する
4
エンティティの抽出
事前構築済み △
テキストから重要な要素を識別し、それらを年齢、都市、日時、組織、
個人名およびその他などの定義済みカテゴリに分類する
5 カスタム ×
独自のエンティティ抽出機械学習モデルを簡単に構築し、トレーニン
グして公開する
6 キーフレーズ抽出事前構築済み〇テキストドキュメントから要点（主な話題）を識別する
7 言語検出事前構築済み〇テキストドキュメントの主要な言語を識別する
8 テキストの翻訳事前構築済み〇
60 以上の言語間でリアルタイムにテキストデータを翻訳する
日本ロケール未展開
テキスト機能
86
New!!：Power Autoamte のみ

View Slide

言語検出

View Slide

言語検出
88
◼ テキストドキュメントの主要な言語を識別する
◼ 検出された言語はロケールIDではなく、言語の "スクリプト" が返る
（"en-US" ではなく "en" ）
◼ Azure Cognitive Service for Language テクノロジを使用している
言語検出

View Slide

言語検出
89
AI Builder is a Microsoft Power
Platform capability that provides AI
models that are designed to
optimize your business processes.
AI Builder enables your business to
use intelligence to automate
processes and glean insights from
your data in Power Apps and Power
Automate.
言語検出

View Slide

仕様と出力
90
➢ アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アッサム語、アゼルバイジャン
語、バスク語、ベラルーシ語、ベンガル語、ボスニア語、ブルガリア語、ミャンマー語、カタロニア語、中央
クメール語、中国語、簡体中国語、中国語 (繁体字)、コルシカ語、クロアチア語、チェコ語、デンマーク語、
ダリー語、ディベヒ語、オランダ語、英語、エスペラント語、エストニア語、フィジー語、フィンランド語、
フランス語、ガリシア語、ジョージア語、ドイツ語、ギリシャ語、グジャラート語、ハイチ・クレオール語、
ハウサ語、ヘブライ語、ヒンディー語、ミャオ語、ハンガリー語、アイスランド語、イボ語、インドネシア語、
イヌクティトット語、アイルランド語、イタリア語、日本語、ジャワ文字、カンナダ語、カザフ語、キニヤル
ワンダ語、キルギス語、韓国語、クルド語、ラオス語、ラテン語、ラトビア語、リトアニア語、ルクセンブル
ク語、マケドニア語、マダガスカル語、マレー語、マラヤーラム語、マルタ語、マオリ語、マラーティー語、
モンゴル語、ネパール語、ノルウェー語、ノルウェー語ニーノシュク、オリヤー語、パシュトウ語、ペルシャ
語、ポーランド語、Portuguese、パンジャーブ語、オトミ語、ルーマニア語、ロシア語、サモア語、セルビア
語、ショナ語、シンド語、シンハラ語、スロバキア語、スロベニア語、ソマリ語、スペイン語、スンダ文字、
スワヒリ語、スウェーデン語、タガログ語、タヒチ語、タジク語、タミル語、タタール語、テルグ語、タイ語、
チベット語、ティグリニア語、トンガ語、トルコ語、トルクメン語、ウクライナ語、ウルドゥ語、ウズベク語、
ベトナム語、ウェールズ語、コサ語、イディッシュ語、ヨルバ語、ユカテコ語、ズールー語
https://learn.microsoft.com/ja-jp/azure/cognitive-services/language-service/language-
detection/language-support#languages-supported-by-language-detection
◼ 出力項目
➢ 結果: 入力テキストで検出された言語の一覧
➢ 言語: 言語コードのスクリプトバージョン (例: “en”、“fr”、“zh_chs”、“ru”)。（信頼度も出力される）
https://learn.microsoft.com/ja-jp/ai-builder/flow-language-detection#output
一覧で出力されない模様
言語検出

View Slide

制限
91
◼ ドキュメントの制限
➢ 5,120 文字まで
➢ 言語検出、感情分析、キーフレーズ抽出の事前構築モデル全体で環
境ごとに
400回/60秒
言語検出

View Slide

92
[ボタン] コントロールの OnSelect
ClearCollect(colLanguagedetection,言語検出.Predict(TextInput.Text))
言語検出
First(colLanguagedetection).Language
First(colLanguagedetection).Confidence
言語検出

View Slide

出力
93
{
Language: String,
Confidence: Number
}
検出された言語コード
検出された言語コードの信頼度
言語検出

View Slide

94
テキスト〇文字列言語検出するテキスト文
outputs('テキストで使用されている言語を検出します')
?['body']?['responsev2']?['predictionOutput']?['results']?[0]?['language']
first(body('テキストで使用されている言語を検出します')
?['responsev2']?['predictionOutput']?['results'])?['score']
言語コードや信頼度スコアは配列に格納されているため、
自動的にApply to Each が追加されます
言語検出

View Slide

"body": {
"@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・,
"responsev2": {
"results": [
{
"language": "en",
"score": 0.97
}
]
}
}
}
出力
95
検出される言語コードは1つだが、
配列に囲まれて出力されるため注意
言語検出

View Slide

感情分析

View Slide

感情分析
97
◼ テキストデータから肯定的、否定的、または中立的な感情を検出する
◼ 複数の文で構成されたドキュメント全体の感情は、センテンスのスコア
を集計することで判断される。
スコアのない "混在" センチメントラベルが与えられる場合もある。
◼ Azure Cognitive Service for Language テクノロジを使用しセンチメント
を識別する
感情分析

View Slide

感情分析
98
各センチメントの
信頼度スコア
ドキュメント全体のセンチメント
私の拙い登壇をお聞きいただき
ありがとうございます
好きです。
嫌いです。
どちらでもありません。
テキストのoffset、lengthも
出力される
感情分析

View Slide

仕様と出力
99
➢ ドイツ語、スペイン語、英語、フランス語、ヒンズー語、イタリア語、
日本語、韓国語、オランダ語、ノルウェー語、ポルトガル語 (ブラジル)、
ポルトガル語 (ポルトガル)、トルコ語、中国語 (簡体字)、中国語 (繁体字)
◼ 出力項目
➢ 一文ごと、およびドキュメント全体の分析結果
https://learn.microsoft.com/ja-jp/ai-builder/flow-sentiment-analysis#output
➢ センチメント :
positive / neutral / negative、および mixed (ドキュメント全体でのみ出力される）
➢ 信頼度スコア
0 から 1 の範囲の値
値が 1 に近いと、識別されたセンチメントが正確であるという高い信頼度を示す
感情分析

View Slide

制限
100
➢ 5,120 文字まで
境ごとに
400回/60秒
感情分析

View Slide

101
ClearCollect(colsentiment, 感情分析.Predict(TextInput.Text, {Language:"ja"}))
感情分析
First(colsentiment).Sentences
First(colsentiment).Document.TopSentiment.Name
ThisItem.TopSentiment.Name
ThisItem.TopSentiment.Confidence
Mid(TextInput1, ThisItem.StartIndex+1,
ThisItem.Length)
次ページにて説明
感情分析

View Slide

出力
102
{
Document: {
AllSentiments: [
{ Name: "Positive", Confidence: Number },
{ Name: "Neutral", Confidence: Number },
{ Name: "Negative", Confidence: Number }
],
TopSentiment: { Name: "Positive/Neutral/Negative/Mixed", Confidence: Number }
}
Sentences: [
{
StartIndex: Number,
Length: Number,
AllSentiments: [
{ Name: "Positive", Confidence: Number },
{ Name: "Neutral", Confidence: Number },
{ Name: "Negative", Confidence: Number }
],
TopSentiment: { Name: "Positive/Neutral/Negative", Confidence: Number }
},
{
・・・
},
]
}
positive / neutral / negative の3つなのに配列になっている
Index(First(colsentiment).Document.
AllSentiments,1).Confidence
ドキュメント全体
のセンチメント
一文ごとの
センチメント
（配列）
一文ごとの
開始位置（0からカウント）と長さ
一文ごとの分析結果を配列で出力
StartIndexn の値
ドキュメント全体に改行が入ると狂う
改行コードも1文字でカウントされる
感情分析

View Slide

103
言語〇文字列事前定義された言語または言語コードの一
覧内のアイテム
(例: "en"、"jp"、"zh_chs"、"ru")
テキスト〇文字列分析するテキスト文
一文ごとのセンチメントの信頼度スコア
Sentences
感情分析

View Slide

出力
104
"body": {
"@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・,
"responsev2": {
"result": {
"sentiment": "mixed",
"documentScores": {
"positive": 0.5,
"neutral": 0.01,
"negative": 0.49
},
"sentences": [
{
"sentiment": "positive",
"offset": 0,
"length": 6,
"sentenceScores": {
"positive": 0.99,
"neutral": 0.01,
"negative": 0
}
},
{
},
{
}
] } } } }
ドキュメント全体の結果
一文ごとの各信頼度スコア
一文ごとの結果
ドキュメント全体の各信頼度スコア
一文ごとの開始位置と文字列長
一文ごとのセンチメント
感情分析

View Slide

カテゴリ分類
（事前構築済み）

View Slide

カテゴリ分類
106
◼ 顧客からのフィードバックテキストを、苦情、賛辞、顧客サービス、ド
キュメント、価格および請求、スタッフの定義済みカテゴリに分類する
◼ 現状、一つの文ごとの分析は行われない模様
固有のカテゴリで識別する時は、カスタムモ
デル（カテゴリ分類）を利用しよう
プレビュー

View Slide

カテゴリ分類
107
分類の信頼度スコア
For product details visit
http://www.fabrikam.com/.
Very kind host, clean and cozy
room. Convinient for sightseeing.
検出されたカテゴリ
製品の詳細は http://www.fabrikam.com/ を
ご覧ください。
とても親切なホストで綺麗でくつろげる部屋で
した。観光にも便利でした。
ドキュメント
賛辞

View Slide

仕様と出力
108
➢ 英語、中国語 (簡体字)、フランス語、ドイツ語、ポルトガル語、イタリア語、
スペイン語
◼ 出力項目
➢ カテゴリ :
値が 1 に近いと、検出が正確であるという高い信頼度を示す
日本語未対応
問題 Issue
賛辞 Compliment
顧客サービス Customer Service
ドキュメント Documentation
価格 & 請求 Pricing & Billing
スタッフ Staff

View Slide

制限
109
➢ 5,000 文字まで
➢ 不明（Leranに記載なし）

View Slide

110
ClearCollect(colcategorization,カテゴリ分類.Predict(TextInput.Text,{Language:"en"}))
カテゴリ分類
First(colcategorization).TopClass.Name
First(colcategorization).TopClass.Confidence

View Slide

出力
111
https://learn.microsoft.com/ja-jp/ai-builder/availability-region#prebuilt-models
{
AllClasses: [
{
Name: String,
Confidence: Number
},
{
・・・
}
],
TopClass: {
Name: String,
Confidence: Number
}
}
ドキュメント全体
のカテゴリ
一文ごとの
カテゴリ（配列）
現状は TopClass の値を参照すればよい
一文毎の解析は
機能していない？
分類されたカテゴリ
信頼度スコア
配列で出力されない

View Slide

112
分類や信頼度スコアは配列に格
納されているため、自動的に
Apply to Each が追加されます
ドキュメント全体の分類されたカテゴリ
ドキュメント全体の信頼度スコア
body('標準モデルを使用してテキストをカテゴリに分類する')?
['responsev2']?['predictionOutput']?['results']?[0]?['type']
first(body('標準モデルを使用してテキストをカテゴリに分類する')?
['responsev2']?['predictionOutput']?['results'])?['score']

View Slide

出力
113
"body": {
"responsev2": {
"results": [
{
"type": "Staff",
"score": 0.393411875
}
]
}
}
}
ドキュメント全体の分類されたカテゴリ
ドキュメント全体の信頼度スコア

View Slide

カテゴリ分類
（カスタム）

View Slide

115
◼ テキストデータをあらかじめ定義したタグで分類する機械学習モデルを
簡単に構築し、トレーニングして公開することができる
◼ トレーニングデータは Dataverse テーブルに格納する必要がある
プレビュー

View Slide

◼ Dataverse テーブル内にトレーニングデータを格納しトレーニングを実施する
◼ トレーニングデータは正しい形式で構造化されている必要がある
◼ トレーニング済みのモデルは、Power Automate および Power Apps で利用可能
下書き
カテゴリ分類モデルの作成
116

View Slide

トレーニングデータについて
117
◼ Dataverse テーブル内に格納する
◼ テーブルには、テキスト（複数行テキスト）とタグ（1行テキスト）の
２つの列を定義する
◼ 一つの分類タグにつき、少なくとも10個のテキストサンプルが必要
（10未満でタグ付けされている場合は無視される）
◼ トレーニングデータ内には、少なくとも２つのタグが必要
◼ タグは最大200個まで定義可能
◼ テキストデータの各サンプルは5,000文字まで
列名必須タイプ内容
分類タグ 1行テキスト分類タグ
• 空白可
• 複数指定する場合はコンマ (,)、セミコロン (;)、
タブのいずれかで区切る
テキスト〇複数行テキストトレーニング対象のテキストデータ

View Slide

カテゴリ分類モデルの
118
① サンプルデータを用意する（Dataverse テーブル、TextとTagsの列）
② テーブルからテキストが格納された列を選択する（Text列）
③ テーブルからタグが格納された列を選択する（ Tags列）
④ タグの区切り文字を選択する
⑤ 言語を選択する
⑥ トレーニングする
⑦ （オプション）クイックテストする
⑧ 公開する
⑨ アプリやフローでモデルを利用する
モデル名を「カテゴリ分類」にするのは非推奨
（Category classification）
（事前構築済みモデルの予約名と重複するため）

View Slide

仕様と出力
119
➢ 英語、フランス語、ドイツ語、ポルトガル語、イタリア語、
スペイン語
◼ 出力項目
日本語未対応

View Slide

制限
120
➢ 5,000 文字まで
➢ 不明（Learnに記載なし）

View Slide

121
ClearCollect(colcategorization_custom,
[モデル名].Predict(TextInput.Text,{Language:"en"}))
作成したモデル
First(colcategorization_custom).TopClass.Name
First(colcategorization_custom).TopClass.Confidence
First(colsentiment).Sentences
ThisItem.Name
ThisItem. Confidence

View Slide

出力
122
{
AllClasses: [
{
Name: String,
Confidence: Number
},
{
・・・
}
],
TopClass: {
Name: String,
Confidence: Number
}
}
最も信頼度スコア
の高いカテゴリ
分類された
すべてのカテゴリ
（配列）
分類されたカテゴリ
信頼度スコア

View Slide

123
AIモデル〇モデルトレーニングされ発行されたカテゴリ分類
モデル
言語〇文字列「自動検出」または言語コード (例: "en"、
"fr"、"zh_chs"、"ru")

View Slide

"body": {
"responsev2": {
"results": [
{
"type": "Care",
"score": 0.854097
},
{
"type": "Staff",
"score": 0.7570282
},
{
"type": "Facilities",
"score": 0.705356
}
]
}
}
}
出力
124
ドキュメント全体で分類されたカテゴリ
とその信頼度スコア

View Slide

（事前構築済み）

View Slide

126
◼ テキストから重要な要素を識別し、それらを年齢、都市、日時、組織、
個人名などの定義済みカテゴリに分類する
◼ エンティティを抽出することで、非構造化データを、コンピューターで
読み取り可能な構造化データに変換できるので、情報を取得し事実を抽
出可能となる
固有のエンティティで識別す
る時は、カスタムモデル（エ
ンティティの抽出）を利用し
よう

View Slide

DeepL翻訳は、2017年8月28日
にサービスを開始した無償の
ニューラル機械翻訳サービスで、
ドイツのケルンに本拠地を置く
DeepL GmbH が開発した。
127
エンティティの値
エンティティの種類

View Slide

仕様と出力
128
➢ アラビア語、イタリア語、オランダ語、スウェーデン語、スペイン
語、チェコ語、デンマーク語、ドイツ語、トルコ語、ノルウェー語
(ブークモール)、ハンガリー語、フィンランド語、フランス語、ポー
ランド語、中国語 (簡体字)、日本語、英語、韓国語
◼ 出力項目
https://learn.microsoft.com/ja-jp/ai-builder/prebuilt-entity-
extraction#supported-entity-types
2023年1月
Power automate での情報です（Learn未記載）
Power Apps は日本語対応していない模様）

View Slide

129
年齢 Age 数値として抽出された人、場所、または物の年齢
Boolean Boolean ブール値として抽出された、肯定応答または否定応答
市区町村 City（GPE) 文字列として抽出された、市区町村名
色 Color 文字列として抽出された、カラースペクトル上の原色と色合い
大陸 Continent 文字列として抽出された、大陸名
国/地域 Country or region 文字列として抽出された、国と地域の名前
日付と時刻 Date and time 文字列として抽出される、ある時点に相対した日付、時刻、曜日、および月
期間 Duration 文字列、標準の TimeSpan 形式として抽出された、時間の長さ
メールアドレス Email 文字列として抽出されるメールアドレス
イベント Event 文字列として抽出された、イベント名
言語 Language 文字列として抽出された、言語名
金額 Money 数値として抽出された、金額
番号 Number 数値として抽出された、数値またはテキスト形式の基数
序数 Ordinal 数値として抽出された、数値またはテキスト形式の序数
組織 Organization 文字列として抽出される、組織、アソシエーション、および企業の名前
割合 Percentage 数値またはテキスト形式のパーセンテージ。数値として抽出されます
個人名 Person name 文字列として抽出される、人名の一部またはフルネーム
電話番号 Phone number 文字列として抽出された、標準の米国形式の電話番号
速度 Speed 数として抽出される速度
米国の州 State 米国の州の名称と略称。文字列として抽出されます
番地 Street address
標準の米国形式での番号付きの所番地、通り、道路、市区町村、州、郵便番号。文字列として抽出さ
れます
温度 Temperature 数値として抽出された、温度
URL URL 文字列として抽出される Web サイトの URL とリンク

View Slide

制限
130
➢ 5,000 文字まで
➢ 不明（Leranに記載なし）

View Slide

131
ClearCollect(colEntityClassification,
エンティティの抽出.Predict(TextInput.Text,{Language:"en"}))
ThisItem.Value
ThisItem.Type
First(colEntityClassification).Entities
ThisItem.Confidence

View Slide

出力
132
{
Entities: [
{
Type: String,
Value: String,
StartIndex: Number,
Length: Number,
Confidence: Number
},
{
・・・
}
]
}
エンティティごと
の配列
検出したエンティティの開始位置
検出したエンティティの文字長
信頼度スコア

View Slide

133

View Slide

出力
134
"body": {
"responsev2": {
"result": {
"text": "DeepL翻訳は、2017年8月28日にサービスを開始した無償のニューラル機械翻訳サービスで、
ドイツのケルンに本拠地を置く DeepL GmbH が開発した。",
"textScore": 1,
"entities": [
{
"type": "Organization",
"startIndex": 0,
"length": 5,
"value": "DeepL",
"score": 0.8213612175505702
},
{
・・・
}
] } } } }
信頼度スコア
検出したエンティティの開始位置と文字長

View Slide

（カスタム）

View Slide

エンティティの抽出（カスタムモデル）
136
◼ テキストから特定のキーワード、エンティティ、機能を識別するエン
ティティ抽出モデルを簡単に構築し、トレーニングして公開することが
できる
◼ トレーニングデータは Dataverse テーブルに格納する必要がある
エンティティの抽出（カスタム）

View Slide

◼ Dataverse テーブル内にトレーニングデータを格納しトレーニングを実施する
◼ アップロードされた例から、あらかじめ組み込まれたエンティティタイプを自動的に
抽出する
◼ 結果に満足しない場合はカスタマイズ可能
➢ 独自のエンティティを新規に作成
➢ 既存のエンティティ種別を変更
➢ モデルに含めたくないエンティティを選択解除
◼ トレーニング済みのモデルは、Power Automate および Power Apps で利用可能
➢ 他のカスタムモデルと同じ（３つ）
エンティティの抽出モデルの作成
137
（5つ以上の例を追加する必要あり）

View Slide

トレーニングデータについて
138
◼ Dataverse テーブル内に格納する
◼ テーブルには、テキスト（複数行テキスト）列を定義する
◼ テキストデータの例は、10個以上のテキストサンプルが必要
◼ エンティティを新規作成または、事前構築済みの既存エンティティ種別
を変更する場合は、5つ以上の例を指定する必要がある
テキスト〇複数行テキストトレーニング対象のテキストデータ

View Slide

エンティティの抽出モデルの
139
① サンプルデータを用意する（Dataverse テーブル、Text列）
② テーブルからサンプルテキストが格納された列を選択する（Text列）
③ 言語を選択する
④ 事前構築済みモデルによるエンティティの自動抽出が行われる
⑤ モデルの確認と調整（エンティティの追加/修正/削除）を行う
⑥ トレーニングする
⑦ （オプション）クイックテストする
⑧ 公開する
⑨ アプリやフローでモデルを利用する
モデル名を「エンティティの抽出」に
するのは非推奨（Entity extraction）
（事前構築済みモデルの予約名と重複
するため）

View Slide

仕様と出力
140
➢ 英語、中国語 (簡体字)、フランス語、ドイツ語、ポルトガル語、イタ
リア語、スペイン語
◼ 出力項目
日本語未対応

View Slide

制限
141
➢ 5,000 文字まで

View Slide

142
ClearCollect(colEntityClassification_custom,
[モデル名].Predict(TextInput.Text,{Language:"en"}))
ThisItem.Type
ThisItem.Confidence
First(colEntityClassification_custom).Entities
ThisItem.Value
ThisItem. Confidence

View Slide

出力
143
{
Entities: [
{
Type: String,
Value: String,
StartIndex: Number,
Length: Number,
Confidence: Number
},
{
・・・
}
]
}
エンティティごとの
カテゴリ（配列）
検出したエンティティの開始位置
検出したエンティティの文字長
信頼度スコア

View Slide

144
AIモデル〇モデルトレーニングされ発行されたエンティティ
の抽出モデル
言語〇文字列「自動検出」または言語コード (例: "en"、

View Slide

"body": {
"responsev2": {
"result": {
"text": "Miyake will be speaking about AI Builder at the January 28, 2023 study group at
will hosted by Miss Panda. conpass event URL is https://kimamani.connpass.com/event/271638/."",
"textScore": 1,
"entities": [
{
"type": "PersonName",
"startIndex": 0,
"length": 6,
"value": "Miyake",
"score": 0.242974231931466722
},
{
・・・
}
] } } } }
出力
145
信頼度スコア
検出したエンティティの開始位置と文字長

View Slide


View Slide

キーフレーズの抽出
147
◼ テキストドキュメントから要点を識別する
◼ 非構造化テキストからの主要なトーキングポイントを識別する

View Slide

AI Builder は、ビジネスプロセ
スを最適化するように設計され
た AI モデルを提供する
Microsoft Power Platform 機能
です。
148
抽出されたキーフレーズ

View Slide

仕様と出力
149
➢ アフリカーンス語、ブルガリア語、カタルニア語、中国語 (簡体字および繁体字)、
クロアチア語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、
フランス語、ドイツ語、ギリシャ語、ハンガリー語、イタリア語、インドネシア語、
日本語、韓国語、ラトビア語、ノルウェー語 (ブークモール)、ポーランド語、ポ
ルトガル語 (ブラジル)、ポルトガル語 (ポルトガル)、ルーマニア語、ロシア語、
スペイン語、スロバキア語、スロベニア語、スウェーデン語、トルコ語
◼ 出力項目
➢ キーフレーズ
分析されたテキストの主要な話題を示す文字列

View Slide

制限
150
➢ 5,120 文字まで
境ごとに
400回/60秒

View Slide

151
ClearCollect(colKeyPhraseExtraction,'キーフレーズ抽出
'.Predict(TextInput.Text,{Language:"ja"}))
ThisItem.Phrase
First(colKeyPhraseExtraction).Phrases

View Slide

出力
152
{
Phrases: [
{
Phrases: String
},
{
・・・
}
]
}
検出されたキーフレーズ抽出

View Slide

153

View Slide

"body": {
"@odata.context": "https://orgd7915745.crm7.dynamics.com/api/data/v9.1/・・・",
"responsev2": {
"[email protected]":
"#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
"results": [
{
"phrase": "AI モデルを提供する"
},
{
"phrase": "Microsoft"
},
{
"phrase": "ビジネスプロセスを最適化"
},
{
"phrase": "機能"
}
]
} } }
出力
154

View Slide


View Slide

156
◼ 100 以上の言語間でリアルタイムにテキストデータを翻訳する
◼ 翻訳するテキストデータの言語を検出することも可能
（信頼度も出力される）
◼ 日本ロケーションには未展開（米国またはヨーロッパのみ）

View Slide

157
AI Builder is a Microsoft Power
Platform capability that provides AI
models that are designed to
optimize your business processes.
AI Builder enables your business to
use intelligence to automate
processes and glean insights from
your data in Power Apps and Power
Automate.
AI ビルダーは、ビジネスプロセスを最適化
するように設計された AI モデルを提供する
Microsoft Power Platform 機能です。AI
Builder を使用すると、ビジネスはインテリ
ジェンスを使用してプロセスを自動化し、
Power Apps と Power Automate のデータから
分析情報を収集できます。

View Slide

仕様と出力
158
➢ アフリカーンス語、アルバニア語、アムハラ語、アラビア語、アルメニア語、アッサム語、アゼルバイジャン
語 (ラテン)、ベンガル語、バシキール語、バスク語、ボスニア語 (ラテン)、ブルガリア語、広東語 (繁体字)、
カタロニア語、中国語 (文語)、簡体中国語、中国語 (繁体字)、クロアチア語、チェコ語、デンマーク語、ダ
リー語、ディベヒ語、オランダ語、英語、エストニア語、フェロー語、フィジー語、フィリピン語、フィンラ
ンド語、フランス語、フランス語 (カナダ)、ガリシア語、ジョージア語、ドイツ語、ギリシャ語、グジャラー
ト語、ハイチ・クレオール語、ヘブライ語、ヒンディー語、ミャオ語 (ラテン)、ハンガリー語、アイスランド
語、インドネシア語、イヌイナクトゥン語、イヌクティトット語、イヌクティトット語 (ラテン)、アイルラン
ド語、イタリア語、日本語、カンナダ語、カザフ語、クメール語、クリンゴン語、クリンゴン語 (plqaD)、韓
国語、クルド語 (中央)、クルド語 (北)、キルギス語 (キリル)、ラオス語、ラトビア語、リトアニア語、マケ
ドニア語、マダガスカル語、マレー語 (ラテン)、マラヤーラム語、マルタ語、マオリ語、マラーティー語、モ
ンゴル語 (キリル)、モンゴル語 (繁体字)、ミャンマー、ネパール語、ノルウェー語、オディア語、パシュトウ
語、ペルシャ語、ポーランド語、ポルトガル語 (ブラジル)、ポルトガル語 (ポルトガル)、パンジャーブ語、オ
トミ語、ルーマニア語、ロシア語、サモア語 (ラテン)、セルビア語 (キリル)、セルビア語 (ラテン)、スロバ
キア語、スロベニア語、ソマリ語 (アラビア語)、スペイン語、スワヒリ語 (ラテン)、スウェーデン語、タヒチ
語、タミル語、タタール語 (ラテン)、テルグ語、タイ語、チベット語、ティグリニア語、トンガ語、トルコ語、
トルクメン語 (ラテン)、ウクライナ語、高地ソルブ語、ウルドゥ語、ウイグル語 (アラビア語)、ウズベク語
(ラテン)、ベトナム語、ウェールズ語、ユカテコ語、ズールー語
https://learn.microsoft.com/ja-jp/azure/cognitive-services/translator/language-support#translation
◼ 出力項目
➢ テキスト: 翻訳されたテキスト
➢ 検出された言語: ソース言語を指定した場合は出力されない（信頼度も出力される）

View Slide

制限
159
➢ 10,000 文字まで
◼ 利用可能なリージョン
➢ 米国、ヨーロッパのみ（2023/1/19時点）

View Slide

160
ClearCollect(colTexttranslation,テキストの翻訳.Predict(TextInput1.Text,{'Translate To':"ja"}))
First(colTexttranslation).Text
First(colTexttranslation).DetectedLanguage
'Translate From:'は指定なし推奨

View Slide

出力
161
{
Text: string,
Translated text DetectedLanguage: string,
DetectedLanguageConfidence: Number
}
翻訳された言語
検出された入力テキストの言語
検出された入力テキストの言語の信頼度

View Slide

162
テキスト〇文字列翻訳するテキスト文
翻訳後の言語〇文字列事前定義された言語または言語コードの一
翻訳元の言語〇文字列「自動検出」または言語コード (例: "en"、

View Slide

出力
163
"body": {
"@odata.context":
"https://orge783a93d.crm.dynamics.com/api/data/v9.1・・・,
"responsev2": {
"text": "AI ビルダーは、ビジネスプロセスを最適化するように
設計された AI モデルを提供する Microsoft Power Platform 機能です。AI
Builder を使用すると、ビジネスはインテリジェンスを使用してプロセスを自動
化し、Power Apps と Power Automate のデータから分析情報を収集できます。
",
"detectedLanguage": {
"language": "en",
"score": 1
}
}
}
}
ドキュメント全体の結果
検出された言語
検出された言語の信頼度スコア
「翻訳元の言語」が"自動検出"の場合のみ出力

View Slide

構造化データ
機能

View Slide

画像
機能

View Slide

日本語
対応
説明
1 物体検出カスタム－画像から定義したオブジェクトの位置や数を認識する
2
画像分類
(Lobe による)
カスタム－画像を定義したラベルに分類する
画像機能
166

View Slide

物体検出

View Slide

物体検出
168
◼ 画像からカスタムオブジェクトを識別して位置を認識するオブジェクト
検出カスタムモデルを簡単に構築し、トレーニングして公開することが
できる
◼ 小売棚のオブジェクト、ブランドロゴ、または共通のオブジェクトから
モデルドメインを選択する
◼ トレーニングは、自作のデータを使用して調整を行う
物体検出

View Slide

画像検出
169
モデルのトレーニング
物体検出

View Slide

トレーニング画像の準備
170
◼ トレーニング用に、検出する物体を含む画像を収集する必要がある
◼ 一つのトレーニングセットの物体あたり15以上の画像が必要
（できれば50以上(後述)）
◼ データのバランスをとる必要がある（最大と最小の比率を 1:2 以下にする）
（NGな例：1つのオブジェクトには500の画像があるのに対し、別のオブジェクトは50しかない等）
◼ より多様な画像を使用する
➢ 背景
➢ 光の加減の
➢ オブジェクトのサイズ
➢ カメラアングル
➢ 予期しない結果（誤って学習してしまった画像を利用しトレーニング）
物体検出

View Slide

モデルについて ①
171
下書き
◼ モデルドメイン
➢ 共通のオブジェクト: 規定値。ユースケースが以下の特定の用途に適さな
い場合は、この方法を使用する
➢ 小売棚のオブジェクト: 棚に密に詰められた製品を検出する
➢ ブランドロゴ: ロゴ検出用に最適化されている
物体検出

View Slide

モデルについて ②
172
◼ 検出するオブジェクトの定義
➢ 物体の名前は直接入力または、Dataverse テーブルからインポートし定義す
る
➢ 最大 500 の異なるオブジェクトを 1 つのモデルで検出できる
◼ モデルのスコアについて
➢ トレーニングに使用した画像に対するモデルのパフォーマンスのことであ
り、今後使用する画像に対するパフォーマンスではない
➢ 1つのラベルにトレーニングする画像が50未満の場合、高いスコア（最大
100％）を得る可能性があるが、これはモデルが万全という意味ではない
➢ トレーニングに使われた画像で、モデルが間違いを犯している状態
物体検出

View Slide

物体検出モデルのトレーニングと発行
173
① モデルのドメインを選択する
（共通オブジェクト / 小売棚のオブジェクト / ブランドロゴ）
② 物体名を入力する（またはDataverseテーブルからインポートする）
③ トレーニング用の画像をアプロードする
④ 画像にタグを付ける
⑤ トレーニングする
⑥ （オプション）クイックテストする
⑦ 発行する
⑧ アプリやフローでモデルを利用する
物体検出

View Slide

仕様と出力 ②
174
◼ 出力項目
➢ 検出されたオブジェクトの名前と信頼度
➢ 検出されたオブジェクトのサイズと位置
物体検出

View Slide

制限
175
➢ 画像 (JPG, PNG, BMP) ファイル
➢ 画像のサイズは 256 x 256 ピクセルまで
➢ 環境ごとに 4800回/60秒
物体検出

View Slide

176
First(colObjectDetection).Objects
ThisItem.Name
ClearCollect(colObjectDetection,[モデル名].Predict(AddMediaButton.Media))
ThisItem.BoundingBox.Left
物体検出

View Slide

177
ObjectDetector.GroupedResults
ThisItem.TagName
オブジェクト検出器
ThisItem.ObjectCount
物体検出
オブジェクト検出器の
オブジェクト名

View Slide

出力
178
{
Objects: [
{
Name: String,
Confidence: Number,
Confidence: Number,
BoundingBox: {
Left: Number,
Top: Number,
Width: Number,
Height: Number
},
{
・・・
}
]
}
信頼度は表示されない模様
（Leanに記載があるが・・・）
検出したオブジェクト名
検出したオブジェクトの位置とサイズ
物体検出

View Slide

179
AIモデル〇モデル分析に使用するドキュメント処理モデル
イメージ〇文字列処理する画像
JPG, PNG, BMP を取得
物体検出

View Slide

出力（全体）
180
"body": {
"@odata.context":
"https://orgd7915745.crm7.dynamics.com/api/data/v9.1・・・,
"responsev2": {
"[email protected]":
"#Collection(Microsoft.Dynamics.CRM.crmbaseentity)",
"results": [
]
}
}
}
検出したオブジェクトの情報が
出力される
物体検出

View Slide

181
{
"tagId": "683284ad-ccc1-4503-91e3-3e177e168678",
"tagName": "ミカン",
"boundingBox": {
"left": 0.6370432,
"top": 0.42552555,
"width": 0.21556318,
"height": 0.2624352,
"polygon": {
"coordinates": [
{
"x": 0.6370432,
"y": 0.42552555
},
{
"x": 0.85260638,
"y": 0.42552555
},
{
"x": 0.85260638,
"y": 0.68796075
},
{
"x": 0.6370432,
"y": 0.68796075
} ] } } },
出力（要素）
検出したオブジェクトの名前
座標（左上）
座標（右上）
座標（右下）
座標（左下）
信頼度スコア
オブジェクトの左上座標、幅、高さ
検出したオブジェクトのID
物体検出

View Slide

画像分類

View Slide

Coming Soon
183
物体検出
https://qiita.com/MiyakeMito/items/ba78d3cea7b1d1a89840
待ちきれない方に・・・

View Slide

まとめ

View Slide

まとめ
AI Builderの魅力が
伝わりましたか？
是非、業務や遊びでご活用ください
185

View Slide

ありがとうございました
188

View Slide

AI Builderについて

AI Builderについて

MiyakeMito

More Decks by MiyakeMito

Other Decks in Technology

Featured

Transcript