Azure AI Service を支えるAI Platform とはなんけ？

burikaigi登壇資料

Transcript

1. 2025.2.1 BuriKaigi 2025 Azure AI Service を支える AI Platform とはなんけ？ たぶん
2. 自己紹介 • 工藤淳（x@jkudo) • 北海道出身 • iret, inc. • ソリューションアーキテクト • iretテクニカルアンバサダー • Microsoft MVP for Azure • Microsoft MVP for AI Platform • 唎酒師/普通免許/国内B級/小型船舶1 級/危険物乙/FP3級/アマ無線4級/剣 道2級/スキー2級/ITパスポート/その 他もろもろIT系
3. • Serverless Meetup/days • ChatGPT Meetup • Azure OpenAI Service Dev Day • Open Source Summit Japan • AI_dev • Security JAWS • Azure Travelers • OSC北海道実行委員 • 一般社団法人LOCAL • レトロゲーム勉強会 • その他 コミュニティ運営
4. 豊富な知見と高い技術力で、あらゆる領域に対応。 アイレットはこれまで長年に渡り、クラウドの導入・運用におけるフルマネージドサービス 「cloud pack」を中心に、数多くの実績を積み重ねてまいりました。その過程において蓄積 されたIT全般における知見やノウハウにより、現在ではクラウドの導入・運用のみならず、 システム開発・デザイン制作からクラウド周辺のあらゆるサービスまで、幅広い領域をカ バーしています。 iret, inc. 基本事業 • クラウドインテグレーション事業 • 開発事業 • デザイン事業 提携事業 • cloudpack with KDDI
5. 企画・設計・インフラ構築から、システム開発・UI/UXデザインまで 本物のワンストップで、お客様のあらゆる課題を解決に導きます。 アイレットには、インフラ構築・システム開発・デザイン制作など、あらゆる分野における精 鋭のプロフェッショナルと専門チームが揃っております。それらが事業の枠組みを越え、 シームレスに連携することで、組織力とシナジーが最大限に発揮された総合的なサービ スを提供します。だからこそ、お客様の負担を最小限に抑えながら、本物のワンストップ が実現するのです。 特長
6. • 国際標準化機構（ISO）認証 • ISO/IEC 27001（情報セキュリティマネジメントシステム） • ISO/IEC 27017（クラウドサービスの情報セキュリティ管理策） • ISO/IEC 27701（プライバシー情報マネジメントシステム） • ISO/IEC 27018（パブリッククラウドにおける個人識別情報保護） • ISO/IEC 20000-1（IT サービスマネジメントシステム） • ISO 9001（品質マネジメントシステム） • PCI DSS • SOC 2 iret が準拠・取得している規格・認証
7. AI Platform という表現はあまり使われておらずタイトルが微妙です。 生成AI系セッションというよりもML寄りのセッションになります。 ML初心者向けでAzureのML概要を学んでもらうセッションす。 当の本人はAIエンジニア、データサイエンティストではありません。 2025.2.1までの情報を取り扱っています。 本セッションの目的と注意事項 MVPのAI Platform カテゴリの定義 Azure AI Foundry Azure AI Services Azure Machine Learning Studio Trustworthy AI https://mvp.microsoft.com/ja-jp/faq?section=mvp#mvp-technology-structure-0
8. イントロダクション データ収集 機械学習モデルの構築とトレーニング モデルのデプロイと運用 Azure インフラストラクチャー まとめ アジェンダ
9. イントロダクション 最近のAzure AI Serviceを取り巻く環境
11. Azure AI Service とは Service Description Azure AI Agent Service 生成 AI モデルのパワーと、エージェントが現実世界のデータ ソースにアクセスして対話できるようにするツールを組み合わせます。 Azure AI Model Inference Azure AI モデルカタログのフラッグシップモデルに対してモデル推論を実行する。 Azure AI Search AIを活用したクラウド検索をモバイルやウェブアプリに提供します。 Azure OpenAI 多様な自然言語タスクを実行します。 Bot Service ボットを作成し、チャネル間で接続します。 Content Safety 不適切なコンテンツを検出するAIサービス。 Custom Vision ビジネス向けに画像認識をカスタマイズします。 Document Intelligence ドキュメントをインテリジェントなデータ駆動型ソリューションに変換します。 Face 画像内の人物や感情を検出および識別します。 Immersive Reader ユーザーがテキストを読んで理解するのを支援します。 Language 業界をリードする自然言語理解機能を使ってアプリを構築します。 Speech 音声からテキスト、テキストから音声、翻訳、話者認識を行います。 Translator 100を超える使用中の言語、消滅危機言語、絶滅危惧言語を含む言語と方言を翻訳するAI技術を使用します。 Video Indexer ビデオからアクション可能なインサイトを抽出します。 Vision 画像やビデオのコンテンツを分析します。 Anomaly Detector (retired) 早期に潜在的な問題を特定します。 Content Moderator (retired) 不適切または不快なコンテンツを検出します。 Language Understanding (retired) アプリケーションで自然言語を理解します。 Metrics Advisor (retired) 不適切なコンテンツを検出するAIサービス。 Personalizer (retired) 各ユーザーにリッチでパーソナライズされた体験を提供します。 QnA Maker (retired) 情報を簡単にナビゲートできる質問と回答に蒸留します。 https://learn.microsoft.com/en-us/azure/ai-services/what-are-ai-services
12. Form Recognizer Video Analyzer Cognitive Search Bot Framework Cognitive Service for Vision Cognitive Services for Language Cognitive Services Speech service Face API Computer Vision Speech Language Understanding Intelligent Service (LUIS) Azure AI Service を歴史で振り返る Project Oxford 2015年 Azure Cognitive Services 2016年 Azure AI Services 2023年 Applied AI Services 2021年
13. 開発者が安全かつ責任ある方法で AI を活用し、イノベーションを推進し未来を形作る ことを可能にする信頼できるプラットフォームです。 Azure AI Foundry とは
14. ネットワーク、セキュリティ構成、デプロイメントのためのリソース、AI Service、AI SearchなどのAzure AIサービス、データアップロード用のストレージの機能を提 供します。これは最上位のリソースです。 AI Foundry アーキテクチャ （ハブ） Azure Open AI Service は最 新の Open AI モデルへのアク セスを提供します。セキュアな デプロイの作成や Playgrounds の試用、モデル のファインチューニング、コンテン ツ フィルター、バッチ ジョブなど を実行できます。 AI Foundry プロジェクトは、Meta、 Microsoft、Cohere、Mistral、 NVIDIA といったプロバイダーのモデ ルを含むモデル カタログへのアクセ スを提供します。プロジェクトでは、 エンタープライズ レベルのセキュリ ティとアクセス管理のもと、ジェネ レーティブ AI アプリケーションを構築、 テスト、デプロイするための包括的 なツール一式を利用できます。 Management Center は、AI Foundry のハブおよびプロジェ クトの構成や管理にアクセス するための機能を提供します。 セキュリティ構成や、AI サービ スへの管理されたネットワーク 接続、ストレージ アカウント、 ユーザーの管理などを行うこと ができます。
15. プロジェクトはハブの子リソースです。AIアプリケーションの開発ツールへのアクセス、 データセット、モデルなど再利用可能なコンポーネントの利用、データをアップロード するコンテナー（ストレージ）、アクセス権（スコープ）。 AI Foundry アーキテクチャ （プロジェクト） チームがプロジェクトの成果物やモデルのエンドポイント、コ ンピュート、（データ）接続、セキュリティ設定を共有し、 利用を管理するためのコラボレーション環境です。 モデルのカスタマイズ用コンポーネントをグループ化し、カス タマイズをオーケストレーションし、ツールを提供します。デー タとアクセスを分離します。 モデル エンドポイントのプロバイダー。Azure のサブスクリプ ションにおいて、別リソースとして管理されます。
16. そういえばAI Serviceだけじゃない それって生成AIは必要なんだっけ 大規模データの取り扱いとかってどうするんだっけ やっぱり自分で学習させて作りたい（願望） Azure Machine Learningかな もう一度見直す
17. データ収集 データパイプライン
18. 生成AIがフォーカスされがちだが、AIはデータが必要です。 Azure でデータパイプラインの例としてAzure Data Factoryがあります。 Azure Data Factoryは、特に大規模なデータ統合ワークフローや、複数の異なる システムからデータを収集・変換・ロード（ETL/ELT）する場合に適しています。また、 ノーコードでの設計が可能なため、幅広いユーザー層に利用されています。 データ収集（データパイプライン）
19. 下記はAzure Data Factoryを利用してデータ収集を行っています。 モデルのデータ（企業内データなど） Azure Data Factoryによる収集、Stream Analyticsではリアルタイムに収集 ストレージやDBなどに格納 必要に応じてデータの変換 データ収集（データパイプライン）
20. そもそも用途が異なること、時の流れも異なります。 RAG（検索拡張生成）はリアルタイムが求められ、AI Searchなどでベクトル化する のが一般的。 Azure Data Factoryはバッチです。 Azure Data Factoryが役に立つケースとして、大量のデータの初期段階での取り 込み、定期的な取り込み。前処理や変換、クレンジングを行いRAG用のインデックス を作成するETL処理など。 Stream Analyticsが役に立つケースとして、IoT機器などの大量データのフィル タリングなど、またはアラートなどイベントをトリガーとした呼び出し。 あくまでもRAG構成するためのデータを取り込むために利用することならできる あえてRAGと組み合わせることができるのか 収集と処理 格納 OpenAI データ群
21. 機械学習モデルの構築と トレーニング Azure Machine Learning Studio
22. Machine Learning Studio 機械学習モデルの構築
23. Jupyter Notebookでの利用（サンプル） 機械学習モデルの構築 https://learn.microsoft.com/ja-jp/azure/machine-learning/tutorial-azure-ml-in-a-day?view=azureml-api-2
24. VS Codeでの利用 Web、デスクトップ 機械学習モデルの構築
25. ジョブの管理 トレーニング後の確認 機械学習モデルの構築
26. 学習結果の評価と指標（クレジットの債務不履行/2値分類） 機械学習モデルの構築 num_features (23) num_samples (30,000) training_accuracy_score (0.8324167) training_f1_score (0.8144557) training_log_loss (0.3975185) training_precision_score (0.8198910) training_recall_score (0.8324167) training_roc_auc (0.8266509) training_score (0.8324167)
27. 機械学習モデルの構築 指標 意味（例：クレジットの債務不履行） 例 num_features (23) モデルに入力として使っている「特徴量」の数。 「年齢」「職業」「収入」など、データの列（変数）が 23 個あ るということ。 num_samples (30,000) モデルを学習させるために用意したデータの「行数」。 30,000 人分のクレジットカード利用情報がある、というような 感じ。 training_accuracy_score (0.8324167) 「どれだけ正しく当てられたか」 の割合（正解率） 数値が高いほど全体的に予測が当たっている。 100 件あったら 83 件は当たっている。 training_f1_score (0.8144557) 「Precision（正解だった率）」 と 「Recall（取りこぼしの少なさ）」のバランスを 取った指標。 数値が高いほど「当てたときの正確さ」も高く、「見逃しも少ない」ことを両立でき ている。 一方だけ高くてもダメで、両方そこそこ高いと F1 も高くなる。 training_log_loss (0.3975185) 「予測した確率がどれだけ本当の結果とズレているか」を見る指標（損失）。 数値が低いほど「予測確率」 が実際の結果に近い。 当たる外れるだけでなく「どれくらいの確信度（たとえば 80% か 90% か）」に注目する。 training_precision_score (0.8198910) 「モデルが債務不履行（ポジティブ）と予測した中で、どれだけ正解だったか」の 割合。 数値が高いほど債務不履行するはずない人を誤って「する」と言う失敗が少な い。 10 人を「債務不履行する」と予測して、そのうち 8 人が本当 にデフォルトしたなら、Precision は 0.8。 training_recall_score (0.8324167) 「本当に債務不履行する人を、どれだけ拾い上げられたか」の割合。 数値が高いほど“見逃し” が少ない。 本当にデフォルトする人が 10 人いて、モデルが 8 人を検出で きたなら、Recall は 0.8。 training_roc_auc (0.8266509) “ポジティブ/ネガティブ（債務不履行あり/なし）の区別のうまさ” を、いろんなし きい値で総合的に測ったもの。 数値が高いほど、うまく区別できる。1.0 が最高（完璧）、0.5 はまったく区別 できない（コイントスと同じ）。 仮に閾値を0.5に固定するだけではなく「0.3 にしたら？」「0.7 にしたら？」と変えながら評価し、その総合点を計ったイメージ。 training_score (0.8324167) Azure Machine Learning では、training_score が accuracy_score（正解 率）と同じ意味で使われることが多い。全体でどれくらい当たっているか。 「training_accuracy_score」 とほぼ同じ数値が表示されてい る場合は、同じものだと思ってよい。
28. 評価例：混同行列 機械学習モデルの構築 機械学習モデルの予測 Positive Negative 実際のクラス Positive TP(True Positive) 真陽性 FN(False Negative) 偽陰性 Negative FP(False Positive) 偽陽性 TN(True Negative) 真陰性 参考：https://qiita.com/TsutomuNakamura/items/a1a6a02cb9bb0dcbb37f 参考：https://nisshingeppo.com/ai/whats-confusion-matrix/ • TP:実際に債務不履行しない人を「債務不履行しない」と正しく予測した割合。 • FN:実際に債務不履行しない人を「債務不履行する」と誤って予測してしまった割合。 いわゆる「誤検知」や「過検知」にあたります。 • FP:実際に債務不履行する人を「債務不履行しない」と誤って予測してしまった割合。 債務不履行リスクがあるのに見落としてしまうケースです。 • TN:実際に債務不履行する人を「債務不履行する」と正しく予測した割合。
29. 評価例：PR曲線（Precision-Recallカーブ） 機械学習モデルの構築 Recall（再現率） 正例（ここでは債務不履行するラベル）をどのくらい取りこぼさずに検出でき たかを示す指標 Precision（適合率） 債務不履行すると判定したケースのうち、どれくらい本当に債務不履行する ケースだったかを示す指標 Recallが高くなるほどPrecisionが低下しやすく、Precisionが高くなるほどRecall が低くなりやすいトレードオフの関係 GradientBoostingClassifier(AP=0.63) 平均適合率（AP: Average Precision） 1に近いほど「高いPrecisionとRecallをバランス良く両立している」 0.5を下回ると「それほど良いモデルではない」と判断される 0.63という値は、そこそこ良いが改善の余地もある水準
30. 評価例：ROC（Receiver Operating Characteristic）曲線 機械学習モデルの構築 モデルがさまざまなしきい値で「債務不履行する／しない」を予測 するときの真陽性率（True Positive Rate, TPR）と偽陽性率 （False Positive Rate, FPR）の関係を示しています。 • 横軸 (FPR: False Positive Rate) 本当は債務不履行しないケース（陰性）を、誤って債務不 履行すると判定してしまう割合 0 に近いほど偽陽性が少ない、1 に近いほど偽陽性が多い • 縦軸 (TPR: True Positive Rate) 本当は債務不履行するケース（陽性）を、正しく債務不履 行すると判定できた割合 再現率（Recall）」とも呼ばれる AUC=0.38 1 に近いほど優秀なモデル 0.5 程度なら運任せ（コイントス）レベル 0.83 は「良いが、まだ改善の余地がある」くらいのスコア
31. モデルの管理 機械学習モデルの構築
32. 自動的にトレーニング カスタムトレーニング ハイパーパラメーター 検索空間の定義: 試行するハイパーパラメーターの範囲や値を指定。 サンプリングアルゴリズム:ランダム、グリッド、ベイジアンを選択。目的（accuracyの最大化など）の指定。 早期終了ポリシー: パフォーマンスが低い試行を早期に停止することで計算資源を節約。 主要メトリックのログ: モデル評価指標（例: 精度）を記録し、それに基づいて最適化。 トレーニング https://learn.microsoft.com/ja-jp/azure/machine-learning/how-to-tune-hyperparameters?view=azureml-api-2
33. AutoMLによるトレーニング ノーコードでモデル作成 機械学習モデルの構築
34. AutoMLのジョブ作成途中 機械学習モデルの構築
35. AutoLのジョブ作成途中 機械学習モデルの構築
36. 最適なアルゴリズムからモデルを作成する 機械学習モデルの構築
37. 責任あるAIのダッシュボード 機械学習モデルの構築
38. デザイナーによる作成 ドラッグ＆ドロップでモデル構築を行うGUIツール 機械学習モデルの構築
39. プロンプトフローの利用 Notebookとデザイナーの中間的な機能です。 視覚的操作に加え、コードによる詳細なカスタマイズも可能です。 プロトタイプ作成、実験、反復、デプロイのプロセスが簡単になる。 機械学習モデルの構築
40. モデルのデプロイと運用
41. エンドポイント作成とデプロイ サービスとして公開するためにはエンドポイントが必要です リアルタイム推論用の「オンラインエンドポイント」 大量データ処理向けの「バッチエンドポイント」 サーバーレスや専用リソースを選択可能 REST APIエンドポイント（Webサービス）として公開可能 モデルのデプロイ
42. MLOpsの目的 迅速なモデル開発と実験: モデルの反復開発を加速させます。 迅速な本番環境への展開: モデルを効率的にデプロイします。 品質保証と追跡可能性: モデルのバージョン管理や変更履歴を記録します。 MLOpsの主な機能 再現可能なパイプラインの構築: データ準備、トレーニング、スコアリングなどのステップを自動化。 再利用可能なソフトウェア環境: トレーニングやデプロイに必要な依存関係を追跡・管理。 モデルの登録・パッケージ化・デプロイ: モデルとそのメタデータを一元管理し、どこからでも利用可能。 ガバナンスデータの収集: 誰がいつ何をしたかなど、ライフサイクル全体の監査情報を記録。 イベント通知とアラート: データドリフト検出やモデル更新など、重要イベントに対応。 運用監視と問題検出: 推論時とトレーニング時の入力データ比較やモデル性能モニタリング。 運用
43. Azure インフラストラクチャー AI Serviceを支えるサービスたち
44. GPU 最適化済み VM サイズは、単一、複数、またはフラクショナル GPU での使用に特化された仮想マシンです。 NC ファミリ：AI と機械学習モデルのトレーニング、ハイ パフォーマンス コンピューティング (HPC)、グラフィックス集中型アプリケーションなど、コンピューティング負荷の高いワークロード向けに設計 されています。 ND ファミリ：強力な GPU アクセラレーションの恩恵を受けるディープ ラーニング、AI 研究、ハイパフォーマンス コンピューティング タスク向けに設計されています。 NG ファミリ：特にクラウド ゲームおよびリモート デスクトップ アプリケーション向けに設計されています。 NV ファミリ：グラフィックス レンダリング、シミュレーション、仮想デスクトップなどのグラフィックス集中型アプリケーション向けに特別に設計されています。 FPGA 最適化済み VM サイズは、1 つまたは複数の FPGA を備えた、特殊な用途に特化した仮想マシンです。 これらのサイ ズは、コンピューティング処理の負荷が高いワークロードを意図して設計されています。 GPU/FPGAインスタンス ファミリ ワークロード シリーズのリスト GPU NC ファミリ コンピューティング集中型 NC シリーズ Nvidia Tesla K80 GPU (24 GB) グラフィックス集中型 NCads_-_H100_v5 シリーズ Nvidia PCIe H100 GPU (94GB) 視覚化 NCCads_H100_v5 シリーズ Nvidia H100 GPU (94GB) NCv2 シリーズ Nvidia Tesla P100 GPU (16 GB) NCv3 シリーズ Nvidia Tesla V100 GPU (16 GB) NCasT4_v3 シリーズ Nvidia Tesla T4 GPU (16 GB) NC_A100_v4 シリーズ Nvidia PCIe A100 GPU (80 GB) ND ファミリ コンピューティング集中型の大規模メモリ ND_MI300X_v5 シリーズ AMD Instinct MI300X GPU (192GB) グラフィックス集中型の大規模メモリ ND-H100-v5 シリーズ Nvidia H100 GPU (80GB) 大規模メモリの視覚化 NDm_A100_v4 シリーズ Nvidia A100 GPU (80 GB) ND_A100_v4 シリーズ Nvidia A100 GPU (40 GB) NG ファミリ 仮想デスクトップ (VDI) NGads V620 シリーズ AMD Radeon PRO V620 GPU (32 GB) Cloud Gaming NV ファミリ 仮想デスクトップ (VDI) NV シリーズ Nvidia Tesla M60 GPU (16 GB) 単精度のコンピューティング NVv3 シリーズ Nvidia Tesla M60 GPU (16 GB) ビデオのエンコードとレンダリング NVv4 シリーズ AMD Instinct MI25 GPU (16 GB) NVadsA10_v5 シリーズ Nvidia A10 GPU (24 GB) 前世代の NV ファミリ ファミリ ワークロード シリーズのリスト GPU NP ファミリ 機械学習推論 NP シリーズ AMD Alveo U250 FPGA (64 GB) ビデオ コード変換 データベースの検索と分析
45. Apache Spark は、ビッグデータ分析アプリケーションのパフォーマンスを向上させるメモリ内処理をサポート する並列処理フレームワークです。 • Azure HDInsight の Apache Spark を使用すると、Spark クラスターを簡単に作成および構成できるため、Azure 内で完全な Spark 環境をカスタマイズして 使用することができます。 Azure Synapse Analytics の Spark プールでは、管理された Spark プールを使用して、Azure 内での分析情報のためにデータの読み込み、モデル化、処理、 分散を行うことができます。 Azure Databricks の Apache Spark は Spark クラスターを使用して、ユーザー間のコラボレーションを可能にして複数のデータソースからデータを読み取り、 それを画期的な洞察につなげるための対話型ワークスペースを提供します。 Azure Data Factory の Spark アクティビティを使用すると、オンデマンドまたは既存の Spark クラスターを使用して、データ パイプラインで Spark の分析を使 用できます。 データの前処理 Sparkは分散処理により、大規模データセットの前処理を高速かつ効率的に行うことができます。これにより、データの整形やクリーニング作業が大幅に短縮されます。 モデルのトレーニング SparkのMLlibは機械学習のための多様なアルゴリズムを提供しており、並列処理でモデルをトレーニングできます。 Azure Databricksでは、PyTorchやTensorFlowなどの深層学習フレームワークとも容易に連携でき、高度なモデルの開発が可能です。 リアルタイムデータ分析 Spark StreamingやStructured Streamingを使用して、リアルタイムのデータフローを処理できます。 ストリーミングデータを利用した異常検知やリアルタイム予測モデルの構築が可能です。 AIモデルのデプロイ DatabricksやAzure Synapse Analyticsを通じてモデルをトレーニングした後、Azure Machine Learningと統合することで、エンタープライズ環境へのス ムーズなデプロイが可能です。API経由でのモデルの提供や、継続的な学習とデプロイのパイプライン構築も容易です。 Spark
46. Data Science Virtual Machine (DSVM) は、Azure クラウド プラットフォームで利用できる、データ サイエンス処理 の機能を備えたカスタマイズ済みの VM イメージです。 多くのよく使われるデータ サイエンス ツールが事前にインストールお よび構成されており、高度な分析のためのインテリジェントなアプリケーションの構築をすぐに始めることができます。 Data Science Virtual Machine(DSVM) CUDA、cuDNN、NVIDIA ドライバー、Horovod、NVidia シス テム管理インターフェイス (nvidia-smi)、PyTorch、 TensorFlow、Azure Machine Learning との統合 (Python)、XGBoost、Vowpal Wabbit、Weka、LightGBM、 H2O、CatBoost、Intel MKL、OpenCV、Dlib、Docker、 Nccl、Rattle、PostgreSQL、ONNX Runtime、リレーショナ ル データベース、データベース ツール、Azure Storage Explorer、Azure CLI、AzCopy、BLOB FUSE ドライバー、 Azure Cosmos DB データ移行ツール、UNIX および Linux コ マンドライン ツール、Apache Spark 3.1 (スタンドアロン)、人気 のあるパッケージがプレインストールされた CRAN-R、一般的な パッケージがプレインストールされている Anaconda Python、 Julia (Julialang)、JupyterHub (マルチユーザー Notebook サーバー)、JupyterLab (マルチユーザー Notebook サーバー)、 Node.js、upyter Notebook Server
47. AzureではContainerを様々なサービスで利用することが可能です。一部GPU/FPGAに対応 Azure Container Instances Azure Kubernetes Service Azure App Service Azure Container Apps Azure Functions Azure Service Fabric Azure Batch Azure Red Hat OpenShift Azure Spring Apps Azure AI サービスには、Docker コンテナーがいくつか用意されており、これにより、Azure で使用できるものと同じ API をオンプレミスで使用できます。 Container Services サービス コンテナー Anomaly Detector Anomaly Detector (イメージ) LUIS LUIS (イメージ) 言語サービス キー フレーズ抽出 (イメージ) 言語サービス テキスト言語検出 (イメージ) 言語サービス 感情分析 (イメージ) 言語サービス Text Analytics for Health (画像) 言語サービス 固有表現認識 (画像) 言語サービス カスタム固有表現認識 (イメージ) Language サービス 概要作成 (画像) Translator Translator (画像) Speech Service API 音声テキスト変換 (イメージ) Speech Service API カスタム音声テキスト変換 (イメージ) Speech Service API ニューラル テキスト読み上げ (イメージ) Speech Service API Speech 言語識別 (イメージ) Azure AI Vision Read OCR (イメージ) 空間分析 空間分析 (イメージ)
48. 1. Azure IoT Edge クラウドとエッジの統合：Azure IoT Hubと連携し、エッジデバイスにAIモデルやアプリケーションを展開します。 コンテナの利用：DockerコンテナでAIアプリケーションをパッケージ化してデプロイできるため、柔軟性が高いです。 例：監視カメラでの異常検知や、製造ラインの自動検査。 2. Azure Percept ハードウェアとソフトウェアの統合：エッジ向けのAIデバイス（Azure Percept DKやAudio Kit）を活用し、簡単にAIプロジェクトを開始でき ます。 プリセットAIモデル：音声認識や物体検出のプリセットモデルを使って、迅速にAIを構築可能。 例：音声コントロール、工場の異常音検出。 ３. Azure Sphere インターネットに接続されたデバイス用の、セキュリティで保護された高レベルのアプリケーション プラットフォームであり、通信とセキュリティ機 能が組み込まれています。 IoT Edge
49. "OpenAI は、高い信頼性と低メンテナンスを実現する、これまでで最も急速に成長しているコンシューマー アプリの 1 つで ある ChatGPT サービスを動的にスケーリングするために Cosmos DB に依存しています。"- Satya Nadella、 Microsoft の会長兼最高経営責任者 AI を利用するアプリケーションの急増により、複雑さが増しました。これらのアプリケーションの多くは多数のデータ ストアを 統合しているためです。 たとえば、いくつかの組織が、MongoDB、Postgres、Redis、Gremlin に同時に接続するアプリ ケーションを構築したとします。 これらのデータベースは実装ワークフローと運用パフォーマンスが異なり、アプリケーションの スケーリングに新たな複雑性をもたらします。 Cosmos DB 統合されたデータ ストレージと取得 Azure Cosmos DB を使用すると、統合データベース システム内のベクトル検索機能をシームレスに統合できます。 つまり、運用 データとベクトル化されたデータが共存するため、個別のインデックス作成システムが不要になります。 リアルタイム データ インジェストとクエリの実行 Azure Cosmos DB では、リアルタイムのインジェストとクエリの実行がサポートされているため、AI アプリケーションに最適です。 こ れは、データの鮮度が生成される応答の関連性に大きく影響する可能性があるため、RAG アーキテクチャにとって非常に重要 です。 スケーラビリティとグローバル分散 大規模なアプリケーション向けに設計された Azure Cosmos DB は、グローバル分散と瞬時の自動スケールを提供します。 これ により、RAG 対応アプリケーションでボリュームの大きいクエリを処理し、ユーザーの場所に関係なく一貫したパフォーマンスを実 現できます。 高可用性と信頼性 Azure Cosmos DB では、スループット、待機時間、可用性を考慮した包括的な SLA が提供されます。 この信頼性により、 RAG システムを常に使用でき、ダウンタイムを最小限に抑えて応答を生成することができます。 階層パーティション キーを使用したマルチテナント機 能 Azure Cosmos DB では、さまざまなパフォーマンスとセキュリティの分離モデルによってマルチテナント機能がサポートされているた め、同じデータベース内のさまざまなクライアントまたはユーザー グループのデータを簡単に管理できます。 この機能は、テナント データの分離がセキュリティとコンプライアンスに不可欠な SaaS アプリケーションで特に役立ちます。 包括的なセキュリティ機能 エンド ツー エンドの暗号化、ロールベースのアクセス制御 (RBAC)、仮想ネットワーク (VNet) の統合といった組み込み機能によ り、Azure Cosmos DB はデータのセキュリティを確保します。 これらのセキュリティ対策は、機密情報を処理するエンタープライズ レベルの RAG アプリケーションに不可欠です。
50. 大規模言語モデル (LLM) を使用すると、開発者は使い慣れたユーザー エクスペリエンスで AI 搭載アプリケーションを作成で きます。 アプリケーションで LLM を使用すると、モデルがアプリケーションのデータベースから適切なタイミングで、適切なデータにア クセスできる時、価値が高くなり、ユーザー エクスペリエンスが向上します。 このプロセスは、取得拡張生成 (RAG) と呼ばれ、 Azure SQL Database には、この新しいパターンをサポートする多くの機能があり、インテリジェントなアプリケーションを 構築するための優れたデータベースになります。 Azure SQL DB SQL-AI-samples https://github.com/Azure-Samples/SQL-AI-samples
51. Azure Synapse Analytics は、エンタープライズ データ ウェアハウスとビッグ データ分析がまとめられた分析サービスで す。 専用 SQL プール (以前の SQL DW) は、Azure Synapse Analytics で提供されているエンタープライズ データ ウェアハウス機能を指します。 データとAIの統合による迅速なインサイト取得 大規模データの一元管理と分析: Azure Synapse Analytics はデータウェアハウス、データレイクの両方の機能を持ち、AI モデルを構築するための準備が整ったデータが容易に取得可能です。 SQLやSparkの統合サポート: SQLだけでなく、Sparkエンジンを用いたデータの前処理や、AI モデルの構築もサポートしています。 Azure Machine Learningとのシームレスな連携 AIモデルの簡単なデプロイ: Azure Machine Learning を利用し、トレーニングしたモデルを簡単に Synapse の環境に組み込むことが可能です。 AutoMLの活用: コーディングスキルがなくても、AutoML（自動機械学習）により予測モデルを作成・展開することができます(非推奨)。 トレーニングと推論の一元化: Synapse上で蓄積されたデータを使い、直接AIモデルのトレーニングや推論を実行できます。 リアルタイム分析とAIの活用 ストリーミング データのリアルタイム処理: Synapse Analytics では、リアルタイムで取り込まれるデータに対して AI モデルを適用し、即座に予測や異常検知を行うことができます。 動的な意思決定支援: AI を使ったリアルタイムな予測に基づいて、業務フローの自動化や意思決定の支援が可能になります。 Azure Synapse Analytics
52. Azure Data Lake は、大量のデータを蓄積・管理するための基盤を提供し、Azure の AI サービスと組み合わせることで、 強力な分析・予測が可能です。 データレイクに格納されたビッグデータを、AI モデルを用いて分析することで、リアルタイムな意思決定や自動化を実現できま す。 データ収集・蓄積 IoT デバイス、アプリケーション、ログなどから生成されるデータを Azure Data Lake に保存。 データ形式: JSON、CSV、Parquet など。 データ処理・準備 Azure Synapse Analytics や Azure Databricks で、Azure Data Lake 上のデータをクレンジング・整形。 ETL（抽出、変換、ロード）処理で必要なデータを AI モデルに適した形に変換。 機械学習モデルの構築 Azure Machine Learning を使い、Data Lake 上のデータを活用して予測モデルを開発。 Jupyter Notebook などの開発環境で、Python や R を用いたモデル構築が可能。 AI モデルのトレーニングとデプロイ Data Lake 内の膨大なデータを使ってモデルをトレーニング。 トレーニング済みモデルは Kubernetes クラスターや Azure Functions にデプロイし、リアルタイムで推論可能。 分析結果の可視化と自動化 Power BI を使って、モデルが生成した分析結果を可視化。 Azure Data Factory を用いて、データの流れを自動化するパイプラインを構築 Data Lake
53. まとめ
54. Azure AI Servicesの概要 様々なサービスがあり、AI Foundryを利用して開発が行える データ収集 Azure Data Factoryでのデータ収集できる Azure Machine Learning Studioの概要 Notebook、AutoML、デザイナー、プロンプトフローが開発環境として用意されている 評価の指標例として2値分類 デプロイとMLops Azureインフラストラクチャー AzureはシームレスにAIとつながる まとめ
55. ご清聴ありがとうございました