AI Transformation に向けた Microsoft Copilot Stack と Data 戦略

Microsoft Ignite 2023 が11月に実施され Copilot をコアにした様々な発表が行われました。DXを推進されている企業・組織の皆さんが、そのコアたるデータを更に活用できるシナリオがChatGPTの到来によって広がっていると言えます。更に柔軟な Enterprise Application Architecture を実現する最新機能のハイライトもお届けします

DB Tech Showcase 2023 の Day-2 基調講演の資料です。
https://www.db-tech-showcase.com/2023/schedule/

Transcript

1. AI Transformation に向けた Microsoft Copilot stack と Data 戦略 - Prompt Is All You Needed - 畠山 大有 | Daiyu Hatakeyama 日本マイクロソフト株式会社 @dahatake in/dahatake/ Daiyu.Hatakeyama@microsoft.com
2. Cloud Digital Transformation AI Transformation Data
3. Age of Copilots
4. Microsoft’s Copilots Security Copilot Bing Chat Microsoft 365 Copilot Power Platform Copilot Dynamics 365 Copilot Windows Copilot
5. “Microsoft is the Copilot Company” - Satya Nadella
6. Microsoft のAIの保護 お客様のデータは お客様のもの お客様のデータはAIモデルのファインチューニングには 利用されません お客様のデータとAIモデルは全ての段階で 保護されます 新たな Copilot Copyright Commitment Azure OpenAI Service にも適用
7. Copilot stack AI safety and security Microsoft Cloud Your data Foundation models & AI toolchain AI infrastructure AI orchestration Copilot Studio Microsoft Copilot Your copilots Microsoft apps
8. IaaS PaaS SaaS AI における Data Scientist Professional Developer Citizen Developer, IT Professional
9. Copilot stack AI orchestration Microsoft Copilot Your copilots Your data Copilot Studio Microsoft apps AI infrastructure Microsoft Cloud AI safety and security Foundation models & AI toolchain
10. What’s new Azure OpenAI Service New Coming soon Coming soon Coming soon Coming soon
11. Microsoft Ignite 2023 Keynote より
12. Trailblazer X2 Tent. Microsoft Ignite 2023 Keynote より
13. Preview Azure AI Studio 統合プラットフォーム ハイブリッド検索とセ マンティック検索 開発ライフサイクル 全体管理 Windows への拡張 安全で責任あるAI AI.Azure.com
14. Model benchmarking モデルカタログ内の Foundation Model のベンチマーク指標の包括的な比較ビューをユーザーに提供 ユーザーはジョブを開始する前に、モデルとデータセットの持続可能性について自己教育し、 ベンチマークデータに基づいたモデル選択を行える Announcing
15. Generally available Azure AI Content Safety AIと人間が生成したコンテンツ を言語やモダリティで監視 カスタマイズ可能な重大度レベルと 組み込みのブロックリストで ワークフローを合理化 API を使用して、Azure と Microsoft AI 全体で独自のアプリ または組み込み機能を構築する
16. Copilot stack AI orchestration AI infrastructure Foundation models & AI toolchain Your data Microsoft apps Microsoft Cloud AI safety and security Microsoft Copilot Your copilots Copilot Studio
17. Announcing Copilot Studio Your Copilot, your way Customize Build Manage aka.ms/CopilotStudio
18. Microsoft Copilot Studio Publish Copilotを複数の チャネルに、SaaSからで即座に ライブ配信 E2E SaaS と 1 つの画面で copilot を作成 Chat over knowledge with Generative AI ジェネレーティブAIとカスタムGPTを使用し、 ファイル、Webサイトなどから企業・組織 固有の返答を提供 Create specific topics ジェネレーティブな回答を、厳選された 特定のトピックで補完。 GUIで簡単に構築 Actions & Plugins アクションやプラグインを作成するか、 事前構築済みの Power Platform コネクタと OpenAI コネクタを使用し てバックエンドと API を呼び出します Conversational Services Azure AI Studio、Azure Cognitive Services、 Bot Framework などとの統合 Monitor and Improve すぐに使える豊富な テレメトリと分析 Copilot Studio Copilot を構築する 最速の方法
19. Copilot stack AI orchestration AI infrastructure Foundation models & AI toolchain Your data Microsoft apps Microsoft Cloud AI safety and security Microsoft Copilot Your copilots Copilot Studio
20. Microsoft Copilot Your copilots Copilot Studio RAG Retrieval Augmented Generation Vectorization
21. RAG Retrieval Augmented Generation
22. あなたは動物に関する質問に答えるアシスタントです。 与えられた「引用情報」のみを使って以下の「質問」に 答えてください。 質問: カメの寿命はどれくらいですか？ 引用情報: 1. カメは一般的に長寿であることが知られており、 いくつかの種は100年以上生きることができます。 2. 陸ガメは平均して50年から100年の寿命を持つと されています。 3. 水棲ガメは通常、30年から40年の寿命があります。 Azure OpenAI Service LLM 出力 (Completion) カメの寿命は種によって異なりますが、一般的に 長寿であることが知られています。いくつかの種は 100年以上生きることが可能です。具体的には、 陸ガメは平均して50年から100年の寿命を持ち、 水棲ガメは通常30年から40年の寿命があります。 モデルがどのように 振る舞うべきかの枠組みを 提供する部分 ユーザーからの質問 回答文を生成するために 使用する引用情報 (ナレッジベースの検索結果) 回答文生成の際にナレッジベースの 検索結果を引用させるため、 ハルシネーションのリスクを 低減させることができる 参考: • Prompt engineering - OpenAI API 結局は Prompt を作っている 入力 (Prompt) RAG Retrieval Augmented Generation
23. データソースのクレンジングやメタデータの整備などは大事 作業中のファイル? どのファイルの内容が、 意図に近いのか? ファイル名や内容とは別の 製品名・地名などの項目が 絞り込みの役に立つかも? 製品名 ファイルを分割した方が いいのか? Azure AI Search (検索エンジン) データソース (ファイルやデータベースなど) ナレッジベース ナレッジベースの質
24. GPT-4 Turbo でチャンク化が不要になるかも?  文書全体をプロンプトに含めた場合にチャンク化をした場合と比較して適切な回答文の生成ができるかなどまだ情報が少ないため しばらく注視が必要。だが、将来的にはチャンク化が不要になる可能性もある • Azure OpenAI Service models - Azure OpenAI | Microsoft Learn • GPT-4 Turbo with Vision on Azure OpenAI Service (microsoft.com) • Azure OpenAI Service Launches GPT-4 Turbo and GPT-3.5-Turbo-1106 Models - Microsoft Community Hub • OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 (zenn.dev) モデル バージョン 最大トークン 最大日本語文字数 (推定) 料金 (1,000トークンあたり) gpt-35-turbo 0613 4,096 3,756 $0.0015 gpt-35-turbo-16k 0613 16,384 15,024 $0.003 gpt-35-turbo 1106 入力: 16,385 出力: 4,096 入力: 15,025 出力: 3,756 入力: $0.001 出力: $0.002 gpt-4 0613 8,192 7,512 $0.03 gpt-4-32k 0613 32,768 30,048 0.06 gpt-4 Turbo 1106-preview 入力: 128,000 出力: 4,096 入力: 117,376 出力: 3,756 入力: $0.01 / 1000 tokens 出力: $0.03 / 1000 tokens ※ 最大日本語文字数は 1 トークン 0.917 文字で計算。 New New Japan Region は今後 Japan Region は今後 ファイルを分割した方が いいのか?
25. そもそも LLM を使う必要があるのか？ 使い物になる仕組みを実装するためには相応の労力とコストを要するため、明確な課題意識が重要  LLM を使うこと自体が目的になっていないか？  果たして、解決しようとしている課題に対して RAG は解決策なのか？  ナレッジベースを直接検索するのではだめか？ (従来の社内情報検索)  よりシンプルな解決策はないか？  KISS (Keep it simple, stupid.) 回答 (A) フロントエンド アプリケーション (UI) バックエンド アプリケーション (ビジネスロジック) RAG アプリケーション Azure AI Search (検索エンジン) データソース (ファイルやデータベースなど) ナレッジベース 質問 (Q) Azure OpenAI Service LLM Search の改善で出来る事は多い
26. Microsoft Copilot Your copilots Copilot Studio RAG Retrieval Augmented Generation Vectorization
27. Vectorization
28. Vectorization (Embedding)  近傍 (曖昧でも) 検索ができる  多言語  マルチモーダル  画像、テキスト、オーディオ、ビデオ、 または それらの組み合わせ 月曜日 金曜日 火曜日 日曜日 土曜日 木曜日 水曜日 ペンギン コサイン類似度 (2つのベクトル点間の角度) など 使用して類似性を決定することが殆ど。 位置・距離が近いユークリッド距離での類似性を 決定する方法もある その近似値の求め方も複数ある - BruteForce, KNN: 全検索 - IVFFlat: 反転リスト: データをクラスタ化分割 - HNSW: つながりのあるデータでの階層化
29. フルテキスト検索 ベクトル検索 長所 • クエリに含まれる単語に一致するドキュメントを高速に 検索することができる • 検索結果 (なぜそのドキュメントがヒットしたか) の 解釈が比較的容易 • 検索対象のドキュメントに含まれる単語がクエリに含まれて いなくてもも意味的に近いドキュメントを検索することができる • クエリと異なる言語のドキュメントを検索することができる。 ただし、埋め込みを行うモデルに依存 短所 • 意味的に近くても検索対象のドキュメントに含まれる 単語で検索をしなければヒットしない • 単純にベクトルの類似度で検索を行うためクエリと全く関係の ないドキュメントがヒットする可能性がある • 検索結果 (なぜそのドキュメントがヒットしたか) を 解釈することが難しい • Embedding (埋め込み) を行う言語モデルの選定を行う必要 • インデックス作成時と検索時に埋め込み (Embedding) 処理 が追加で必要になる。そのため、追加のオーバーヘッドやコストが 発生する 全文検索とベクトル検索
30. Vectors in Azure databases データを元の場所に保管する: ネイティブベクトル検索機能 ビルトイン Azure Cosmos DB MongoDB vCore and Azure Cosmos DB for PostgreSQL services など Azure AI Search 最高の関連性: デフォルトでも最高に近い精度 Azure データ ソースなどの データのインデックスを自動的に作成: SQL DB, Cosmos DB, Blob Storage, ADLSv2 など Vector databases in Azure
32. Azure AI Search 機能豊富なベクター データベース インジェスト データ型、任意の ソースから シームレスなデータ &プラットフォーム 統合 理想的な ランキング エンタープライズ 対応 Generally available Public preview Generally available Vector search Azure AI Search in Azure AI Studio Semantic ranker 統合されたベクトル化 a.k.a. Azure Cognitive Search Hybrid Search Semantic Ranking
33. Vector search 全体像 距離が類似性を表すベクトル表現にデータを変換する App/UX Images Audio Video Text 埋め込みへの変換 ベクトル表現 近似最近隣内挿法 (Approximate Nearest Neighbor) ベクトル表現 埋め込みへの変換 -2, -1 , 0, 1 2, 3, 4, 5 6, 7, 8, 9 Results 2, 3, 4, 5 データソース など Azure AI Search 複数件の並び替え Ranking ベクトル検索 - Azure AI Search | Microsoft Learn
34. 役割に応じた配置 – Search Engine による DB Optimization -  大量 Read アクセス  スケールアウトしやすい  関連性の追求  ランキング ≒ 並び替え  文章に強い  データソースは別 Read/Write Read Indexing App/UX Search Engine Operational Store  大量の Read / Write  複数セッションからのデータの一貫性保証  検索時に厳密性を追求  Where 句など  数値に強い
35. Vector Search の威力 Vector Hybrid Keyword [1] 源頼朝-33.txt 源義仲を討った理由は、義仲が朝奨に与ったことを憎んだからであり、ま た義仲が後白河法皇を幽閉した罪を問わなかったことを責めている。,この 他に「成敗分明」（『玉葉』九条兼実）」... への評価は高いが、論評者 が勤王家かどうか、儒教の倫理観に近いかなどの見方によって全体の評 価が上下する傾向があるほか、時代によっても評価が揺らぐのも特徴と言 える。 score: 4.2731 [2] 梶原景時-7.txt 『なお、吉川友兼が景茂を討ち取った際、友兼が所持していた青江の太 刀は、友兼の子孫である安芸国人吉川氏の家宝として伝授され、国宝 「狐ヶ崎」として現在に伝わる。,だが『玉葉』によると景時追放の原因とさ れた讒言は、将軍・頼家にその弟・実朝を将軍に担ごうとする陰謀がある ことを報告したものであり、景時追放の3年後には北条氏の陰謀によって 頼家が追 score: 4.2657 [3] 源実朝-9.txt 実朝には子がなかったため、その死によって源氏将軍および源頼信から続 く河内源氏直系棟梁の血筋は断絶した。,右大臣拝賀式参列者 『吾妻 鏡』によれば、建保7年（1219年）鶴岡八幡宮での実朝暗殺時に随 行した主な人物は以下の通りである。 score: 3.5303 どの 特徴 ja.lucene analyzer 和歌の特徴を知りたい 意図 … … … 源 実 友 お歌 [1] 源実朝-14.txt 正岡子規を中心に和歌革新運動が進められたが、その口火を切った評 論「歌よみに与ふる書」は ... 正直に申し候えば『万葉』以来、実朝以来、 一向に振い申さず候」という文で始まっており、『万葉集』以後の第一人 者とされている。この評価はアララギ派の歌人によって継承され、万葉風の 歌人というイメージを定着させた。 score: 0.0273 [2] 梶原景時-8.txt 墓所・神社 梶原景時の墓所は深沢小学校裏のやぐら五輪塔、梶原景 時館址の墓石群、梶原山の墓石群がある。「深沢小学校裏のやぐら」内 にある4基の五輪塔は、景時一族の墓と伝えられ、景時とその子、景季・ 景高らの五輪塔が4基並んでいる。梶原氏一族郎党（七士）の墓とし て伝えられる「梶原景時館址の墓石群」は、一族郎党を一宮館で留守 をしていた家族、家臣 ... score: 0.0268 [3] 源実朝-3.txt 、5月26日には右近衛中将に任ぜられる。公卿となり政所を開設する資 格を得、親裁権を行使し始める。この頃から幕府の下文が「鎌倉殿下 文」から「政所下文」に変化する。7月5日、和歌30首の評を藤原定家に 請う。8月13日、定家はこれに合点を加え、さらに「近代秀歌」として知ら れる詠歌口伝1巻を献じた。 score: 0.0243 [1] 源実朝-16.txt 正岡子規 仰の如く近来和歌は一向に振ひ不申候。正直に申し候へば 万葉以来實朝以来一向に振ひ不申候。實朝といふ人は三十にも足ら で、いざこれからといふ処にてあへなき最期を遂げられ誠に残念致し候。あ の人をして今十年も活かして置いたならどんなに名歌を沢山残したかも知 れ不申候。とにかくに第一流の歌人と存候。... score: 0.8586 [2] 源実朝-14.txt 正岡子規を中心に和歌革新運動が進められたが、その口火を切った評 論「歌よみに与ふる書」は ... 正直に申し候えば『万葉』以来、実朝以来、 一向に振い申さず候」という文で始まっており、『万葉集』以後の第一人 者とされている。この評価はアララギ派の歌人によって継承され、万葉風の 歌人というイメージを定着させた。 score: 0.8537 [3] 源実朝-13.txt 和歌 世の中は つねにもがもな なぎさこぐ あまの小舟の 綱手かなしも 鎌 倉右大臣 源実朝歌碑、鴨川畔、京都市左京区下堤町 『金槐和歌 集』定家所伝本に663首（貞亨本では719首）の和歌が収められてい る。万葉風の和歌もあるが、大半は『古今和歌集』や『新古今和歌集』 の模倣の域を出ないとされている。 score: 0.8406 源実友のお歌にはどのような特徴があったのでしょうか？ 入力ミス 意図を 汲まない 雑にテキストの 類似性 意図!!! 意図!!! 複数件の並び替え Ranking 意図!!!
36. Hybrid Search の威力 源実朝は征夷大将軍として知られているだけでなく、ある有名な趣味も持っています。それは何ですか。 Hybrid [1] 北条政子-7.txt 後の三代将軍・源実朝である。,その数日前に頼朝は征夷大将軍に任じ られている。,政子の気の強さを表す逸話であるが、これについては、頼家 の鹿狩りは神によって彼が頼朝の後継者とみなされた事を人々に認めさ せる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれ が理解できなかったとする解釈もなされている[11]。 score: 6.2197 [2] 比企能員-1.txt 『吾妻鏡』によると、8月27日に北条時政は一幡と頼家の弟・源実朝に 頼家遺領分与を決定し、関東28ヶ国地頭職と日本国総守護職を一幡 に、関西38ヶ国地頭職を実朝に相続することになった。,これに不満を持っ た能員は、頼家に実朝擁立を計る時政の謀反を訴え、頼家は時政追 討を能員に命じる。,密議が漏れていることを知らない能員は、さかんに引 き止めて武装する score: 5.0393 [3] 源頼朝-22.txt 建久3年（1192年）3月に後白河法皇が崩御し、同年7月12日、後 鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。,なお、頼朝が征夷 大将軍を望んだものの後白河法皇に阻まれたとする説については、近年 は疑問視されている[39]。,同年8月、政子が三男（政子の子としては次 男）の源実朝を出産。 score: 4.6704 源実朝 征夷大将軍 知る 有名 趣味 持つ 何 ja.lucene analyzer 趣味を知りたい→答えは和歌、歌人 意図 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する（後年に到るまで、将軍の従一位から正二 位に対して次位の執権（鎌倉）、管領（室町）、大老（江戸）は、 ほとんど従四位から従五位。... score: 0.8879 [2] 源頼朝-31.txt 永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績 を全て彼個人の能力に帰するような過大評価を戒めているが、一方でそ の政治力、人材掌握力は高く評価し、日本史における組織作りの天才 であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であ ると評している（永井路子『源頼朝の世界』中公文庫）。 以上はおお むね現代における score: 0.8845 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍（頼朝）が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。（中略）恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.8730 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する（後年に到るまで、将軍の従一位から正二 位に対して次位の執権（鎌倉）、管領（室町）、大老（江戸）は、 ほとんど従四位から従五位。... score: 0.0304 [2] 源実朝-0.txt 源 実朝（みなもと の さねとも、實朝）は、鎌倉時代前期の鎌倉幕府 第3代征夷大将軍。 鎌倉幕府を開いた源頼朝の嫡出の次男[注釈 1] として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。...歌 人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選 ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉 右大臣とされている。 score: 0.0286 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍（頼朝）が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。（中略）恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.0250 … … … Vector Keyword 源実朝が下位 源実朝が下位 意図!!!
37. RRF 算出方法の異なる検索結果を融合 源実朝は征夷大将軍として知られているだけでなく、ある有名な趣味も持っています。それは何ですか。 Hybrid [1] 北条政子-7.txt 後の三代将軍・源実朝である。,その数日前に頼朝は征夷大将軍に任じ られている。,政子の気の強さを表す逸話であるが、これについては、頼家 の鹿狩りは神によって彼が頼朝の後継者とみなされた事を人々に認めさ せる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれ が理解できなかったとする解釈もなされている[11]。 score: 6.2197 [2] 比企能員-1.txt 『吾妻鏡』によると、8月27日に北条時政は一幡と頼家の弟・源実朝に 頼家遺領分与を決定し、関東28ヶ国地頭職と日本国総守護職を一幡 に、関西38ヶ国地頭職を実朝に相続することになった。,これに不満を持っ た能員は、頼家に実朝擁立を計る時政の謀反を訴え、頼家は時政追 討を能員に命じる。,密議が漏れていることを知らない能員は、さかんに引 き止めて武装する score: 5.0393 [3] 源頼朝-22.txt 建久3年（1192年）3月に後白河法皇が崩御し、同年7月12日、後 鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。,なお、頼朝が征夷 大将軍を望んだものの後白河法皇に阻まれたとする説については、近年 は疑問視されている[39]。,同年8月、政子が三男（政子の子としては次 男）の源実朝を出産。 score: 4.6704 源実朝 征夷大将軍 知る 有名 趣味 持つ 何 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する（後年に到るまで、将軍の従一位から正二 位に対して次位の執権（鎌倉）、管領（室町）、大老（江戸）は、 ほとんど従四位から従五位。... score: 0.8879 [2] 源頼朝-31.txt 永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績 を全て彼個人の能力に帰するような過大評価を戒めているが、一方でそ の政治力、人材掌握力は高く評価し、日本史における組織作りの天才 であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であ ると評している（永井路子『源頼朝の世界』中公文庫）。 以上はおお むね現代における score: 0.8845 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍（頼朝）が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。（中略）恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.8730 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する（後年に到るまで、将軍の従一位から正二 位に対して次位の執権（鎌倉）、管領（室町）、大老（江戸）は、 ほとんど従四位から従五位。... score: 0.0304 [2] 源実朝-0.txt 源 実朝（みなもと の さねとも、實朝）は、鎌倉時代前期の鎌倉幕府 第3代征夷大将軍。 鎌倉幕府を開いた源頼朝の嫡出の次男[注釈 1] として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。...歌 人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選 ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉 右大臣とされている。 score: 0.0286 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍（頼朝）が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。（中略）恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.0250 𝑅𝑅𝐹𝑠𝑐𝑜𝑟𝑒 = 1 𝑘 + 13 + 1 𝑘 + 9 = 0.0286 1 𝑘 + 13 ランクの逆数 = keyword 1 𝑘 + 9 ランクの逆数 = vector … … … (源実朝-0.txt は 13 位) (源実朝-0.txt は 9 位) (源実朝-0.txt) GV Cormack et al., 2009 ja.lucene analyzer Vector Keyword Okapi BM25 cosine RRF 意図!!! 双方で上位に来ているか? 趣味を知りたい→答えは和歌、歌人 意図
38. Semantic Hybrid Search の威力 13人の合議制に含まれるメンバー一覧 Vector Keyword [1] 三浦義澄-1.txt さらに、これまでの勲功として頼朝に御家人10人の成功推挙が与えられ た時、その1人に入ったが子の義村に賞を譲っている。,正治元年（1199 年）、頼朝が死去した後には2代将軍・源頼家を補佐する十三人の合 議制の一人となる。,翌年、梶原景時の変で梶原景時の鎌倉追放に加 担し、梶原一族が討たれた3日後に病没。 score: 10.3941 [2] 源頼家-7.txt 十三人の合議制の実態と頼家の実績 十三人の合議制は、頼家が訴 訟を「直に聴断」するのを停止し、北条時政ら宿老13人の合議により取 り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、通常は、就 任早々頼朝の先例を覆す失政を重ねて御家人の信頼を失った頼家から 親裁権を奪い、執権政治への第一歩になったと理解されてきた[10]。,そ もそも、その伏線と score: 9.8904 [3] 北条時政-6.txt 富士の巻狩り 英雄百首より（『源平盛衰記』巻20に見える、八牧（山 木）兼隆を討ったときの歌） 「富士の巻狩り」も参照 建久4年（1193 年）3月、後白河院の崩御から1年が過ぎて殺生禁断が解けると、頼朝 は下野国・那須野、次いで上野国・吾妻郡三原野で御家人を召集して 大規模な巻狩りを催した。...正治元年（1199年）に頼朝が死去すると 十三人の合議制に名を連ね score: 8.7013 制 含む ja.lucene analyzer 十三人の武将の名を知りたい 意図 … … … １ ３ 人 合議 北条政子-8.txt 若い頼家による独裁に御家人たちの反発が起き、正治2年（1200年） に頼家の専制を抑制すべく大江広元、梶原景時、比企能員、北条時 政、北条義時ら老臣による十三人の合議制が定められた。 だがこれにつ いては13人全員で合議された例がなく、数名の評議の結果を参考に頼 家が最終的判断を下す政治制度であり、頼家の権力を補完する機能を 果たしていたとする見解も score: 0.7744 [1] 源頼家-7.txt 源頼家-7.txt. 十三人の合議制の実態と頼家の実績 十三人の合議制 は、頼家が訴訟を「直に聴断」するのを停止し、北条時政ら宿老13人の 合議により取り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、 通常は、就任早々頼朝の先例を覆す失政を重ねて御家人の信頼を 失った頼家から親裁権を奪い、執権政治への第一歩になったと理解され てきた[10]。 reranker score: 1.4289 [2] 北条義時-3.txt 権力闘争 建久10年（1199年）の頼朝の死後、跡を継いだ2代将軍・ 源頼家のもとで、政務を「談合」する13人の御家人、いわゆる十三人の 合議制の一員となった。 義時のみが30代であり、同じく一員であった父 時政と共同歩調を取ることとなる[20][注釈 8]。 reranker score: 1.0621 [1] 源頼家-7.txt 十三人の合議制の実態と頼家の実績 十三人の合議制は、頼家が訴 訟を「直に聴断」するのを停止し、北条時政ら宿老13人の合議により取 り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、通常は、就 任早々頼朝の先例を覆す失政を重ねて御家人の信頼を失った頼家から 親裁権を奪い、執権政治への第一歩になったと理解されてきた[10]。 score: 0.8644 [2] 足立遠元-1.txt 元暦元年（1184年）10月6日、公文所が設置されると、5人の寄人の 1人に選ばれた[4]。建久元年（1190年）に頼朝が上洛した際、右近 衛大将拝賀の布衣侍7人の内に選ばれて参院の供奉をした[5]。さらに、 奥州合戦の勲功として頼朝に御家人10人[6]の成功推挙が与えられた 時、... 頼朝死後、2代将軍源頼家の時に成立した十三人の合議制の1 人に安達盛長とともに加わる。 score: 0.8346 [3] 源実朝-10.txt 主な参列者 一条能氏 一条実雅 源頼茂 一条信能 一条頼氏 一条 能継 源仲章 中原季時 美作朝親 長井時広 足利義氏 北条時房 大 江親広 北条義時 大内惟義 小笠原長清 武田信光 森頼定 二階堂 基行 北条泰時 安達景盛 三浦朝村 河越重時 加藤景廉 佐々木義 清 坊門忠信 西園寺実氏 平光盛 加藤光員 二階堂行村 葛西清重 score: 0.8338 メンバ 一覧 Semantic Answer Semantic Hybrid Semantic Caption Semantic Caption https://qiita.com/nohanaga/items/4b9506c62b9e5796f405 壊滅的… 意図に近い単語 が入力にあった 意図に近い単語 が入力にあった 時代が違いすぎる 内部で要約作成 =意図に近づく セマンティック ランク付けを構成する - Azure AI Search | Microsoft Learn
39. 並び替え (リランク) の選択肢を持つ事の重要性 0 10 20 30 40 50 60 70 80 Customer datasets [NDCG@3] Beir [NDCG@10] Miracl [NDCG@10] Keyword Vector (ada-002) Hybrid (Keyword + Vector) Hybrid + Semantic ranker Retrieval comparison using Azure AI Search in various retrieval modes on customer and academic benchmarks Source: Outperforming vector search with hybrid + reranking Azure Cognitive Search: Outperforming vector search with hybrid retrieval and ranking capabilities - Microsoft Community Hub
40. Copilot stack AI orchestration Microsoft Copilot Your copilots Copilot Studio Microsoft apps AI infrastructure Foundation models & AI toolchain Your data Microsoft Cloud AI safety and security
41. Microsoft Cloud d Databases a Analytics i AI g Governance Microsoft Intelligent Data Platform
42. Enterprise Data Architecture の変遷
43. Data Mesh  それは、あなたがどこから行くかという考え方の転換  集中型所有権から分散型所有権へ  第一級の関心事としてのパイプラインから、 第一級の関心事としてのドメイン・データ  副産物としてのデータを製品としてのデータへ  サイロ化されたデータエンジニアリングチームから 部門横断的なドメインデータチームへ  データ製品のエコシステムへの 一元化されたデータレイク/ウェアハウス Credit to Zhamak Dehghani, Slack: data-mesh-learning.slack.com データメッシュは概念・アーキテクチャであり、製品ではない
44. 2023 年の ML、AI、Data の Product / Service
45. Microsoft Fabric 一般提供 (GA) Fabric workloads are now generally available! | Microsoft Fabric ブログ | Microsoft Fabric Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake GA GA GA GA GA GA GA Preview
46. Microsoft Fabric マルチクラウド オープンデータフォーマット オープン API OneLake Preview momentum
47. Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake サービス テレメトリー ファイナンス カスタマー 360 ビジネス KPIs Serverless Compute Spark T-SQL KQL Analysis Services Fabric Compute Engine ミラーリング Snowflake そのほかにも… Mongo DB Azure SQL Database Azure Cosmos DB Microsoft Fabric ショートカット OneLake
48. Amazon S3 Dataverse Cosmos DB Azure DataBricks Snowflake Microsoft Ignite 2023 Keynote より
49. 透過的に、それぞれのAPI (SQL, KQL, Spark など) でアクセスできる Microsoft Ignite 2023 Keynote より
50. Copilot stack AI safety and security Microsoft Cloud Your data Foundation models & AI toolchain AI infrastructure AI orchestration Copilot Studio Microsoft Copilot Your copilots Microsoft apps
51. 地球上のすべての個人とすべての組織が、 より多くのことを達成できるようにするために
52. Prompt のトレーニング Prompt のテンプレート集 https://speakerdeck.com/dahatake プレゼン資料 コンテンツ https://github.com/dahatake 独自で使うもよし! Microsoft と一緒にやるもよし!
53. 2023年12月6日（水）～8日（金）開催 会場：ベルサール六本木グランドコンファレンスセンター （六本木一丁目駅西改札直結） Session# Date Time Session Title Speaker H-9 (基調講演) 12/7 木 10:00~10:45 AI Transformation に向けた Microsoft Copilot Stack と Data 戦略 日本マイクロソフト株式会社 畠山 大有 A2 12/6 水 11:00~11:45 SQL Server 技術支援のための動作の調査 ～あなたならどのように 調査しますか？～ Microsoft MVP for Data Platform 小澤 真之 氏 CL3 12/6 水 12:00~12:45 ユーザー目線で語る データ活用のためのAll in One SaaS 「Microsoft Fabric 」の推しポイント紹介 株式会社ジール 永田 亮磨 氏 株式会社リクルート 政岡 裕士 氏 H4 12/6 水 13:00~13:45 AIデータ基盤の新時代 - Microsoft Fabricの最新アップデートで ビジネスインテリジェンスを再定義 日本マイクロソフト株式会社 Jiayi Yang H6 12/6 水 15:00~15:45 Microsoftデータ分析プラットフォームの使い分け 日本マイクロソフト株式会社 中川 一馬 H14 12/7 木 15:00~15:45 EOSを越えてSQL Serverをハイブリッド化 及びAzure SQLの新機能でビジネスを変革 日本マイクロソフト株式会社 Jiayi Yang 清水 淳也 IL20 12/8 金 12:00~12:45 Azure Cosmos DBのベクトル検索機能でAzure OpenAIとの連携 を高度化しよう ～ 初心者向け機能概要と実装例の紹介 マイクロソフトコーポレーション 早川 武志 H23 12/8 金 15:00~15:45 ～生成AIがRebornしたAzure Databricks～ 生産性が爆上がり！ 今まで見たこともない魅力的な最新Data AI機能ご紹介 日本マイクロソフト株式会社 武田 雅生 ご登録はこちらから https://www.db-tech-showcase.com/2023/
54. © Copyright Microsoft Corporation. All rights reserved.