Slide 1

Slide 1 text

AI Transformation に向けた Microsoft Copilot stack と Data 戦略 - Prompt Is All You Needed - 畠山 大有 | Daiyu Hatakeyama 日本マイクロソフト株式会社 @dahatake in/dahatake/ [email protected]

Slide 2

Slide 2 text

Cloud Digital Transformation AI Transformation Data

Slide 3

Slide 3 text

Age of Copilots

Slide 4

Slide 4 text

Microsoft’s Copilots Security Copilot Bing Chat Microsoft 365 Copilot Power Platform Copilot Dynamics 365 Copilot Windows Copilot

Slide 5

Slide 5 text

“Microsoft is the Copilot Company” - Satya Nadella

Slide 6

Slide 6 text

Microsoft のAIの保護 お客様のデータは お客様のもの お客様のデータはAIモデルのファインチューニングには 利用されません お客様のデータとAIモデルは全ての段階で 保護されます 新たな Copilot Copyright Commitment Azure OpenAI Service にも適用

Slide 7

Slide 7 text

Copilot stack AI safety and security Microsoft Cloud Your data Foundation models & AI toolchain AI infrastructure AI orchestration Copilot Studio Microsoft Copilot Your copilots Microsoft apps

Slide 8

Slide 8 text

IaaS PaaS SaaS AI における Data Scientist Professional Developer Citizen Developer, IT Professional

Slide 9

Slide 9 text

Copilot stack AI orchestration Microsoft Copilot Your copilots Your data Copilot Studio Microsoft apps AI infrastructure Microsoft Cloud AI safety and security Foundation models & AI toolchain

Slide 10

Slide 10 text

What’s new Azure OpenAI Service New Coming soon Coming soon Coming soon Coming soon

Slide 11

Slide 11 text

Microsoft Ignite 2023 Keynote より

Slide 12

Slide 12 text

Trailblazer X2 Tent. Microsoft Ignite 2023 Keynote より

Slide 13

Slide 13 text

Preview Azure AI Studio 統合プラットフォーム ハイブリッド検索とセ マンティック検索 開発ライフサイクル 全体管理 Windows への拡張 安全で責任あるAI AI.Azure.com

Slide 14

Slide 14 text

Model benchmarking モデルカタログ内の Foundation Model のベンチマーク指標の包括的な比較ビューをユーザーに提供 ユーザーはジョブを開始する前に、モデルとデータセットの持続可能性について自己教育し、 ベンチマークデータに基づいたモデル選択を行える Announcing

Slide 15

Slide 15 text

Generally available Azure AI Content Safety AIと人間が生成したコンテンツ を言語やモダリティで監視 カスタマイズ可能な重大度レベルと 組み込みのブロックリストで ワークフローを合理化 API を使用して、Azure と Microsoft AI 全体で独自のアプリ または組み込み機能を構築する

Slide 16

Slide 16 text

Copilot stack AI orchestration AI infrastructure Foundation models & AI toolchain Your data Microsoft apps Microsoft Cloud AI safety and security Microsoft Copilot Your copilots Copilot Studio

Slide 17

Slide 17 text

Announcing Copilot Studio Your Copilot, your way Customize Build Manage aka.ms/CopilotStudio

Slide 18

Slide 18 text

Microsoft Copilot Studio Publish Copilotを複数の チャネルに、SaaSからで即座に ライブ配信 E2E SaaS と 1 つの画面で copilot を作成 Chat over knowledge with Generative AI ジェネレーティブAIとカスタムGPTを使用し、 ファイル、Webサイトなどから企業・組織 固有の返答を提供 Create specific topics ジェネレーティブな回答を、厳選された 特定のトピックで補完。 GUIで簡単に構築 Actions & Plugins アクションやプラグインを作成するか、 事前構築済みの Power Platform コネクタと OpenAI コネクタを使用し てバックエンドと API を呼び出します Conversational Services Azure AI Studio、Azure Cognitive Services、 Bot Framework などとの統合 Monitor and Improve すぐに使える豊富な テレメトリと分析 Copilot Studio Copilot を構築する 最速の方法

Slide 19

Slide 19 text

Copilot stack AI orchestration AI infrastructure Foundation models & AI toolchain Your data Microsoft apps Microsoft Cloud AI safety and security Microsoft Copilot Your copilots Copilot Studio

Slide 20

Slide 20 text

Microsoft Copilot Your copilots Copilot Studio RAG Retrieval Augmented Generation Vectorization

Slide 21

Slide 21 text

RAG Retrieval Augmented Generation

Slide 22

Slide 22 text

あなたは動物に関する質問に答えるアシスタントです。 与えられた「引用情報」のみを使って以下の「質問」に 答えてください。 質問: カメの寿命はどれくらいですか? 引用情報: 1. カメは一般的に長寿であることが知られており、 いくつかの種は100年以上生きることができます。 2. 陸ガメは平均して50年から100年の寿命を持つと されています。 3. 水棲ガメは通常、30年から40年の寿命があります。 Azure OpenAI Service LLM 出力 (Completion) カメの寿命は種によって異なりますが、一般的に 長寿であることが知られています。いくつかの種は 100年以上生きることが可能です。具体的には、 陸ガメは平均して50年から100年の寿命を持ち、 水棲ガメは通常30年から40年の寿命があります。 モデルがどのように 振る舞うべきかの枠組みを 提供する部分 ユーザーからの質問 回答文を生成するために 使用する引用情報 (ナレッジベースの検索結果) 回答文生成の際にナレッジベースの 検索結果を引用させるため、 ハルシネーションのリスクを 低減させることができる 参考: • Prompt engineering - OpenAI API 結局は Prompt を作っている 入力 (Prompt) RAG Retrieval Augmented Generation

Slide 23

Slide 23 text

データソースのクレンジングやメタデータの整備などは大事 作業中のファイル? どのファイルの内容が、 意図に近いのか? ファイル名や内容とは別の 製品名・地名などの項目が 絞り込みの役に立つかも? 製品名 ファイルを分割した方が いいのか? Azure AI Search (検索エンジン) データソース (ファイルやデータベースなど) ナレッジベース ナレッジベースの質

Slide 24

Slide 24 text

GPT-4 Turbo でチャンク化が不要になるかも?  文書全体をプロンプトに含めた場合にチャンク化をした場合と比較して適切な回答文の生成ができるかなどまだ情報が少ないため しばらく注視が必要。だが、将来的にはチャンク化が不要になる可能性もある • Azure OpenAI Service models - Azure OpenAI | Microsoft Learn • GPT-4 Turbo with Vision on Azure OpenAI Service (microsoft.com) • Azure OpenAI Service Launches GPT-4 Turbo and GPT-3.5-Turbo-1106 Models - Microsoft Community Hub • OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 (zenn.dev) モデル バージョン 最大トークン 最大日本語文字数 (推定) 料金 (1,000トークンあたり) gpt-35-turbo 0613 4,096 3,756 $0.0015 gpt-35-turbo-16k 0613 16,384 15,024 $0.003 gpt-35-turbo 1106 入力: 16,385 出力: 4,096 入力: 15,025 出力: 3,756 入力: $0.001 出力: $0.002 gpt-4 0613 8,192 7,512 $0.03 gpt-4-32k 0613 32,768 30,048 0.06 gpt-4 Turbo 1106-preview 入力: 128,000 出力: 4,096 入力: 117,376 出力: 3,756 入力: $0.01 / 1000 tokens 出力: $0.03 / 1000 tokens ※ 最大日本語文字数は 1 トークン 0.917 文字で計算。 New New Japan Region は今後 Japan Region は今後 ファイルを分割した方が いいのか?

Slide 25

Slide 25 text

そもそも LLM を使う必要があるのか? 使い物になる仕組みを実装するためには相応の労力とコストを要するため、明確な課題意識が重要  LLM を使うこと自体が目的になっていないか?  果たして、解決しようとしている課題に対して RAG は解決策なのか?  ナレッジベースを直接検索するのではだめか? (従来の社内情報検索)  よりシンプルな解決策はないか?  KISS (Keep it simple, stupid.) 回答 (A) フロントエンド アプリケーション (UI) バックエンド アプリケーション (ビジネスロジック) RAG アプリケーション Azure AI Search (検索エンジン) データソース (ファイルやデータベースなど) ナレッジベース 質問 (Q) Azure OpenAI Service LLM Search の改善で出来る事は多い

Slide 26

Slide 26 text

Microsoft Copilot Your copilots Copilot Studio RAG Retrieval Augmented Generation Vectorization

Slide 27

Slide 27 text

Vectorization

Slide 28

Slide 28 text

Vectorization (Embedding)  近傍 (曖昧でも) 検索ができる  多言語  マルチモーダル  画像、テキスト、オーディオ、ビデオ、 または それらの組み合わせ 月曜日 金曜日 火曜日 日曜日 土曜日 木曜日 水曜日 ペンギン コサイン類似度 (2つのベクトル点間の角度) など 使用して類似性を決定することが殆ど。 位置・距離が近いユークリッド距離での類似性を 決定する方法もある その近似値の求め方も複数ある - BruteForce, KNN: 全検索 - IVFFlat: 反転リスト: データをクラスタ化分割 - HNSW: つながりのあるデータでの階層化

Slide 29

Slide 29 text

フルテキスト検索 ベクトル検索 長所 • クエリに含まれる単語に一致するドキュメントを高速に 検索することができる • 検索結果 (なぜそのドキュメントがヒットしたか) の 解釈が比較的容易 • 検索対象のドキュメントに含まれる単語がクエリに含まれて いなくてもも意味的に近いドキュメントを検索することができる • クエリと異なる言語のドキュメントを検索することができる。 ただし、埋め込みを行うモデルに依存 短所 • 意味的に近くても検索対象のドキュメントに含まれる 単語で検索をしなければヒットしない • 単純にベクトルの類似度で検索を行うためクエリと全く関係の ないドキュメントがヒットする可能性がある • 検索結果 (なぜそのドキュメントがヒットしたか) を 解釈することが難しい • Embedding (埋め込み) を行う言語モデルの選定を行う必要 • インデックス作成時と検索時に埋め込み (Embedding) 処理 が追加で必要になる。そのため、追加のオーバーヘッドやコストが 発生する 全文検索とベクトル検索

Slide 30

Slide 30 text

Vectors in Azure databases データを元の場所に保管する: ネイティブベクトル検索機能 ビルトイン Azure Cosmos DB MongoDB vCore and Azure Cosmos DB for PostgreSQL services など Azure AI Search 最高の関連性: デフォルトでも最高に近い精度 Azure データ ソースなどの データのインデックスを自動的に作成: SQL DB, Cosmos DB, Blob Storage, ADLSv2 など Vector databases in Azure

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

Azure AI Search 機能豊富なベクター データベース インジェスト データ型、任意の ソースから シームレスなデータ &プラットフォーム 統合 理想的な ランキング エンタープライズ 対応 Generally available Public preview Generally available Vector search Azure AI Search in Azure AI Studio Semantic ranker 統合されたベクトル化 a.k.a. Azure Cognitive Search Hybrid Search Semantic Ranking

Slide 33

Slide 33 text

Vector search 全体像 距離が類似性を表すベクトル表現にデータを変換する App/UX Images Audio Video Text 埋め込みへの変換 ベクトル表現 近似最近隣内挿法 (Approximate Nearest Neighbor) ベクトル表現 埋め込みへの変換 -2, -1 , 0, 1 2, 3, 4, 5 6, 7, 8, 9 Results 2, 3, 4, 5 データソース など Azure AI Search 複数件の並び替え Ranking ベクトル検索 - Azure AI Search | Microsoft Learn

Slide 34

Slide 34 text

役割に応じた配置 – Search Engine による DB Optimization -  大量 Read アクセス  スケールアウトしやすい  関連性の追求  ランキング ≒ 並び替え  文章に強い  データソースは別 Read/Write Read Indexing App/UX Search Engine Operational Store  大量の Read / Write  複数セッションからのデータの一貫性保証  検索時に厳密性を追求  Where 句など  数値に強い

Slide 35

Slide 35 text

Vector Search の威力 Vector Hybrid Keyword [1] 源頼朝-33.txt 源義仲を討った理由は、義仲が朝奨に与ったことを憎んだからであり、ま た義仲が後白河法皇を幽閉した罪を問わなかったことを責めている。,この 他に「成敗分明」(『玉葉』九条兼実)」... への評価は高いが、論評者 が勤王家かどうか、儒教の倫理観に近いかなどの見方によって全体の評 価が上下する傾向があるほか、時代によっても評価が揺らぐのも特徴と言 える。 score: 4.2731 [2] 梶原景時-7.txt 『なお、吉川友兼が景茂を討ち取った際、友兼が所持していた青江の太 刀は、友兼の子孫である安芸国人吉川氏の家宝として伝授され、国宝 「狐ヶ崎」として現在に伝わる。,だが『玉葉』によると景時追放の原因とさ れた讒言は、将軍・頼家にその弟・実朝を将軍に担ごうとする陰謀がある ことを報告したものであり、景時追放の3年後には北条氏の陰謀によって 頼家が追 score: 4.2657 [3] 源実朝-9.txt 実朝には子がなかったため、その死によって源氏将軍および源頼信から続 く河内源氏直系棟梁の血筋は断絶した。,右大臣拝賀式参列者 『吾妻 鏡』によれば、建保7年(1219年)鶴岡八幡宮での実朝暗殺時に随 行した主な人物は以下の通りである。 score: 3.5303 どの 特徴 ja.lucene analyzer 和歌の特徴を知りたい 意図 … … … 源 実 友 お歌 [1] 源実朝-14.txt 正岡子規を中心に和歌革新運動が進められたが、その口火を切った評 論「歌よみに与ふる書」は ... 正直に申し候えば『万葉』以来、実朝以来、 一向に振い申さず候」という文で始まっており、『万葉集』以後の第一人 者とされている。この評価はアララギ派の歌人によって継承され、万葉風の 歌人というイメージを定着させた。 score: 0.0273 [2] 梶原景時-8.txt 墓所・神社 梶原景時の墓所は深沢小学校裏のやぐら五輪塔、梶原景 時館址の墓石群、梶原山の墓石群がある。「深沢小学校裏のやぐら」内 にある4基の五輪塔は、景時一族の墓と伝えられ、景時とその子、景季・ 景高らの五輪塔が4基並んでいる。梶原氏一族郎党(七士)の墓とし て伝えられる「梶原景時館址の墓石群」は、一族郎党を一宮館で留守 をしていた家族、家臣 ... score: 0.0268 [3] 源実朝-3.txt 、5月26日には右近衛中将に任ぜられる。公卿となり政所を開設する資 格を得、親裁権を行使し始める。この頃から幕府の下文が「鎌倉殿下 文」から「政所下文」に変化する。7月5日、和歌30首の評を藤原定家に 請う。8月13日、定家はこれに合点を加え、さらに「近代秀歌」として知ら れる詠歌口伝1巻を献じた。 score: 0.0243 [1] 源実朝-16.txt 正岡子規 仰の如く近来和歌は一向に振ひ不申候。正直に申し候へば 万葉以来實朝以来一向に振ひ不申候。實朝といふ人は三十にも足ら で、いざこれからといふ処にてあへなき最期を遂げられ誠に残念致し候。あ の人をして今十年も活かして置いたならどんなに名歌を沢山残したかも知 れ不申候。とにかくに第一流の歌人と存候。... score: 0.8586 [2] 源実朝-14.txt 正岡子規を中心に和歌革新運動が進められたが、その口火を切った評 論「歌よみに与ふる書」は ... 正直に申し候えば『万葉』以来、実朝以来、 一向に振い申さず候」という文で始まっており、『万葉集』以後の第一人 者とされている。この評価はアララギ派の歌人によって継承され、万葉風の 歌人というイメージを定着させた。 score: 0.8537 [3] 源実朝-13.txt 和歌 世の中は つねにもがもな なぎさこぐ あまの小舟の 綱手かなしも 鎌 倉右大臣 源実朝歌碑、鴨川畔、京都市左京区下堤町 『金槐和歌 集』定家所伝本に663首(貞亨本では719首)の和歌が収められてい る。万葉風の和歌もあるが、大半は『古今和歌集』や『新古今和歌集』 の模倣の域を出ないとされている。 score: 0.8406 源実友のお歌にはどのような特徴があったのでしょうか? 入力ミス 意図を 汲まない 雑にテキストの 類似性 意図!!! 意図!!! 複数件の並び替え Ranking 意図!!!

Slide 36

Slide 36 text

Hybrid Search の威力 源実朝は征夷大将軍として知られているだけでなく、ある有名な趣味も持っています。それは何ですか。 Hybrid [1] 北条政子-7.txt 後の三代将軍・源実朝である。,その数日前に頼朝は征夷大将軍に任じ られている。,政子の気の強さを表す逸話であるが、これについては、頼家 の鹿狩りは神によって彼が頼朝の後継者とみなされた事を人々に認めさ せる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれ が理解できなかったとする解釈もなされている[11]。 score: 6.2197 [2] 比企能員-1.txt 『吾妻鏡』によると、8月27日に北条時政は一幡と頼家の弟・源実朝に 頼家遺領分与を決定し、関東28ヶ国地頭職と日本国総守護職を一幡 に、関西38ヶ国地頭職を実朝に相続することになった。,これに不満を持っ た能員は、頼家に実朝擁立を計る時政の謀反を訴え、頼家は時政追 討を能員に命じる。,密議が漏れていることを知らない能員は、さかんに引 き止めて武装する score: 5.0393 [3] 源頼朝-22.txt 建久3年(1192年)3月に後白河法皇が崩御し、同年7月12日、後 鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。,なお、頼朝が征夷 大将軍を望んだものの後白河法皇に阻まれたとする説については、近年 は疑問視されている[39]。,同年8月、政子が三男(政子の子としては次 男)の源実朝を出産。 score: 4.6704 源実朝 征夷大将軍 知る 有名 趣味 持つ 何 ja.lucene analyzer 趣味を知りたい→答えは和歌、歌人 意図 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二 位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、 ほとんど従四位から従五位。... score: 0.8879 [2] 源頼朝-31.txt 永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績 を全て彼個人の能力に帰するような過大評価を戒めているが、一方でそ の政治力、人材掌握力は高く評価し、日本史における組織作りの天才 であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であ ると評している(永井路子『源頼朝の世界』中公文庫)。 以上はおお むね現代における score: 0.8845 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.8730 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二 位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、 ほとんど従四位から従五位。... score: 0.0304 [2] 源実朝-0.txt 源 実朝(みなもと の さねとも、實朝)は、鎌倉時代前期の鎌倉幕府 第3代征夷大将軍。 鎌倉幕府を開いた源頼朝の嫡出の次男[注釈 1] として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。...歌 人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選 ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉 右大臣とされている。 score: 0.0286 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.0250 … … … Vector Keyword 源実朝が下位 源実朝が下位 意図!!!

Slide 37

Slide 37 text

RRF 算出方法の異なる検索結果を融合 源実朝は征夷大将軍として知られているだけでなく、ある有名な趣味も持っています。それは何ですか。 Hybrid [1] 北条政子-7.txt 後の三代将軍・源実朝である。,その数日前に頼朝は征夷大将軍に任じ られている。,政子の気の強さを表す逸話であるが、これについては、頼家 の鹿狩りは神によって彼が頼朝の後継者とみなされた事を人々に認めさ せる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれ が理解できなかったとする解釈もなされている[11]。 score: 6.2197 [2] 比企能員-1.txt 『吾妻鏡』によると、8月27日に北条時政は一幡と頼家の弟・源実朝に 頼家遺領分与を決定し、関東28ヶ国地頭職と日本国総守護職を一幡 に、関西38ヶ国地頭職を実朝に相続することになった。,これに不満を持っ た能員は、頼家に実朝擁立を計る時政の謀反を訴え、頼家は時政追 討を能員に命じる。,密議が漏れていることを知らない能員は、さかんに引 き止めて武装する score: 5.0393 [3] 源頼朝-22.txt 建久3年(1192年)3月に後白河法皇が崩御し、同年7月12日、後 鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。,なお、頼朝が征夷 大将軍を望んだものの後白河法皇に阻まれたとする説については、近年 は疑問視されている[39]。,同年8月、政子が三男(政子の子としては次 男)の源実朝を出産。 score: 4.6704 源実朝 征夷大将軍 知る 有名 趣味 持つ 何 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二 位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、 ほとんど従四位から従五位。... score: 0.8879 [2] 源頼朝-31.txt 永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績 を全て彼個人の能力に帰するような過大評価を戒めているが、一方でそ の政治力、人材掌握力は高く評価し、日本史における組織作りの天才 であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であ ると評している(永井路子『源頼朝の世界』中公文庫)。 以上はおお むね現代における score: 0.8845 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.8730 [1] 源頼朝-30.txt また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏 がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な 身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二 位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、 ほとんど従四位から従五位。... score: 0.0304 [2] 源実朝-0.txt 源 実朝(みなもと の さねとも、實朝)は、鎌倉時代前期の鎌倉幕府 第3代征夷大将軍。 鎌倉幕府を開いた源頼朝の嫡出の次男[注釈 1] として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。...歌 人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選 ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉 右大臣とされている。 score: 0.0286 [3] 源頼朝-32.txt 北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵 を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深 い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。 頼朝の... score: 0.0250 𝑅𝑅𝐹𝑠𝑐𝑜𝑟𝑒 = 1 𝑘 + 13 + 1 𝑘 + 9 = 0.0286 1 𝑘 + 13 ランクの逆数 = keyword 1 𝑘 + 9 ランクの逆数 = vector … … … (源実朝-0.txt は 13 位) (源実朝-0.txt は 9 位) (源実朝-0.txt) GV Cormack et al., 2009 ja.lucene analyzer Vector Keyword Okapi BM25 cosine RRF 意図!!! 双方で上位に来ているか? 趣味を知りたい→答えは和歌、歌人 意図

Slide 38

Slide 38 text

Semantic Hybrid Search の威力 13人の合議制に含まれるメンバー一覧 Vector Keyword [1] 三浦義澄-1.txt さらに、これまでの勲功として頼朝に御家人10人の成功推挙が与えられ た時、その1人に入ったが子の義村に賞を譲っている。,正治元年(1199 年)、頼朝が死去した後には2代将軍・源頼家を補佐する十三人の合 議制の一人となる。,翌年、梶原景時の変で梶原景時の鎌倉追放に加 担し、梶原一族が討たれた3日後に病没。 score: 10.3941 [2] 源頼家-7.txt 十三人の合議制の実態と頼家の実績 十三人の合議制は、頼家が訴 訟を「直に聴断」するのを停止し、北条時政ら宿老13人の合議により取 り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、通常は、就 任早々頼朝の先例を覆す失政を重ねて御家人の信頼を失った頼家から 親裁権を奪い、執権政治への第一歩になったと理解されてきた[10]。,そ もそも、その伏線と score: 9.8904 [3] 北条時政-6.txt 富士の巻狩り 英雄百首より(『源平盛衰記』巻20に見える、八牧(山 木)兼隆を討ったときの歌) 「富士の巻狩り」も参照 建久4年(1193 年)3月、後白河院の崩御から1年が過ぎて殺生禁断が解けると、頼朝 は下野国・那須野、次いで上野国・吾妻郡三原野で御家人を召集して 大規模な巻狩りを催した。...正治元年(1199年)に頼朝が死去すると 十三人の合議制に名を連ね score: 8.7013 制 含む ja.lucene analyzer 十三人の武将の名を知りたい 意図 … … … 1 3 人 合議 北条政子-8.txt 若い頼家による独裁に御家人たちの反発が起き、正治2年(1200年) に頼家の専制を抑制すべく大江広元、梶原景時、比企能員、北条時 政、北条義時ら老臣による十三人の合議制が定められた。 だがこれにつ いては13人全員で合議された例がなく、数名の評議の結果を参考に頼 家が最終的判断を下す政治制度であり、頼家の権力を補完する機能を 果たしていたとする見解も score: 0.7744 [1] 源頼家-7.txt 源頼家-7.txt. 十三人の合議制の実態と頼家の実績 十三人の合議制 は、頼家が訴訟を「直に聴断」するのを停止し、北条時政ら宿老13人の 合議により取り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、 通常は、就任早々頼朝の先例を覆す失政を重ねて御家人の信頼を 失った頼家から親裁権を奪い、執権政治への第一歩になったと理解され てきた[10]。 reranker score: 1.4289 [2] 北条義時-3.txt 権力闘争 建久10年(1199年)の頼朝の死後、跡を継いだ2代将軍・ 源頼家のもとで、政務を「談合」する13人の御家人、いわゆる十三人の 合議制の一員となった。 義時のみが30代であり、同じく一員であった父 時政と共同歩調を取ることとなる[20][注釈 8]。 reranker score: 1.0621 [1] 源頼家-7.txt 十三人の合議制の実態と頼家の実績 十三人の合議制は、頼家が訴 訟を「直に聴断」するのを停止し、北条時政ら宿老13人の合議により取 り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、通常は、就 任早々頼朝の先例を覆す失政を重ねて御家人の信頼を失った頼家から 親裁権を奪い、執権政治への第一歩になったと理解されてきた[10]。 score: 0.8644 [2] 足立遠元-1.txt 元暦元年(1184年)10月6日、公文所が設置されると、5人の寄人の 1人に選ばれた[4]。建久元年(1190年)に頼朝が上洛した際、右近 衛大将拝賀の布衣侍7人の内に選ばれて参院の供奉をした[5]。さらに、 奥州合戦の勲功として頼朝に御家人10人[6]の成功推挙が与えられた 時、... 頼朝死後、2代将軍源頼家の時に成立した十三人の合議制の1 人に安達盛長とともに加わる。 score: 0.8346 [3] 源実朝-10.txt 主な参列者 一条能氏 一条実雅 源頼茂 一条信能 一条頼氏 一条 能継 源仲章 中原季時 美作朝親 長井時広 足利義氏 北条時房 大 江親広 北条義時 大内惟義 小笠原長清 武田信光 森頼定 二階堂 基行 北条泰時 安達景盛 三浦朝村 河越重時 加藤景廉 佐々木義 清 坊門忠信 西園寺実氏 平光盛 加藤光員 二階堂行村 葛西清重 score: 0.8338 メンバ 一覧 Semantic Answer Semantic Hybrid Semantic Caption Semantic Caption https://qiita.com/nohanaga/items/4b9506c62b9e5796f405 壊滅的… 意図に近い単語 が入力にあった 意図に近い単語 が入力にあった 時代が違いすぎる 内部で要約作成 =意図に近づく セマンティック ランク付けを構成する - Azure AI Search | Microsoft Learn

Slide 39

Slide 39 text

並び替え (リランク) の選択肢を持つ事の重要性 0 10 20 30 40 50 60 70 80 Customer datasets [NDCG@3] Beir [NDCG@10] Miracl [NDCG@10] Keyword Vector (ada-002) Hybrid (Keyword + Vector) Hybrid + Semantic ranker Retrieval comparison using Azure AI Search in various retrieval modes on customer and academic benchmarks Source: Outperforming vector search with hybrid + reranking Azure Cognitive Search: Outperforming vector search with hybrid retrieval and ranking capabilities - Microsoft Community Hub

Slide 40

Slide 40 text

Copilot stack AI orchestration Microsoft Copilot Your copilots Copilot Studio Microsoft apps AI infrastructure Foundation models & AI toolchain Your data Microsoft Cloud AI safety and security

Slide 41

Slide 41 text

Microsoft Cloud d Databases a Analytics i AI g Governance Microsoft Intelligent Data Platform

Slide 42

Slide 42 text

Enterprise Data Architecture の変遷

Slide 43

Slide 43 text

Data Mesh  それは、あなたがどこから行くかという考え方の転換  集中型所有権から分散型所有権へ  第一級の関心事としてのパイプラインから、 第一級の関心事としてのドメイン・データ  副産物としてのデータを製品としてのデータへ  サイロ化されたデータエンジニアリングチームから 部門横断的なドメインデータチームへ  データ製品のエコシステムへの 一元化されたデータレイク/ウェアハウス Credit to Zhamak Dehghani, Slack: data-mesh-learning.slack.com データメッシュは概念・アーキテクチャであり、製品ではない

Slide 44

Slide 44 text

2023 年の ML、AI、Data の Product / Service

Slide 45

Slide 45 text

Microsoft Fabric 一般提供 (GA) Fabric workloads are now generally available! | Microsoft Fabric ブログ | Microsoft Fabric Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake GA GA GA GA GA GA GA Preview

Slide 46

Slide 46 text

Microsoft Fabric マルチクラウド オープンデータフォーマット オープン API OneLake Preview momentum

Slide 47

Slide 47 text

Data Factory Synapse Data Engineering Synapse Data Science Synapse Data Warehousing Synapse Real Time Analytics Power BI Data Activator OneLake サービス テレメトリー ファイナンス カスタマー 360 ビジネス KPIs Serverless Compute Spark T-SQL KQL Analysis Services Fabric Compute Engine ミラーリング Snowflake そのほかにも… Mongo DB Azure SQL Database Azure Cosmos DB Microsoft Fabric ショートカット OneLake

Slide 48

Slide 48 text

Amazon S3 Dataverse Cosmos DB Azure DataBricks Snowflake Microsoft Ignite 2023 Keynote より

Slide 49

Slide 49 text

透過的に、それぞれのAPI (SQL, KQL, Spark など) でアクセスできる Microsoft Ignite 2023 Keynote より

Slide 50

Slide 50 text

Copilot stack AI safety and security Microsoft Cloud Your data Foundation models & AI toolchain AI infrastructure AI orchestration Copilot Studio Microsoft Copilot Your copilots Microsoft apps

Slide 51

Slide 51 text

地球上のすべての個人とすべての組織が、 より多くのことを達成できるようにするために

Slide 52

Slide 52 text

Prompt のトレーニング Prompt のテンプレート集 https://speakerdeck.com/dahatake プレゼン資料 コンテンツ https://github.com/dahatake 独自で使うもよし! Microsoft と一緒にやるもよし!

Slide 53

Slide 53 text

2023年12月6日(水)~8日(金)開催 会場:ベルサール六本木グランドコンファレンスセンター (六本木一丁目駅西改札直結) Session# Date Time Session Title Speaker H-9 (基調講演) 12/7 木 10:00~10:45 AI Transformation に向けた Microsoft Copilot Stack と Data 戦略 日本マイクロソフト株式会社 畠山 大有 A2 12/6 水 11:00~11:45 SQL Server 技術支援のための動作の調査 ~あなたならどのように 調査しますか?~ Microsoft MVP for Data Platform 小澤 真之 氏 CL3 12/6 水 12:00~12:45 ユーザー目線で語る データ活用のためのAll in One SaaS 「Microsoft Fabric 」の推しポイント紹介 株式会社ジール 永田 亮磨 氏 株式会社リクルート 政岡 裕士 氏 H4 12/6 水 13:00~13:45 AIデータ基盤の新時代 - Microsoft Fabricの最新アップデートで ビジネスインテリジェンスを再定義 日本マイクロソフト株式会社 Jiayi Yang H6 12/6 水 15:00~15:45 Microsoftデータ分析プラットフォームの使い分け 日本マイクロソフト株式会社 中川 一馬 H14 12/7 木 15:00~15:45 EOSを越えてSQL Serverをハイブリッド化 及びAzure SQLの新機能でビジネスを変革 日本マイクロソフト株式会社 Jiayi Yang 清水 淳也 IL20 12/8 金 12:00~12:45 Azure Cosmos DBのベクトル検索機能でAzure OpenAIとの連携 を高度化しよう ~ 初心者向け機能概要と実装例の紹介 マイクロソフトコーポレーション 早川 武志 H23 12/8 金 15:00~15:45 ~生成AIがRebornしたAzure Databricks~ 生産性が爆上がり! 今まで見たこともない魅力的な最新Data AI機能ご紹介 日本マイクロソフト株式会社 武田 雅生 ご登録はこちらから https://www.db-tech-showcase.com/2023/

Slide 54

Slide 54 text

© Copyright Microsoft Corporation. All rights reserved.