Upgrade to Pro — share decks privately, control downloads, hide ads and more …

セキュリティチェックシート記入AIを Azure OpenAI Studio Prompt F...

セキュリティチェックシート記入AIを Azure OpenAI Studio Prompt Flow で作る

田口 大智 / ぐっちー

February 22, 2024
Tweet

More Decks by 田口 大智 / ぐっちー

Transcript

  1. 3 ⽥⼝ ⼤智 (@hirotomotaguchi) Cloud Security Architect ⾃⼰紹介 経歴 l

    福岡⼤学附属⼤濠⾼校 / 野球部(太宰府市出⾝) l 明治⼤学 / 野球部 l コンサル会社 / セキュリティコンサルタント l 現職 得意領域 l セキュリティ規格(ISO27000、ISMAP 等) l 新しいこと試してブログ書く(今はAOAIとかが中⼼) 趣味 l ダンス(Lock, Waack) ブログ l https://blog.cloudnative.co.jp/author/hirotomotaguchi/
  2. 5 デジタルプラットフォーム 構築条業報告書 ゼロトラストアーキテクチャの概念を 取り込んだ環境を構築する実証実験を ⾏いました。 ⽣成AI(Azure OpenAI) 構築⽀援 独⾃データを組み込んだChatGPTを、

    セキュアに構築し、業務へ組み込みむ⽀ 援を⾏いました。 実績 意外と変われる霞ヶ関 ⼤賞 霞が関初、フルクラウド 霞が関初、フルクラウドで業務・働き⽅ を改⾰しました。代表が最⾼情報セキュ リティアドバイザーに就任しました。
  3. 8 フロー図 セキュリティチェックの質問に対して、関連する情報を検索し、その情報を元にAzure OpenAIが 回答を⽣成します(RAG)。 Azure Azure AI Studio (Prompt

    Flow) input Hybrid Search Create output output 何か Azure OpenAI Azure AI Search request(質問 response(回答 Hybrid Search Create output 規定のデータを ベクターDB化する︕ MSの世界で1番精度がいい⼿法 (ベクトル検索+セマンティックリランク)
  4. 10 ü AIアプリケーション向 け開発ツール ü Pythonのコードを実 ⾏できる ü AIアプリのテストや評 価のための機能を備え

    ている ü エンドポイントを公開 して、作ったフローを 外部から実⾏できる Prompt Flow とは︖ Azure AI Studio Prompt Flow はAzure上で使えるAIアプリケーションの開発サイクル全体を合 理化するために設計された総合開発ツールです。
  5. 11 なぜ Prompt Flow を使ったのか︖ <ポジティブ> l Azureの中で完結する l 僕はメインでAzure

    OpenAI / Azure AI Search を使っているので、Azure の中で完結す るのが嬉しい • Pythonも使えるので⾃由度も⾼い • iPaaS(Logic Apps )もよく使うけど、コードが実⾏できない • バルク実⾏・テスト(評価)が容易 • エクセルにコピペとか、やってらんないし • 回答の期待値に合わせて調整が容易 • チェックシートには「はい/いいえ」で答えるパターンや、 ⾃由記述のチェックシートもある • ⾃由記述も期待される型式が存在する <ネガティブ> l よくわからんエラーが多い
  6. 12 テストパターン 以下3種類のテストを試しました。 1+クエリ拡張を利⽤ ドキュメントを分割してベクトル化 1+ベクトルDBの構造を変える ü 質問形式から規定形式に変換し てから検索をかける。 ü

    ドキュメントを分割してベクト ルデータベースを作る。 ü ドキュメントを分割するだけで はなく、QA型式に変更する。 Azure AI Search 規定⽂書 チャンク (JSON) チャンク (JSON) チャンク (JSON) チャンク分割 USB禁⽌してますか︖ MDMでUSB等の取り外し可能な デバイスに対する対策を講じる。 Title Section Conten ts Q A URL 就業規 則 第1条 総則 XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.co m 就業規 則 第2条 休暇 XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.co m 就業規 則 第3条 XX XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.co m 1 2 3
  7. 14 おまけ)ベクターDBの構築 ベクターDB⾃体を作るのは難しくありませんが、加⼯処理の⽅法は精度に⼤きく影響があります。 マークダウン (例︓Notion) Word PDF ベクターDB (AI Search)

    アウトプット インプット(規定) 前処理 LangChain Azure Document Intelligence Open Interpreter Azure OpenAI On your data ⾃作ドキュメントパーサー
  8. 16 RAG ではなく Gemini Pro 1.5 でやりたい︕笑 最⼤100万トークンを投⼊することができる Gemini Pro

    1.5 が登場したら、RAGではなくて、 プロンプトに全ての規定を渡してみたい(期待は裏切られそうな気はするけど・・・) 出所︓https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/ プロンプト あなたはセキュリティチェックシートを埋める 天才です。質問に回答してください。(指⽰) 多要素認証を⾏っていますか︖(質問) 規定全部 • 情報セキュリティポリシー • セキュリティ基準 • プライバシーポリシー • セキュリティガイドライン • ⼿順書A • ⼿順書B