Slide 1

Slide 1 text

AIを情シスのものにしよう! 株式会社 クラウドネイティブ クラウドセキュリティアーキテクト ⽥⼝ ⼤智 PUBLIC

Slide 2

Slide 2 text

⽥⼝ ⼤智 Hirotomo Taguchi Cloud Security Architect 経歴 l 明治⼤学 - 野球部 l ⽇本マイクロソフト - インターン l コンサルティングファーム - セキュリティコンサルタント l クラウドネイティブ - クラウドセキュリティアーキテクト 所属 l セキュリティ・データガバナンスセクション 得意領域 l セキュリティ規格遵守(ISO27000シリーズ、ISMAP 等) l セキュリティポリシー整備 趣味 l ダンス(Soul/Lock/Waack) ⾃⼰紹介

Slide 3

Slide 3 text

AIの熱量が⽌まらない

Slide 4

Slide 4 text

過去にもあったAIブーム

Slide 5

Slide 5 text

今までにもあったAIブーム 出典: MIT Tech Review: ドキュメンタリー映画『アルファ碁』ニューヨークで公開 (technologyreview.jp) グーグルの画像認識AI、乳がんや⽪膚病の判定にも使えるみたい #GoogleIO | ギズモード・ジャパン (gizmodo.jp) 直近では2016年ごろにもビッグデータ・機械学習・強化学習などが流⾏った時期があった

Slide 6

Slide 6 text

開発者からユーザーへ そして情シスへ

Slide 7

Slide 7 text

事業を加速させる 道具が増えた

Slide 8

Slide 8 text

⽣成AIの理想と現実 あるべき姿 現状 ü 情シスが”よくわからんけど強⼒そう”な このツールを使いこなす ü おもちゃではなく、⾃社の事業を加速さ せるために使う ü 確かに流⾏っており、⼀部業界ではかな り利⽤されている(⼀部の開発 等) ü 「事業を加速させる」という点で⾒ると、 まだまだ 理想 現実

Slide 9

Slide 9 text

⽣成AI(ChatGPT)ビジネス活⽤の最初の壁 セキュリティ上の懸念 誤った情報で錯乱させる(ハルシネーション) 何に使ったらいいかわからない ユーザーが活⽤⽅法を理解していないと良い結果が出ない 1 2 3

Slide 10

Slide 10 text

①. セキュリティ上の懸念 ⽣成AIを安全に利⽤させる

Slide 11

Slide 11 text

重要情報を取り扱う組織でChatGPTを使うのは茨の道 Web UI API 秘 基本モデル (他者/他社と共通) 秘 ChatGPT(US) BYOD 秘 秘 機微情報を 投稿してしまう ChatGPT経由で 情報が持ち出されてしまう Web UIの情報が 基本モデルの研究に 利⽤されてしまう BYOD端末等から不正利⽤ 社⽤ 個⼈情報が含まれてい たら第三者提供に該当※ ※参考:ppc.go.jp/files/pdf/generativeAI_notice_leaflet2023.pdf

Slide 12

Slide 12 text

【参考】運⽤やCASB(Netskope)でカバーできるのか? オプトアウト(運⽤) アカウント識別(CASB) DLP(CASB) n 学習に利⽤されないように個別で オプトアウト申請を⾏う n 社⽤PCでChatGPTを利⽤する場合 のアカウントを識別する n 禁⽌されている⽂⾔が投稿された ら検知する • オプトアウト申請管理が⼤変 • 申請しているアカウント以外 を使われるリスクあり • 会社テナントという概念がな いので管理が超⼤変 • BYODから情報を持ち出され るリスクには対応不可 • DLPで検知するための検知ロ ジックを作るのが⼤変 • 検知ロジックでカバーされな い範囲はすり抜ける オプトアウト アカウント識別 DLP XXX@xx.co.jp XXX@gmail.com ! 秘 秘 ⼀部リスクには対策可能だが、全体的に運⽤がしんどい

Slide 13

Slide 13 text

⽣成AI系サービスの禁⽌論争

Slide 14

Slide 14 text

危ないから禁止するではなく 危ないけどこう使ったらリスク許容範囲です というのがプロの仕事

Slide 15

Slide 15 text

現実的な選択肢と期待されている選択肢 PaaSで⾃社サービスに⽣成AIを組み込み ⽣成AIが組み込まれたSaaSを利⽤ ü PaaS(Azure OpenAI Service)を使っ て⾃社のサービスに⽣成AIを組み込む ü ⽣成AIが組み込まれたSaaSを利⽤する ü 世の中の流れとしてはこちらに向かって いるが、サービスが追いついていない 当社が取り組んでいるのはこっち

Slide 16

Slide 16 text

現時点での現実解:Azure OpenAI Service 基本モデル (Azure上に構築) 秘 BYOD 秘 アクセス制御& ログ出⼒が可能 EntraやIntuneと組み合わせると BYODアクセスを⽌められる 基本モデルの研究に 利⽤しない 社⽤ Azure API Management Web UI ChatGPTをブロック

Slide 17

Slide 17 text

Azure OpenAI Service (Azure) の推しポイント ü基本モデルの学習に利⽤されない üMS社が簡単にデプロイできるテンプレートを⽤意 üAzureの他サービスと簡単に組み合わせて使える ü⽇本リージョンあり üSLAあり üサポート窓⼝あり(要サポートプラン) 補⾜:⾚字はOpenAIでは実現できない項⽬ 単なるAIサービスと捉えると他選択肢もあるが、テンプレや便利機能が決め⼿

Slide 18

Slide 18 text

②. 情報の真偽の判断が難しい ユーザーを錯乱させないための⼯夫の⽇々

Slide 19

Slide 19 text

誤った情報で錯乱させる問題(ハルシネーション) 明⽇は会社はお休みですか? やったー!!!休もう!! ChatGPTは誤った回答をすることがあり、それがユーザーを錯乱させてしまう恐れがあります。 はい、会社はお休みです! 注意:本資料はわかりやすく解説することを⽬的とした資料であり、極端なイメージとなります。

Slide 20

Slide 20 text

精度を上げる⼿法⾊々あるが、情シスにはRAGを推したい Retrieval Augmented Generation 検索 拡張 ⽣成 1 6 3 4 2 検索しやすい形に変換 5 回答生成 USER 情報ソース ・検索結果をコンテキストとして与えることで回答の精度を向上 ・検索の精度やケースよっては、依然として誤った回答はするので注意 参考:Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意:わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。

Slide 21

Slide 21 text

Azure ML Prompt Flow でRAGを実装する ü AIアプリケーション向 け開発ツール ü RAGを実装するサンプ ルコードをそのまま動 かせる ü Pythonのコードを実 ⾏や翻訳APIを叩ける ので、精度を上げるた めの細かい処理が可能 ü Hugging-faceを使っ て、ChatGPT以外の モデルも使える 便利ツールによって開発の難易度がどんどん下がっている!!

Slide 22

Slide 22 text

RAGの課題①:情報の公開範囲の変更には注意 ・情報を雑に読み込ませたら事故る ・情報の公開範囲が変わらないように設計することが重要 input output Azure Cognitive Search 検索 Index Data Source 部門Aフォルダ 部門Bフォルダ 部門Cフォルダ 取締役フォルダ

Slide 23

Slide 23 text

RAGの課題②:RAGをやっても依然として嘘つく 後で詳しく語るぜ! 事例:就業規則Q&Aボット ・GPTの回答は安定しないことがある(特にGPT-3.5) ・ゴミをインプットにRAGしてもゴミしか出ないので情報整備が重要

Slide 24

Slide 24 text

結局、業務には使えないじゃん?

Slide 25

Slide 25 text

ゼロサム(0-100)の⼈多すぎ問題 無関⼼(0点) 過度な期待(100点) VS ChatGPTで 全ての仕事がなくなる! 結局、仕事には 役に⽴たないでしょ?

Slide 26

Slide 26 text

⽣成AIの現在地は0点でも100点でもない ・精度を上げつつ、40点で嬉しい業務にChatGPTを適⽤していく! ・過度な期待(100)には冷や⽔を!無関⼼(0)には熱湯をぶっかける! 録画データを全部⾒なくて 済むので嬉しい! 事例:録画(会話)検索

Slide 27

Slide 27 text

③. 何に使ったらいいか分からん! ⽣成AIを業務に落とし込むポイント

Slide 28

Slide 28 text

ユーザーが活⽤⽅法を理解していないと使えない 良い回答を引き出すには、良い質問をする必要があるため、ChatGPT活⽤による成果はユーザー の⼒量に深く依存する。 観点 プロンプト 次の⽂章を〇〇⽂字以内で、 ですます調の⽂章として要約してください。 ・・・・・・・・・・・・・ ・・・・・・・・・・・・・ これサマって。 ・・・・・・・・・・・・・ ・・・・・・・・・・・・・ Good! Bad

Slide 29

Slide 29 text

ポイント①:社内のチャットツールにデプロイして様⼦を⾒る Logic Apps イメージ図 イメージ図 ü ⾃社のチャットツールにChatGPT(Azure OpenAI)をデプロイして使えるようにする。 ü パブリックチャンネル等で利⽤すると、 ChatGPTの利⽤状況を可視化して、他のユー ザーに対しての教育となる。 ü 「40点で嬉しい業務」はチャットツールにデ プロイしてから探す。

Slide 30

Slide 30 text

ポイント②:対象範囲を⼩さく適⽤していく ⼀⾜⾶びに全てをやろうとせず、対象範囲を切って適⽤していく

Slide 31

Slide 31 text

ポイント③:既存業務フローに組み込んでいく(1/2) 当社では代理店として Slackを使った顧客サポートを ⾏なってきました。 当社の事例

Slide 32

Slide 32 text

ポイント③:既存業務フローに組み込んでいく(2/2) 後で詳しく語るぜ! 過去3000件のチケットから類似チケットを探し、回答の下書きを⽣成 ChatGPT使いたい病と紙⼀重だが、業務が楽になりそうなところに刺す!

Slide 33

Slide 33 text

まとめ 1. 危ないから禁⽌するではなく、⾃社の事業を加速させるために 「こう使ったら安全です」というのが情シスのあるべき姿 2. 外部データソースを参照させ、ChatGPTの精度を向上させる (RAG) 3. 40点の成果物で嬉しい業務に対象業務を絞って、 ChatGPTを適⽤していく 4. 既存の業務フローに組み込む等して、ユーザーが意図せずに成 果が上がるように⼯夫する 1 2 3 4

Slide 34

Slide 34 text

事例やソリューション紹介は次から(ここからが本番です!) PaaSで⾃社サービスに⽣成AIを組み込み ⽣成AIが組み込まれたSaaSを利⽤

Slide 35

Slide 35 text

ご清聴ありがとうございます🙇