フォージビジョン株式会社 https://www.forgevision.com/ JAWS-UG福岡 #18: JAWS-UGクラウド⼥⼦会共催スペシャル re:Inforce 2024 から⾒た ⽣成AIセキュリティのこれから

ࢁޱਖ਼ಙ .BTBOPSJ:"."(6$)* ϑΥʔδϏδϣϯגࣜձࣾ LJOVOPSJ +"846(ઍ༿ࢧ෦ॴଐɺSF*OGPSDF ɾݱ஍ࢀՃ "84$PNNVOJUZ)&30 "844BNVSBJ "1"$$PNNVOJUZ"XBSE "84"NCBTTBEPS "1/"--"84$FSUJGJDBUJPOT&OHJOFFST "84(PME+BDLFU$MVC ίϛϡχςΟքͷࡾףԦ

JAWS-UG千葉⽀部にて、現地 千葉県フィラデルフィア市 から 世界最速recapイベントを開催しました。 世界最速 reinforce で検索︕ Youtubeでアーカイブ公開中

4 昨年(re:Inforce 2023)と⽐較から⾒える AI が取り扱われる ステージ の違い

5 昨年(re:Inforce 2023)と⽐較から⾒える AI が取り扱われるステージの違い ・ re:Inforce 2023 における AI の取り扱い セキュリティ x AI という表現で、セキュリティを実装・運⽤するために AI を活⽤するという、 取り扱われ⽅だった。 ・ re:Inforce 2024における AI の取り扱い セキュリティを実装・運⽤するために AI を活⽤するという内容が語られているが、AI というワードが ⽰す先は ⽣成AI となっている。また、⽣成AI がビジネスや社会に密接に関わることによって ⽣じるリスクと対策について多くのセッションが⽤意されていた。 ・ ⽣成AI x セキュリティに関連するセッション ・ 2.5⽇間で 48 の ⽣成AI x セキュリティ セッション が開催 ・ ⽣成AIのモデルに関するセキュリティ ・ ⽣成AI x プライバシーに関するセキュリティ ・ ⽣成AIをアプリケーションの組み込む際のセキュリティ ・ プロンプトインジェクション、ジェイルブレイクなど利⽤者からのセキュリティ

6 ⽣成AI x セキュリティのセッションに参加して印象に残ったメッセージ

7 Generative AI brings promising new innovation, And at the same time raises new risks and challenges. ⽣成AIはイノベーションもたらすとともに、新たなリスクと課題も引き起こす

8 ⽣成AIがもたらす世界経済への効果は 2030年までに15.7兆ドル。 ほぼ全ての業界が何らかの⽅法、形態で⽣成AIの活⽤を始めている、 もしくは活⽤を検討している。新たなリスクと課題は他⼈事ではない。

9 ・ 公平性、透明性 ・ ハルシネーション ・ 毒性あるコンテンツの⽣成 ・ 知的財産や著作権に関する考慮（侵害の可能性） ・ ダウンストリームへの影響 ・ 規制や規格への対応（EU AI法、ISO 42001、ガイドライン） ⽣成AIの利⽤による新しいリスクとチャレンジ

10 ⽣成AIの活⽤とリスクの関係性 リスクレベル 低 ⾼ 汎⽤的なChatbot 開発(コード⽣成) 企業情報を取り扱う 社内 Chatbot 医療⽀援/ 法的⽀援AI 現実世界への即応 （⼈が介在しない) プライバシーを 扱うChatbot ⽣成AIが⼈⽣に影響を与える意思決定を⽣む状況になった時、 利便性と同時に現在と⽐較にならないリスクをもたらす。 「責任のあるAIの開発・利⽤」が必要。

11 責任のあるAIに求められる要素 制御性 プライバシー 安全性 公平性 正確性 説明可能性 透明性 ガバナンス AIの動作を監視し 制御できること データ、モデルの匿名化、 不正利⽤からの保護 例外的な利⽤⽅法や 悪意ある⼊⼒から 事実に基づかない 出⼒を防ぐ 有害または誤解を招く アウトプットの防⽌ ハイレベルでAIによる 出⼒アルゴリズムの理解 評価可能であること AIシステムの利⽤に関して 能⼒と限界など 情報の提供と利⽤者よる 選択が可能であること バイアスや差別化の排除 業界標準、政府規制、 倫理規範など ガイドラインの規定と運⽤

12 ・ ⽂化 ・ 組織⽂化、トップによる変化の推進 ・ ⽣成AI活⽤が⽬指す事業と技術採⽤⽬的を⼀致させる ・ ⼈とプロセス ・ 活⽤する⼈たち向けたトレーニングを提供する ・ フィードバックプロセスを回せる組織を構築する ・ テクノロジー ・ 適切な技術、ツール選択 ・ AIを適⽤する箇所を選択する 責任のあるAIを活⽤するために

13 防がなければいけない脅威 OWASP Top 10 for LLMs and Generative AI Apps ・LLM01: Prompt Injection ・LLM02: Insecure Output Handling ・LLM03: Training Data Poisoning ・LLM04: Model Denial of Service ・LLM05: Supply Chain Vulnerabilities ・LLM06: Sensitive Information Disclosure ・LLM07: Insecure Plugin Design ・LLM08: Excessive Agency ・LLM09: Overreliance ・LLM10: Model Theft

14 OWASP Top 10 for LLMs に対応するセキュリティ設計 引⽤元：OWASP Top 10 for LLM を活用した生成 AI アプリケーションの多層防御セキュリティ設計 https://aws.amazon.com/jp/blogs/news/architect-defense-in-depth-security-for-generative-ai-applications-using-the-owasp-top-10-for-llms/ ⽣成 AI の開発をしながらセキュリティレベルを⾼める セキュリティ、プライバシー、コンプライアンスのためのプラットフォームを活⽤する LLM アプリケーションを保護するための多層防御アプローチを適⽤する LLM アプリケーションにおけるリスクを分析し軽減する 組織、⽂化 ⼈とプロセス 説明可能性 テクノロジー プライバシー ガバナンス テクノロジー 制御性 ⼈とプロセス 透明性 正確性 ・AWS Well-Architected フレームワーク（Machine Learning Lens） ・Amazon SageMaker Clarify、Amazon SageMaker Data Wrangler など ・Amazon KMS、AWS PrivateLink、AWS WAF、Amazon Detective、AWS Security Hub IAM Access Analyzer など ・脅威モデリング ・AWS CloudTrail、VPCフローログ ・各境界点のインタラクションロギング、モニタリング ・トークン利⽤状況モニタリング など

15 ⾃分たちが使わずとも⽣成AIが社会・⽣活に密接する時は近い。 ⽣成AIがもたらす新しいリスクを把握し、対策をしっかりと⾏い、 ビジネスへイノベーションを⽣み出すツールとして⽣成AIを活⽤する。