【ASW21-02】STAMP/CAST分析における生成AIの支援 ～羽田空港航空機衝突事故を題材として （Support of Generative AI in STAMP/CAST Analysis - A Case Study Based on the Haneda Airport Aircraft Accident -）

　本内容は、2024年度SQiP研究会セーフティ＆セキュリティ分科会での発表内容 [1] をもとにしています。研究論文の概要を以下に示します。
　IoT時代の到来により、システムは高機能化・大規模化・複雑化が進み、その結果、構成要素間の情報伝達の不備による事故が発生しています。将来のリスクに備える方法としてCASTが注目されていますが、分析の質と効率は分析者の力量に依存します。
　そこで我々は、2024年1月2日に羽田空港で発生した航空機衝突事故を題材に、CASTの各手順で生成AIが分析者を支援できるかを検討しました。ケーススタディを通じて、導入方法と効果を検証し、分析効率への影響、得られた成果、今後の課題を示します。

This content is based on the presentation delivered at the Safety & Security Subcommittee of the SQiP Study Group in FY2024.[1] The following is an overview of the research paper.
With the advent of the IoT era, systems have become increasingly large, complex, and high in functionality. As a result, accidents caused by communication failures between components have occurred. CAST has attracted attention as an effective method for developing measures to address future risks. However, the quality and efficiency of analysis often depend on the analyst’s expertise.
Therefore, we examined whether generative AI could support analysts in each step of CAST, using the aircraft collision accident at Haneda Airport on January 2, 2024, as a case study. Through this case study, we verified the introduction method, its effectiveness, and its impact on analysis efficiency. We present the findings and future challenges.

[1] STAMP/CAST分析における生成AIの支援 ～羽田空港航空機衝突事故を題材として～
　 Support of Genertative AI in STAMP/CAST Analysis ~ A Case Study Based on the Haneda Airport Aircraft Accident ~ , https://www.juse.jp/sqip/library/shousai/?id=K2024-x6Ao

Transcript

1. STAMP/CAST分析における生成AIの支援 ～羽田空港航空機衝突事故を題材として～ Support of Generative AI in STAMP/CAST Analysis - A Case Study Based on the Haneda Airport Aircraft Accident - 安樂 啓之 / Hiroyuki.Anraku （インフォテック株式会社 / Infotec,INC） 2025/11/26 Asian STAMP Workshop
2. Agenda • はじめに • 自己紹介 • 研究の背景・課題 • 検証の前提条件 • 検証の目的 • 生成AIによる支援の検証 • 今後の課題 • 結論
3. はじめに • 今日の発表は、202４年度SQiP研究会の中で発表した内容を元 にしています。 • 昨今の生成AIの急速な普及とこれを活かした安全性分析に関す る効率化の可能性を探るために、202４年度のSQiP研究会の中 で、私たちはSTAMP/CASTによる事故分析の改善の可能性を 研究いたしました。 • 生成AIによる支援によって一部の分析プロセスを自動化する試 みを行った内容についてご紹介をいたします。
4. Introduction • Today's presentation is based on the report from the SQiP Studying Group(*1) • In order to explore the rapid spread of generative AI in recent years and the potential to improve the efficiency of safety analysis by leveraging it, we studied the possibility of improving accident analysis using STAMP/CAST during the FY2024 SQiP(*1) Workshop. • We will introduce our attempt to automate some analysis processes with the help of generative AI. (*1) Abbreviation of Software Quality Profession Studying Group
5. 自己紹介 5 インフォテック（株）で2９年勤務 官公庁系、金融機関などのインフラ、運用開発や、社内教育部門での教育などを経て最近ではクラウドベース のセキュリティに関する業務に従事している。 興味のあるトピック (1) 情報セキュリティに関して 開発におけるSecurity by Design、DeｖSecOpsといったことや、 リスクの定量化などに興味があり、業務の中での取り組みを行ってます。 (2) 要求開発、ビジネス企画のデザインについて ビジネス企画のデザインなどで、匠Methodの活用について取り組んで います。こちらについても業務や外部での発表などに取り組んでいます。 (3) ソフトウェア開発関連 ソフトウェア欠陥についての分析などについて取り組んでいます。 (4) その他 最近では趣味として、英会話や、筋トレ、料理等をしています。
6. I have worked at Infotec Inc. for 29 years. My experience includes infrastructure and operational development for government agencies and financial institutions, as well as internal training within the company. Areas of Interest (1) Information Security I am interested in Security by Design and DevSecOps in development, as well as the quantification of risks. I am actively working on these areas in my job. (2) Requirements Development and Business Planning Design I am engaged in utilizing the Takumi Method for business planning design. I also work on this topic in my job and present it externally. （3） Software Development I am involved in analyzing software defects. (4) Others Recently, my hobbies include learning English conversation, weight training, and cooking. Introduction 6
7. 研究の背景・課題 • STAMP/CAST分析における課題 • STAMP特有のモデル（CS図）を用いたり、複雑な手順を有していたりす る ⇒ 分析者への依存度が大きく、分析自体も時間がかかる • 分析者の熟練度に依存せずに分析の質および分析効率を向上させた い！
8. Background and Problem • Challenges in STAMP/CAST Analysis • STAMP-specific models such as the Control Structure (CS) diagram and its complex procedures ⇒ Lead to high dependency on the analyst and require significant time for analysis. We aim to improve both the quality and efficiency of analysis, regardless of the analyst’s level of expertise.
9. 研究の背景・課題 • 分析については、STAMP/CASTによる事故分析を対象 CAST分析の手順 CAST1 損失に関係するシステムとハザードを特定する CAST2 そのハザードに関連するシステム安全制約とシステム要件を特定する CAST3 ハザードを制御し，安全制約を実施するための安全制御構造を文書化する CAST4 損失につながる近接事象を決定する CAST5 物理システムレベルで損失を分析する CAST6 安全管理構造のレベルを上げていき、上位の各レベルが、現在のレベルでの不十分な管理 をどのように許容し、またなぜそのような事態を招いたのかを特定する CAST7 損失に対する全体的な調整とコミュニケーションの寄与を調べる CAST8 損失に関連するシステムおよび安全管理構造のダイナミクスと変化、および時間経過に伴 う安全管理構造の弱体化を判断する CAST9 提言の作成 ※Engineering a Safer Worldに示される手順 （引用）安全性分析の新風潮と事故分析手法STAMP/CAST
10. Background and Challenges of the Research • For analysis, accident analysis by STAMP/CAST is covered. CAST Analysis Procedure CAST1 Identify systems and hazards involved in losses CAST2 Identify system safety constraints and system requirements associated with that hazard CAST3 Documenting safety control structures to control hazards and enforce safety constraints. CAST4 Determine the proximity events that lead to losses CAST5 Analyze losses at the physical system level CAST6 Raise the level of safety management structures and identify how each higher level tolerates inadequate management at the current level and why it has led to such a situation CAST7 Examining the Contribution of Overall Coordination and Communication to Losses CAST8 Determine the dynamics and changes in systems and safety management structures associated with losses and the weakening of safety management structures over time CAST9 Proposal Development *Procedure shown in Engineering a Safer World (Quote) New trend of safety analysis and accident analysis methods STAMP/CAST
11. 研究の背景・課題 • 提案する解決法 • 人間のような文章生成や情報検索をする生成AIによる支援 • 解決法の検証方法 • 以下の3つの課題のいずれかを解決できれば適用可能とみなす • 課題1 分析のいずれかの手順に利用できる • 課題2 分析効率を上げる • 課題3 分析者の熟練度に依存せず支援できる
12. Background and Research Questions • Proposed Solution Support using Generative AI, which can generate human-like text and retrieve relevant information. • Validation Approach The solution is considered applicable if it addresses any of the following three challenges: • RQ.1: Can be used in one or more steps of the CAST analysis process • RQ.2: Improves analysis efficiency • RQ.3: Provides support without relying on the analyst’s experience level
13. 検証の前提条件 • 検証の話を始める前に前提条件を説明します。 検証における生成AIの準備 • 本検証は生成AIの最適化を狙っていないので、必要最 低限の情報を与え、実施した。 検証における研究員の熟練度 • 昨年度初めてCAST分析に挑戦した人 • 今年初めてCAST分析に挑戦した人
14. Validation assumptions • Before we start talking about validation, let's talk about the prerequisites. Preparing for Generative AI in validation • Since this validation is not aimed at optimizing generative AI, it was conducted with the minimum necessary information. Researcher proficiency in validation • Those who tried CAST analysis for the first time last year • Those who tried CAST analysis for the first time this year
15. 検証の目的 課題１ STAMP/CAST分析の いずれかの手順で利用できる • 生成AIによってSTAMP / CASTによる分析を支援 できることを検証 課題２ 分析効率を上げることができる • 生成AIを使うことで分析 時間を短縮することができ ることを検証 課題３ STAMP/CAST分析者の熟練 度に依存せず支援できる • STAMP/CAST分析の熟 練度が少ない人でも分析 を行うことが可能か検証 できる？ START できる？
16. Purpose of Validation RQ.1 Can be used in one or more steps of the CAST analysis process • Validation of generative AI to assist in analysis by STAMP/CAST RQ.2 Improves analysis efficiency • Validating that using generative AI can reduce analysis time RQ.3 Provides support without relying on the analyst’s experience level • Validation of whether it is possible to perform analysis even with low proficiency in STAMP/CAST analysis Possible? START Possible?
17. 生成AIによる支援の検証 • 分析対象：羽田空港航空機衝突事故とは • 令和6 年1 月2 日17 時47 分頃、日本航空JAL516 便（新千歳発羽田 行き）と海上保安庁所属JA722A（被災地への支援物資輸送準備中） が羽田空港のC 滑走路上で衝突した事故 JA722A 17:45 C滑走路(C5）へ移動 （出発機1番目） ※その後滑走路に侵入 JAL516 17:43 C滑走路へ向かう指示 （到着1番目） 17:45 34R着陸支障なしと管制へ報告 事故発生
18. Validating Generative AI Assistance • Haneda Airport Aircraft Collision Accident • January 2, 2024 at around 17:47 , Japan Airlines flight JAL516 (from New Chitose to Haneda) and JA722A belonging to the Japan Coast Guard (preparing to transport relief supplies to the disaster area) collided on runway C at Haneda Airport JA722A 17:45 Move to Runway C (C5) (Departure 1st) *After that, it entered the runway. Accident occurrence JAL516 17:43 Instructions to Runway C (1st arrival) 17:45 34R Landing No Obstacles and Report to Control
19. 生成AIによる支援の検証 ⑴ プロンプトの準備 ⑵ 分析に使えるかの検証 ⑶ 分析効率が上がるかの検証 ⑷ 熟練度に関係なく支援可能か STAMP/CAST分析を行うためのプロンプ トを準備。 生成AIを使い、プロンプトを実行し、出力さ れた内容が各STAMP/CAST分析に必要な 情報を含んでいることを検証。 ① 分析時間の比較を行う ② 分析結果を比較し、結果の一致 度を比較 ①で分析時間を比較、②で結果の異なる部分 を比較し、妥当性を確認。 複数の分析者（複数）が利用可能な環境で分 析を実施する。 熟練度や環境に関係なく、分析手順が実施可 能で、出力結果が得られることを比較。 検証の進め方・結果
20. Validating Generative AI Assistance (1) Prompt Preparation (2) Validation of whether it can be used for analysis (3) Validation of whether analysis efficiency increases (4) Can support be provided regardless of proficiency? Prepare prompts for STAMP/CAST analysis. Using generative AI, running prompts, and outputting The content is required for each STAMP/CAST analysis. Verify that it contains information. (1) Compare analysis time (2) Compare the results of the analysis and compare the degree of agreement of the results (1) compares the analysis time, and (2) compares the different parts of the results to confirm validity. Minutes in an environment where multiple analysts are available Conduct analysis. Regardless of proficiency or environment, analytical procedures can be performed Compare the output results obtained with Noh. How to proceed with validation and results
21. 生成AIによる支援の検証 ⑴ プロンプトの準備 ⑵ 分析に使えるかの検証 ⑶ 分析効率が上がるかの検証 ⑷ 熟練度に関係なく支援可能か STAMP/CAST分析を行うためのプロンプ トを準備。 生成AIを使い、プロンプトを実行し、出力さ れた内容が各STAMP/CAST分析に必要な 情報を含んでいることを検証。 ① 分析時間の比較を行う ② 分析結果を比較し、結果の一致 度を比較 ①で分析時間を比較、②で結果の異なる部分 を比較し、妥当性を確認。 複数の分析者（複数）が利用可能な環境で分 析を実施する。 熟練度や環境に関係なく、分析手順が実施可 能で、出力結果が得られることを比較。 〇 〇 〇 →色々試行錯誤した結果、プロンプトは４つ になった。 検証の進め方・結果
22. Validating Generative AI Assistance (1) Prompt Preparation (2) Validation of whether it can be used for analysis (3) Validation of whether analysis efficiency increases (4) Can support be provided regardless of proficiency? Prepare prompts for STAMP/CAST analysis. Using generative AI, running prompts, and outputting The content is required for each STAMP/CAST analysis. Verify that it contains information. (1) Compare analysis time (2) Compare the results of the analysis and compare the degree of agreement of the results (1) compares the analysis time, and (2) compares the different parts of the results to confirm validity. Minutes in an environment where multiple analysts are available Conduct analysis. Regardless of proficiency or environment, analytical procedures can be performed Compare the output results obtained with Noh. 〇 〇 〇 → as a result of various trial and error, I came up with four prompts. How to proceed with validation and results
23. No プロンプトの役割 対応CAST手順 ① 事故概要，アクシデント，ハザード，安全条件の分析，および事故に至るまでの経緯の説明 (a) アクシデントの概要説明 / (b) アクシデント,ハザード、安全制約の作成 / (c)事故に至るまでの時 系列での説明 CAST1,2,および4 ② 事故に関する関連コンポーネントの抽出，CS図の作成，UCAの抽出，事故に直接関連するコンポーネン ト間の物理モデルの作成 (a)事故に関する範囲設定 / (b) 事故に関するコンポーネントの列挙 / (c) 事故に関する制御ループ の列挙 / (d) 事故に関する制御コンポ―ネント,被制御コンポーネント,CA.フィードバックの列挙 / (e) 事故原因につながる制御の欠如,不適切なフィードバックの列挙 / (f)制御コンポーネント,被制御 コンポーネント,UCA,プロセスモデルの欠陥,メンタルモデルの欠陥,対策の列挙 / (g) 不適切な制御 ループと問題点の列挙 / (h) 改善が必要な制御コンポーネントとフィードバックの列挙 CAST3,および5 ③ 事故に間接的に関連するコンポーネントを追加し論理モデルを作成，損失への関与の分析,および長期 的なスコープにおける安全コントロールストラクチャーの弱化に関する懸念項目を抽出 (a)本システムの外部に位置する上位コンポーネントの列挙 / (b)コンポーネント間の制御ループの列 挙 / (c)制御コンポーネント、被制御コンポーネント、コントロールアクション、フィードバックの列挙 / (d)各コンポーネントに対する安全要求と制約の列挙 / (e)長期的な安全コントロールストラクチャー の弱化や変化の懸念の列挙 CAST6～8 ④ ①～③の内容を踏まえた改善提案の作成 CAST9 生成AIによる支援の検証 • 検証の進め方（結果） 作成したプロンプトは以下①～④の４つとなった。 作 成 し た プ ロ ン プ ト 作成したプロンプトに含まれている出力 各 プ ロ ン プ ト 分 析 出 力 が 必 要 な CAST 手 順 ⑴ Prompt Preparation ※プロンプトの機能を(a)から始まる内容として記載 分析の為に作成したプロンプトとその役割
24. No The Role of Prompts CAST Procedure ① Accident summary, accident, hazard, analysis of safety conditions, and explanation of the circumstances leading up to the accident (a) Summary of accidents / (b) Creation of accidents, hazards, and safety constraints / (c) Explanation of the time series leading up to the accident CAST1, 2, and 4 ② Extraction of relevant components related to the accident, creation of CS diagrams, extraction of UCA, creation of physical models between components directly related to the accident (a) scoping of accidents / (b) enumeration of components related to accidents / (c) enumeration of control loops related to accidents / (d) enumeration of control components, controlled components, and feedback related to accidents / (e) enumeration of lack of control and inappropriate feedback leading to the cause of accidents / (f) enumeration of control components, controlled components, UCA, Enumeration of process model flaws, mental model flaws, and countermeasures / (g) Enumeration of inappropriate control loops and problems / (h) Enumeration of control components and feedback that need improvement CAST3, and 5 ③ Adding components indirectly related to the accident to create a logical model, analyzing the involvement in losses, and extracting concerns about the weakening of the safety control structure in the long-term scope. (a) Enumeration of higher-level components located outside the system / (b) Enumeration of control loops between components / (c) Enumeration of control components, controlled components, control actions, and feedback / (d) Enumeration of safety requirements and constraints for each component / (e) Enumeration of concerns about weakening or changing the long-term safety control structure CAST6～8 ④ Preparation of improvement proposals based on the contents of ①～③ CAST9 Validating Generative AI Assistance • How to Proceed with Validation (Results) The four prompts we created were ①～④. Developed Prompt Output included in the prompt we developed Each prompt analysis output is Required CAST Procedures ⑴ Prompt Preparation ※プロンプトの機能を(a)から始まる内容として記載 Prompts created for analysis and their role
25. No プロンプトの役割 対応CAST手順 ① 事故概要，アクシデント，ハザード，安全条件の分析，および事故に至るまでの経緯の説明 (a) アクシデントの概要説明 / (b) アクシデント,ハザード、安全制約の作成 / (c)事故に至るまでの時 系列での説明 CAST1,2,および4 ② 事故に関する関連コンポーネントの抽出，CS図の作成，UCAの抽出，事故に直接関連するコンポーネン ト間の物理モデルの作成 (a)事故に関する範囲設定 / (b) 事故に関するコンポーネントの列挙 / (c) 事故に関する制御ループ の列挙 / (d) 事故に関する制御コンポ―ネント,被制御コンポーネント,CA.フィードバックの列挙 / (e) 事故原因につながる制御の欠如,不適切なフィードバックの列挙 / (f)制御コンポーネント,被制御 コンポーネント,UCA,プロセスモデルの欠陥,メンタルモデルの欠陥,対策の列挙 / (g) 不適切な制御 ループと問題点の列挙 / (h) 改善が必要な制御コンポーネントとフィードバックの列挙 CAST3,および5 ③ 事故に間接的に関連するコンポーネントを追加し論理モデルを作成，損失への関与の分析,および長期 的なスコープにおける安全コントロールストラクチャーの弱化に関する懸念項目を抽出 (a)本システムの外部に位置する上位コンポーネントの列挙 / (b)コンポーネント間の制御ループの列 挙 / (c)制御コンポーネント、被制御コンポーネント、コントロールアクション、フィードバックの列挙 / (d)各コンポーネントに対する安全要求と制約の列挙 / (e)長期的な安全コントロールストラクチャー の弱化や変化の懸念の列挙 CAST6～8 ④ ①～③の内容を踏まえた改善提案の作成 CAST9 生成AIによる支援の検証 • 検証の進め方（結果） 作成したプロンプトは以下①～④の４つとなった。 ⑴ Prompt Preparation ※プロンプトの機能を(a)から始まる内容として記載 分析の為に作成したプロンプトとその役割
26. No The Role of Prompts CAST Procedure ① Accident summary, accident, hazard, analysis of safety conditions, and explanation of the circumstances leading up to the accident (a) Summary of accidents / (b) Creation of accidents, hazards, and safety constraints / (c) Explanation of the time series leading up to the accident CAST1, 2, and 4 ② Extraction of relevant components related to the accident, creation of CS diagrams, extraction of UCA, creation of physical models between components directly related to the accident (a) scoping of accidents / (b) enumeration of components related to accidents / (c) enumeration of control loops related to accidents / (d) enumeration of control components, controlled components, and feedback related to accidents / (e) enumeration of lack of control and inappropriate feedback leading to the cause of accidents / (f) enumeration of control components, controlled components, UCA, Enumeration of process model flaws, mental model flaws, and countermeasures / (g) Enumeration of inappropriate control loops and problems / (h) Enumeration of control components and feedback that need improvement CAST3, and 5 ③ Adding components indirectly related to the accident to create a logical model, analyzing the involvement in losses, and extracting concerns about the weakening of the safety control structure in the long-term scope. (a) Enumeration of higher-level components located outside the system / (b) Enumeration of control loops between components / (c) Enumeration of control components, controlled components, control actions, and feedback / (d) Enumeration of safety requirements and constraints for each component / (e) Enumeration of concerns about weakening or changing the long-term safety control structure CAST6～8 ④ Preparation of improvement proposals based on the contents of ①～③ CAST9 Validating Generative AI Assistance • How to Proceed with Validation (Results) The four prompts we created were ①～④. ⑴ Prompt Preparation *Describe the function of the prompt as the content starting with (a) Prompts created for analysis and their role
27. 生成AIによる支援の検証 • CAST1からCAST9は生成AIの出力結果を編集をすることで作 成が可能であることが検証できた CAST手順 まとめ作業 生成AIの出力からのインプットデータ 編集方法 CAST1 〇 (ⅰ) プロンプト①の実行結果(a) (ⅰ)をそのまま記載 CAST2 〇 (ⅰ) プロンプト①の実行結果(b) (ⅰ)をそのまま記載 CAST3 △ (ⅰ) プロンプト②の実行結果(b) (ⅱ) プロンプト②の実行結果(d) CS図上のコンポーネントとして、(ⅰ)を配置し、コン ポーネント間のコントロールアクション、および フィードバックを(ⅱ)を元に矢印で繋いで図を作成す る。 CAST4 〇 (ⅰ) プロンプト①の実行結果(c) (ⅰ)をそのまま記載 CAST5 〇 (ⅰ) プロンプト②の実行結果(f) CS図(CAST3の出力結果)上のコンポーネントに(ⅰ)を 追記する。 CAST6 △ (ⅰ) プロンプト③の実行結果(a) (ⅱ) プロンプト③の実行結果(c) CS図(CAST5の出力結果)上のコンポーネントに(ⅰ)を 追加で配置し、コンポーネント間のコントロールアク ション、およびフィードバックを(ⅱ)をもとに矢印を 追記する。 CAST7 〇 (ⅰ) プロンプト③の実行結果(d) (ⅰ)をそのまま記載 CAST8 〇 (ⅰ) プロンプト③の実行結果(e) (ⅰ)をそのまま記載 CAST9 〇 (ⅰ) プロンプト④ (ⅰ)をそのまま記載 凡例：〇:転記，△:入力データの解釈，編集等，×：人手による分析が必要 で き る か ど う か ？ 利用する プロンプトの 種類と出力の対応 プロンプトの出力の 加工方法 ⑵ 分析に使えるかの検証
28. CAST Procedure Is it Usable? Input data from generative AI output How to edit CAST1 〇 (i) Result of Prompt ① (a) (i) is written as it is CAST2 〇 (i) Execution result of prompt ① (b) (i) is written as it is CAST3 △ (i) Execution result of prompt ② (b) (ii) Result of Prompt ② (d) Place (i) as a component on the CS diagram, and create a diagram by connecting the control actions and feedback between the components with arrows based on (ii). CAST4 〇 (i) Execution result of prompt ① (c) (i) is written as it is CAST5 〇 (i) Execution result of prompt ② (f) Add (i) to the component on the CS diagram (output result of CAST3). CAST6 △ (i) Execution result of prompt ③ (a) (ii) Result of Prompt ③ (c) Additional (i) is placed on the component on the CS diagram (output result of CAST5), and arrows are added based on (ii) for control actions and feedback between components. CAST7 〇 (i) Execution result of prompt ③ (a) (ii) Result of Prompt ③ (c) (i) is written as it is CAST8 〇 (i) Execution result of prompt ③ (e) (i) is written as it is CAST9 〇 (i.) Prompt ④ (i) is written as it is Legend: 〇: Transcription, △: Interpretation of input data, editing, etc., ×: Manual analysis is required Validating Generative AI Assistance • It was verified that CAST1 to CAST9 can be created by editing the output results of generative AI Is it usable? Response to the type of prompt used and the output How to Process Prompt Output ⑵ Validation of Ability to Analyze
29. 生成AIによる支援の検証 • CAST1からCAST9は生成AIの出力結果を編集をすることで作 成が可能であることが検証できた CAST手順 まとめ作業 生成AIの出力からのインプットデータ 編集方法 CAST1 〇 (ⅰ) プロンプト①の実行結果(a) (ⅰ)をそのまま記載 CAST2 〇 (ⅰ) プロンプト①の実行結果(b) (ⅰ)をそのまま記載 CAST3 △ (ⅰ) プロンプト②の実行結果(b) (ⅱ) プロンプト②の実行結果(d) CS図上のコンポーネントとして、(ⅰ)を配置し、コン ポーネント間のコントロールアクション、および フィードバックを(ⅱ)を元に矢印で繋いで図を作成す る。 CAST4 〇 (ⅰ) プロンプト①の実行結果(c) (ⅰ)をそのまま記載 CAST5 〇 (ⅰ) プロンプト②の実行結果(f) CS図(CAST3の出力結果)上のコンポーネントに(ⅰ)を 追記する。 CAST6 △ (ⅰ) プロンプト③の実行結果(a) (ⅱ) プロンプト③の実行結果(c) CS図(CAST5の出力結果)上のコンポーネントに(ⅰ)を 追加で配置し、コンポーネント間のコントロールアク ション、およびフィードバックを(ⅱ)をもとに矢印を 追記する。 CAST7 〇 (ⅰ) プロンプト③の実行結果(d) (ⅰ)をそのまま記載 CAST8 〇 (ⅰ) プロンプト③の実行結果(e) (ⅰ)をそのまま記載 CAST9 〇 (ⅰ) プロンプト④ (ⅰ)をそのまま記載 凡例：〇:転記，△:入力データの解釈，編集等，×：人手による分析が必要 ⑵ 分析に使えるかの検証
30. CAST Procedure Is it Usable? Input data from generative AI output How to edit CAST1 〇 (i) Result of Prompt ① (a) (i) is written as it is CAST2 〇 (i) Execution result of prompt ① (b) (i) is written as it is CAST3 △ (i) Execution result of prompt ② (b) (ii) Result of Prompt ② (d) Place (i) as a component on the CS diagram, and create a diagram by connecting the control actions and feedback between the components with arrows based on (ii). CAST4 〇 (i) Execution result of prompt ① (c) (i) is written as it is CAST5 〇 (i) Execution result of prompt ② (f) Add (i) to the component on the CS diagram (output result of CAST3). CAST6 △ (i) Execution result of prompt ③ (a) (ii) Result of Prompt ③ (c) Additional (i) is placed on the component on the CS diagram (output result of CAST5), and arrows are added based on (ii) for control actions and feedback between components. CAST7 〇 (i) Execution result of prompt ③ (a) (ii) Result of Prompt ③ (c) (i) is written as it is CAST8 〇 (i) Execution result of prompt ③ (e) (i) is written as it is CAST9 〇 (i.) Prompt ④ (i) is written as it is Legend: 〇: Transcription, △: Interpretation of input data, editing, etc., ×: Manual analysis is required Validating Generative AI Assistance • It was verified that CAST1 to CAST9 can be created by editing the output results of generative AI ⑵ Validation of Ability to Analyze
31. 生成AIによる支援の検証 • CAST1からCAST9は生成AIの出力結果を編集をすることで作 成が可能であることが検証できた CAST手順 まとめ作業 生成AIの出力からのインプットデータ 編集方法 CAST1 〇 (ⅰ) プロンプト①の実行結果(a) (ⅰ)をそのまま記載 CAST2 〇 (ⅰ) プロンプト①の実行結果(b) (ⅰ)をそのまま記載 CAST3 △ (ⅰ) プロンプト②の実行結果(b) (ⅱ) プロンプト②の実行結果(d) CS図上のコンポーネントとして、(ⅰ)を配置し、コン ポーネント間のコントロールアクション、および フィードバックを(ⅱ)を元に矢印で繋いで図を作成す る。 CAST4 〇 (ⅰ) プロンプト①の実行結果(c) (ⅰ)をそのまま記載 CAST5 〇 (ⅰ) プロンプト②の実行結果(f) CS図(CAST3の出力結果)上のコンポーネントに(ⅰ)を 追記する。 CAST6 △ (ⅰ) プロンプト③の実行結果(a) (ⅱ) プロンプト③の実行結果(c) CS図(CAST5の出力結果)上のコンポーネントに(ⅰ)を 追加で配置し、コンポーネント間のコントロールアク ション、およびフィードバックを(ⅱ)をもとに矢印を 追記する。 CAST7 〇 (ⅰ) プロンプト③の実行結果(d) (ⅰ)をそのまま記載 CAST8 〇 (ⅰ) プロンプト③の実行結果(e) (ⅰ)をそのまま記載 CAST9 〇 (ⅰ) プロンプト④ (ⅰ)をそのまま記載 凡例：〇:転記，△:入力データの解釈，編集等，×：人手による分析が必要 ⑵ 分析に使えるかの検証 すべてのCAST手順において〇か△であった。 ⇒分析支援は十分に可能
32. CAST Procedure Is it Usable? Input data from generative AI output How to edit CAST1 〇 (i) Result of Prompt ① (a) (i) is written as it is CAST2 〇 (i) Execution result of prompt ① (b) (i) is written as it is CAST3 △ (i) Execution result of prompt ② (b) (ii) Result of Prompt ② (d) Place (i) as a component on the CS diagram, and create a diagram by connecting the control actions and feedback between the components with arrows based on (ii). CAST4 〇 (i) Execution result of prompt ① (c) (i) is written as it is CAST5 〇 (i) Execution result of prompt ② (f) Add (i) to the component on the CS diagram (output result of CAST3). CAST6 △ (i) Execution result of prompt ③ (a) (ii) Result of Prompt ③ (c) Additional (i) is placed on the component on the CS diagram (output result of CAST5), and arrows are added based on (ii) for control actions and feedback between components. CAST7 〇 (i) Execution result of prompt ③ (a) (ii) Result of Prompt ③ (c) (i) is written as it is CAST8 〇 (i) Execution result of prompt ③ (e) (i) is written as it is CAST9 〇 (i.) Prompt ④ (i) is written as it is Legend: 〇: Transcription, △: Interpretation of input data, editing, etc., ×: Manual analysis is required Validating Generative AI Assistance • It was verified that CAST1 to CAST9 can be created by editing the output results of generative AI ⑵ Validation of Ability to Analyze It was 〇 or △ in all CAST procedures. ⇒ analysis support is fully possible
33. 生成AIによる支援の検証 • 人手による分析では14時間かかっていた分析が、生成AIによる支援 によって、3時間程度に短縮できた。うち、生成AIの分析は5分程度。 ⑶ 分析効率が上がるかの検証 ケース 所要時間 生成AIによる分析 (Microsoft Copilot) 研究員による分析 清書 (3h) 資料の 読み込み (3h) 最初～ CAST5まで の分析（３ ｈ） ステーク ホルダー 抽出(2h) CAST6以降 の分析(3h) 清書(3h) 生成AIによる分析(5分）
34. Validating Generative AI Assistance • The analysis that took 14 hours for manual analysis was shortened to about 3 hours with the support of generative AI. Of these, the analysis of Generative AI takes about 5 minutes. Case Time required Generative AI analysis (Microsoft Copilot) Analysis by researchers Writing (3h) Material Read(3h) Analysis from the first～CAST5 （３ｈ） Stakehol der Analyze( 2h) Analysis after CAST 6(3h) Writing (3h) Generative AI analysis (5 minutes) ⑶ Validation of Improved Analysis Efficiency
35. 人手 生成AI CAST1 - - - CAST2 アクシデント,ハザード,安全制約 4 9 CAST3 コンポーネント,CA 26 10 CAST4 近接事象 3 3 CAST5 コンポーネント,分析観点 21 12 CAST6 コンポーネント,CA 26 21 CAST7 損失の関与者 4 5 CAST8 俯瞰分析の観点 5 4 CAST9 改善提案 8 9 CAST手順 比較項目 分析による検知 判定 0 10% 66% 50% 60% 40% 38% 43% 18% 0 60% 10% 50% 37% 26% 50% 29% 27% 0 30% 24% 0 3% 34% 13% 29% 55% 人手のみ 生成AIのみ 両方 生成AIによる支援の検証 ⑶ 分析効率が上がるかの検証 ◼ 人と生成AIでは最終55%程度の一致があったが、CAST4からCAST7 では一致しない傾向があった。 分 析 に よ っ て 見 つ け た 項 目 数 分 析 結 果 の 項 目 を 種 類 で 整 理 し 、 一 致 度 を 集 計 し た 比 較 を 行 う 項 目
36. Validating Generative AI Assistance ⑶ Validation of Improved Analysis Efficiency ◼ There was a final match of about 55% between humans and generative AI, but there was a tendency to not match between CAST4 and CAST7. Manpower Generative AI CAST1 - - - CAST2 Accidents, hazards, and safety constraints 4 9 CAST3 Components, CA 26 10 CAST4 Proximity Events 3 3 CAST5 Components and Analytical Perspectives 21 12 CAST6 Components, CA 26 21 CAST7 Loss Actors 4 5 CAST8 Perspective of bird's-eye analysis 5 4 CAST9 Improvement proposals 8 9 CAST Procedure Items Detection by analysis Ðecision 0% 10% 66% 50% 60% 40% 38% 43% 18% 0% 60% 10% 50% 37% 26% 50% 29% 27% 0% 30% 24% 0 3% 34% 13% 29% 55% Manpower only Generative AI only Both sides Number of items found by analysis The items of the analysis results were organized by type and the degree of agreement was aggregated. Items to compare
37. 生成AIによる支援の検証 ⑶ 分析効率が上がるかの検証 ◼ 人と生成AIでは最終55%程度の一致があったが、CAST4からCAST7 では一致しない傾向があった。 人手 生成AI CAST1 - - - CAST2 アクシデント,ハザード,安全制約 4 9 CAST3 コンポーネント,CA 26 10 CAST4 近接事象 3 3 CAST5 コンポーネント,分析観点 21 12 CAST6 コンポーネント,CA 26 21 CAST7 損失の関与者 4 5 CAST8 俯瞰分析の観点 5 4 CAST9 改善提案 8 9 CAST手順 比較項目 分析による検知 判定 0 10% 66% 50% 60% 40% 38% 43% 18% 0 60% 10% 50% 37% 26% 50% 29% 27% 0 30% 24% 0 3% 34% 13% 29% 55% 人手のみ 生成AIのみ 両方
38. Validating Generative AI Assistance ⑶ Validation of Improved Analysis Efficiency ◼ There was a final match of about 55% between humans and generative AI, but there was a tendency to not match between CAST4 and CAST7. Manpower Generative AI CAST1 - - - CAST2 Accidents, hazards, and safety constraints 4 9 CAST3 Components, CA 26 10 CAST4 Proximity Events 3 3 CAST5 Components and Analytical Perspectives 21 12 CAST6 Components, CA 26 21 CAST7 Loss Actors 4 5 CAST8 Perspective of bird's-eye analysis 5 4 CAST9 Improvement proposals 8 9 CAST Procedure Items Detection by analysis Ðecision 0% 10% 66% 50% 60% 40% 38% 43% 18% 0% 60% 10% 50% 37% 26% 50% 29% 27% 0% 30% 24% 0 3% 34% 13% 29% 55% Manpower only Generative AI only Both sides
39. 人手 生成AI CAST1 - - - CAST2 アクシデント,ハザード,安全制約 4 9 CAST3 コンポーネント,CA 26 10 CAST4 近接事象 3 3 CAST5 コンポーネント,分析観点 21 12 CAST6 コンポーネント,CA 26 21 CAST7 損失の関与者 4 5 CAST8 俯瞰分析の観点 5 4 CAST9 改善提案 8 9 CAST手順 比較項目 分析による検知 判定 0 10% 66% 50% 60% 40% 38% 43% 18% 0 60% 10% 50% 37% 26% 50% 29% 27% 0 30% 24% 0 3% 34% 13% 29% 55% 人手のみ 生成AIのみ 両方 生成AIによる支援の検証 ⑶ 分析効率が上がるかの検証 ◼ 人と生成AIでは最終55%程度の一致があったが、CAST4からCAST7 では一致しない傾向があった。 人手の分析 主語＋述語＋（目的語）＋（修飾語）＋・・・ 分析を反復しながら精度を高める 生成AIの分析 主語＋述語＋（目的語） 生成AIによる分析は、一発回答。 ⇒人と生成AIの分析結果は詳細度に差が出た
40. Validating Generative AI Assistance ⑶ Validation of Improved Analysis Efficiency ◼ There was a final match of about 55% between humans and generative AI, but there was a tendency to not match between CAST4 and CAST7. Manpower Generative AI CAST1 - - - CAST2 Accidents, hazards, and safety constraints 4 9 CAST3 Components, CA 26 10 CAST4 Proximity Events 3 3 CAST5 Components and Analytical Perspectives 21 12 CAST6 Components, CA 26 21 CAST7 Loss Actors 4 5 CAST8 Perspective of bird's-eye analysis 5 4 CAST9 Improvement proposals 8 9 CAST Procedure Items Detection by analysis Ðecision 0% 10% 66% 50% 60% 40% 38% 43% 18% 0% 60% 10% 50% 37% 26% 50% 29% 27% 0% 30% 24% 0 3% 34% 13% 29% 55% Manpower only Generative AI only Both sides Analysis of human resources Subject + Predicate + (Object) + (Modifier) + ... By repeating the analysis in the middle, we perform a more detailed analysis. Analyzing Generative AI Subject + Predicate + (Object)
41. 生成AIによる支援の検証 ⑷ 熟練度に関係なく支援可能か 研究員 STAMPモデルによる 分析の経験年数 利用した生成AI 実施日 実施結果 Microsoft Copilot 2024/12/14 分析可能 Gemini1.5 Flash 2024/12/17 分析可能 B 5年 Microsoft Copilot 2024/12/17 分析可能 ChatGPT-4o 2024/12/17 分析可能 Perplexity(default) 2024/12/17 分析可能 A C 2年 1年 ◼ 3名の分析者により複数の生成AIを用いてモデルを作成したところ、下記各 種生成AIにて検証を行い、出力をもとにモデル作成ができることを出力結 果から判断できた。
42. Validating Generative AI Assistance ⑷ Can you help regardless of proficiency? ◼ When three analysts created a model using multiple generative AI, they verified it with the following generative AI, and from the output results, it was possible to determine that a model can be created based on the output. Membe r By STAMP model Years of experience in analysis Generative AI used Date Results Microsoft Copilot 2024/12/14 Possible Gemini1.5 Flash 2024/12/17 Possible B 5 years Microsoft Copilot 2024/12/17 Possible ChatGPT-4o 2024/12/17 Possible Perplexity(defaul t) 2024/12/17 Possible A 2 years C 1 year
43. ⑷ 熟練度に関係なく支援可能か CAST 7時点でのCS図（研究員による作成）
44. (4) Can support be provided regardless of proficiency? Control-Structured diagram at CAST 7 (prepared by researchers)
45. ⑷ 熟練度に関係なく支援可能か JAL516便のパイロット 安全要求と制約 指示の正確な理解 コンテキスト要因 視界不良 非安全なコントロールアクション 誤った滑走路進入 プロセスモデルの欠陥 滑走路状況の誤認識 メンタルモデルの欠陥 滑走路状況の誤解 JA722Aのパイロット 安全要求と制約 指示の正確な理解 コンテキスト要因 視界不良 非安全なコントロールアクション 誤った滑走路進入 プロセスモデルの欠陥 滑走路状況の誤認識 メンタルモデルの欠陥 滑走路状況の誤解 羽田空港の管制システム 滑走路状況確認 航空機位置確認 滑走路状況 航空機位置情報 離着陸指示 滑走路使用許可 滑走路進入許可 地上移動指示 位置報告 状況報告 航空会社 運航指示 緊急対応指示 運航状況 異常報告 海上保安庁 運航指示 緊急対応指示 運航状況 異常報告 空港運営会社 運航指示 緊急対応指示 運航状況 異常報告 航空管制官 安全要求と制約 正確な指示と確認 コンテキスト要因 高負荷状況 非安全なコントロールアクション 誤った滑走路使用許可 プロセスモデルの欠陥 他機の存在を把握できない メンタルモデルの欠陥 他機の位置を誤認識 滑走路管理 空港運用指示 滑走路状況 空港運用状況 航空交通管理センター 管制指示 運用ガイドライン 管制状況 航空機位置情報 国土交通省 航空交通管理方針 規制 航空交通状況 事故報告 位置報告 状況報告 CAST６時点でのCS図（Microsoft Copilot版）
46. ⑷ Can you help regardless of proficiency? JAL516便のパイロット 安全要求と制約 指示の正確な理解 コンテキスト要因 視界不良 非安全なコントロールアクション 誤った滑走路進入 プロセスモデルの欠陥 滑走路状況の誤認識 メンタルモデルの欠陥 滑走路状況の誤解 JA722Aのパイロット 安全要求と制約 指示の正確な理解 コンテキスト要因 視界不良 非安全なコントロールアクション 誤った滑走路進入 プロセスモデルの欠陥 滑走路状況の誤認識 メンタルモデルの欠陥 滑走路状況の誤解 羽田空港の管制システム 滑走路状況確認 航空機位置確認 滑走路状況 航空機位置情報 離着陸指示 滑走路使用許可 滑走路進入許可 地上移動指示 位置報告 状況報告 航空会社 運航指示 緊急対応指示 運航状況 異常報告 海上保安庁 運航指示 緊急対応指示 運航状況 異常報告 空港運営会社 運航指示 緊急対応指示 運航状況 異常報告 航空管制官 安全要求と制約 正確な指示と確認 コンテキスト要因 高負荷状況 非安全なコントロールアクション 誤った滑走路使用許可 プロセスモデルの欠陥 他機の存在を把握できない メンタルモデルの欠陥 他機の位置を誤認識 滑走路管理 空港運用指示 滑走路状況 空港運用状況 航空交通管理センター 管制指示 運用ガイドライン 管制状況 航空機位置情報 国土交通省 航空交通管理方針 規制 航空交通状況 事故報告 位置報告 状況報告 Control-Structured diagram at the time of CAST6 (Microsoft Copilot version)
47. ⑷ 熟練度に関係なく支援可能か CAST６時点でのCS図（Gemini Flash版） JAL516便 JA722A 安全要求と制約 離陸許可を得てから滑走路に進入する コンテキスト 時間的なプレッシャー、手順の複雑さ 非安全なコントロールアクション 離陸許可なしに滑走路に進入 プロセスモデルの欠陥 手順の理解不足 メンタルモデルの欠陥 状況認識の不足 航空管制官 安全要求と制約 レーダー画面を常時監視し、航空機の位置を把握する コンテキスト 多数の航空機を同時に監視する必要がある、疲労 非安全なコントロールアクション JA722A機が滑走路に誤進入していることに気づかなかった プロセスモデルの欠陥 監視手順の不備 メンタルモデルの欠陥 状況認識の不足 離陸許可 進入許可 高度指示など レーダー情報 航空機からの報告 JAL516便パイロット JA722Aパイロット 操縦 フラップ操作 エンジン出力調整など 計器情報 航空管制官からの指令 離陸許可 進入許可 高度指示など レーダー情報 航空機からの報告 操縦 フラップ操作 エンジン出力調整など 計器情報 航空管制官からの指令 航空会社 気象庁 国土交通省 航空管制システム 気象情報の提供 気象観測データ 気象情報の提供 気象観測データ 気象情報の提供 気象観測データ 飛行計画の策定 乗務員の訓練 運航実績 事故報告 離陸許可 進入許可 レーダー情報 航空機からの報告 レーダー情報 航空機からの報告 離陸許可 進入許可 飛行計画の策定 乗務員の訓練 運航実績 事故報告 運航規則の制定 監督 運航規則の制定 監督 事故調査 規則の見直し 事故調査 規則の見直し
48. ⑷ Can you help regardless of proficiency? Control-Structured diagram at the time of CAST6 (Gemini Flash version) JAL516便 JA722A 安全要求と制約 離陸許可を得てから滑走路に進入する コンテキスト 時間的なプレッシャー、手順の複雑さ 非安全なコントロールアクション 離陸許可なしに滑走路に進入 プロセスモデルの欠陥 手順の理解不足 メンタルモデルの欠陥 状況認識の不足 航空管制官 安全要求と制約 レーダー画面を常時監視し、航空機の位置を把握する コンテキスト 多数の航空機を同時に監視する必要がある、疲労 非安全なコントロールアクション JA722A機が滑走路に誤進入していることに気づかなかった プロセスモデルの欠陥 監視手順の不備 メンタルモデルの欠陥 状況認識の不足 離陸許可 進入許可 高度指示など レーダー情報 航空機からの報告 JAL516便パイロット JA722Aパイロット 操縦 フラップ操作 エンジン出力調整など 計器情報 航空管制官からの指令 離陸許可 進入許可 高度指示など レーダー情報 航空機からの報告 操縦 フラップ操作 エンジン出力調整など 計器情報 航空管制官からの指令 航空会社 気象庁 国土交通省 航空管制システム 気象情報の提供 気象観測データ 気象情報の提供 気象観測データ 気象情報の提供 気象観測データ 飛行計画の策定 乗務員の訓練 運航実績 事故報告 離陸許可 進入許可 レーダー情報 航空機からの報告 レーダー情報 航空機からの報告 離陸許可 進入許可 飛行計画の策定 乗務員の訓練 運航実績 事故報告 運航規則の制定 監督 運航規則の制定 監督 事故調査 規則の見直し 事故調査 規則の見直し
49. 生成AIによる支援の検証 • 今回の検証に基づく考察(1) • 生成AI活用のノウハウ・テクニック等について、今後の分析では必要 • プロンプトの分解の粒度、その他、生成AI利用についてのテクニックなどを知ってい たほうがよかった • 事故の詳細な情報がないため、分析結果が一般的となっている可能性が ある • 実施時に利用していたものは中間報告書なので、得られる情報が限られていたこと • 生成AIがすでに学習している情報に分析結果、意見などの情報が含まれている可 能性 • 生成AIの速さを活かすことで柔軟な分析の戦略を立てることが可能。 • 人では難しい、複数の事例から、横断的に類似性を分析するなど
50. Validating Generative AI Assistance • Considerations based on this verification(1) • Know-how and techniques for the use of generative AI are necessary for future analysis. • It would have been better to know the granularity of prompt decomposition and other techniques for using generative AI • The lack of detailed information about the accident may make the analysis results more general • The information available was limited because it was an interim report that was used at the time of implementation. • The information that generative AI has already learned may include information such as analysis results and opinions • By leveraging the speed of generative AI, it is possible to develop flexible analysis strategies. • It is difficult for humans to analyze similarities from multiple cases, etc.
51. 生成AIによる支援の検証 • 今回の検証に基づく考察(2) • 各種生成ＡＩで実行可能であり、広く利用可能であることを期待 • 世の中でシェアを持っている一般的な生成AIでより、同じプロンプトを使い、分析を 行うことができた。 • 生成ＡＩによる分析に、プロセスの反復を組み込むことでより質の高い分 析が期待できる • 人手による分析の中では、プロセスを一部反復するなどを行い、早いタイミングで確 証をえるような分析に至るといった相違が観察された。
52. Validating Generative AI Assistance • Considerations based on this verification(2) • Expect to be feasible and widely available with various Generative AIs. • We were able to use the same prompts and analyze them compared to general generative AI, which has a market share in the world. • Incorporating process iterations into generative AI analysis can lead to higher quality analysis. • In the manual analysis, differences were observed, such as partially repeating the process and leading to an analysis that could be confirmed at an early stage.
53. 今後の課題 • 今後の課題については、以下の通り ① プロンプトライブラリの整備が必要 ② 広範に活用可能な分析手順の確立が必要 ③ AIによる対策立案支援による広範な分析
54. Future challenges • Future issues are as follows ① Prompt library needs to be maintained ② Establish widely applicable analysis procedures ③ Extensive analysis with AI-powered countermeasure planning support
55. 今後の課題 • 今回実施した分析検証のスキームをもとに、今後の改善ポイントを示す。 分 析 者 （ 人 ） 生 成 AI プロンプト準備 分析実施 結果の加工 チューニングが必要 追加検証/ レポート作成 完了 プロンプト 雛形
56. Future challenges • Based on the analysis and validation scheme conducted this time, we will show future improvement points. Analyst (People) Generative AI Prompt Preparation Analyse Processing of results Tuning required Additional validation/ Reporting Finished prompt template
57. 今後の課題 • 今回実施した分析検証のスキームをもとに、今後の改善ポイントを示す。 分 析 者 （ 人 ） 生 成 AI プロンプト準備 分析実施 結果の加工 チューニングが必要 追加検証/ レポート作成 完了 ③ AIによる対策立案支援 事故などに関する専門家が不足する場合につ いてもAI技術によって知識を補完し、対策を 検討させることを期待 プロンプト 雛形 ② 広範に活用可能な分析手順確立 多くの事例をもとに今回の分析手順を検証。人 と生成AIの役割・手順の改善を実施 ① プロンプトライブラリ整備 プロンプトの発展・共有をし、だれで も使えるようにする
58. Future challenges • Based on the analysis and validation scheme conducted this time, we will show future improvement points. Analyst (People) Generative AI Prompt Preparation Analyse Processing of results Tuning required Additional validation/ Reporting Finished ③ AI-based countermeasure planning support Even if there is a shortage of experts related to accidents, it is expected that AI technology will supplement knowledge and consider countermeasures. prompt template (2) Establishment of analysis procedures that can be widely used Based on many cases, we examined this analysis procedure. Improving the roles and procedures of people and generative AI (1) Prompt library development Develop and share prompts so that anyone can use them
59. 今後の課題 • セキュリティ分析への応用 • 現在有用性について検討の為の追実験をしているところですが、以下、課 題があるところが見えています。 • 最終的に起きてしまった事象についてをアクシデントとしているが、そこに至るまで のプロセスへの対策も必要 • 抽出されているステークホルダー、およびコンポーネントの詳細度/抽象度が課題抽 出としてほしいレベルと合わない • 次ページに、２０２５年2月13日に公開された「地方独立行政法人 岡山 県精神科医療センター ランサムウェア事案調査報告書」を分析したもの を例示します。
60. Future challenges • Application to Security Analytics • We are currently conducting follow-up experiments to examine its usefulness, but we can see the following issues. • The event that finally happened is considered an accident, but it is also necessary to take measures in the process leading up to it • The stakeholders being extracted and the level of detail/abstraction of the components do not match the level of issue extraction • On the next page, an example of an analysis of the "Local Independent Administrative Agency Okayama Prefectural Psychiatric Medical Center Ransomware Incident Investigation Report" published on February 13, 2025 is shown.
61. セキュリティシステム、医療情報システムとひとくくりになって おり、システムの課題を見つけるには、粒度が荒い。 今回の実験の中では、比較的運用面のステークホルダーは多く出てく る傾向があるように見え、システムコンポーネントについては、大括り に出ているように見受けられた。
62. It is lumped together with security systems and medical information systems, and it is difficult to find problems with the system. In this experiment, it seemed that there were relatively many operational stakeholders, and the system components seemed to be listed in a general manner.
63. 結論 • 本検証にて、羽田空港航空機衝突事故を題材として、STAMP / CAST分析における生成AIの効果的な分析支援が可能であるこ とを確認できた。また下記のような特性があることが分かった。 • 生成AIの支援によって、STAMP/CAST分析の時間が短縮可能 • 人と生成AIの分析には分析プロセスの反復性に違いがみられた • 生成AIはインプットには含まれない推論に基づく回答を行うことが観察 されたことから、精査が必要
64. Conclusion • In this validation, we were able to confirm that it is possible to effectively support the analysis of generative AI in STAMP/CAST analysis based on the subject of the Haneda Airport aircraft collision accident. It was also found that it has the following characteristics. • Generative AI can reduce the time of STAMP/CAST analysis • Analysis of human and generative AI differs in the repetitiveness of the analysis process • It has been observed that generative AI provides answers based on reasoning that are not included in inputs, so it needs to be scrutinized.
65. 謝辞 / Acknowledgements • 本発表は、2024年度SQiP研究会 演習コースⅣ「セーフティ＆セキュリ ティ」のメンバーで執筆した内容をもとにしております。 • この場をお借りして、感謝申し上げます。 • This presentation is based on the work conducted by the members of the FY2024 SQiP Study Group, Exercise Course IV: Safety & Security. • We would like to express our sincere gratitude to all the members for their contributions.
66. 参考文献 • 安樂 啓之, 水野 浩之 他, STAMP/CAST分析における生成AIの支援 ～羽田空港航空機衝突事故を題材として～, https://www.juse.jp/sqip/library/shousai/?id=K2024-x6Ao • 独立行政法人 情報処理推進機構(IPA)，STAMPガイドブック ～システム思考による安全分析～ Ver.1.0， https://www.ipa.go.jp/digital/stamp/ug65p90000001lxs-att/000072491.pdf，2019 • 金子 朋子，安全性分析の新風潮と事故分析手法STAMP/CAST，コンピュータ ソフトウェア，40(3)，pp.73-87，2023 • 独立行政法人 情報処理推進機構(IPA)，はじめてのSTAMP/STPA ～システム思考に基づく新しい安全性解析手法～ Ver.1.0， https://www.ipa.go.jp/digital/stamp/ug65p90000001lxs-att/000055009.pdf，2016 • Nancy G. Leveson，CAST HANDBOOK: How to Learn More from Incidents and Accidents，MIT，2019 • Nancy G. Leveson, Engineering a Safer World: Systems Thinking Applied to Safety，The MIT Press，2012 • 内閣サイバーセキュリティセンター(NISC)，人工知能(AI)への取組， https://www.nisc.go.jp/pdf/policy/kokusai/Provisional_Translation_JP_Engaging_with_AI.pdf • 羽田空港航空機衝突事故対策検討委員会，羽田空港航空機衝突事故対策検討委員会 中間取りまとめ， https://www.mlit.go.jp/koku/content/001753299.pdf • Microsoft, Knowledge sources overview, https://learn.microsoft.com/en-us/microsoft-copilot-studio/knowledge- copilot-studio,2025/2/17参照 • ICT総研，2024年度 生成AIサービス利用動向に関する調査， https://ictr.co.jp/report/20240830.html