Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SocSys37-Balus
Search
株式会社レヴィ
April 03, 2025
Business
0
12
SocSys37-Balus
株式会社レヴィ
April 03, 2025
Tweet
Share
More Decks by 株式会社レヴィ
See All by 株式会社レヴィ
2024-06-25 ソフトウェア設計における思考と学び方を考える 〜増田さんの思考を構造的に見える化してみる〜
levii
4
1.1k
株式会社レヴィ会社紹介
levii
0
250
Sample-se-one-day-training
levii
0
970
SocSys34-Balus
levii
0
120
20230323TechDLT-vol9
levii
0
440
levii-buzzword-2022
levii
0
420
FIT2022_levii
levii
0
760
20220915modelingLT
levii
4
850
20220910SSDM
levii
0
810
Other Decks in Business
See All in Business
HATALUCK Recruiting 2027
hataluck
0
190
Sales Marker Culture Book(English)
salesmarker
PRO
2
5.9k
Speak To QuickBooks Error U.S. Support Contact Numbers: A Step By Step Guide
nepap
0
190
ホットリンク会社紹介スライド / We are hiring
hottolink_pr
1
14k
Mercari-Fact-book_en
mercari_inc
1
27k
2024年度PoliPoliインパクトレポート(β版)/Impact Report 2024
polipoli
0
420
テオリア・テクノロジーズ:About Us
theoriatec2024
1
30k
坂ノ途中 会社紹介資料 /Introduction
ontheslope
0
3.1k
株式会社Domuz会社紹介資料(採用)
kimpachi_d
0
37k
BetAIDay_07_culture_natsumi_yoshida
nacchan
0
280
エンジニアのための事業貢献入門/A business introduction for engineers
dskst
86
24k
株式会社justInCaseTechnologies_会社説明資料
jictech_saiyo
0
420
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
4 Signs Your Business is Dying
shpigford
184
22k
We Have a Design System, Now What?
morganepeng
53
7.7k
GitHub's CSS Performance
jonrohan
1031
460k
Documentation Writing (for coders)
carmenintech
73
5k
Designing for Performance
lara
610
69k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Scaling GitHub
holman
461
140k
Practical Orchestrator
shlominoach
190
11k
Transcript
三浦 政司(JAXA), 矢倉 大夢(MPI), 南部 陽介(株式会社レヴィ), 呉 長憶, 林 萍萍,
小木曽 望(大阪公立大学) SocSys037/ショート発表 2025.3.15 システムモデルに基づく コラボレーションツール の評価実験
発表概要 対話型モデリングツール「Balus」の有効性を評価することを目的に、サバイ バルタスクと呼ばれるグループワークを軸とした評価実験を実施した。その 結果, Balusの利用が精神的負荷を軽減し, 効果的なコミュニケーションにつ ながることを示唆する結果が得られた。 発表内容 • 背景・目的
• 評価実験のデザイン • 実験結果 • 今後の計画 本研究はGo-Tech事業JPJ005698の支援による 「AI搭載のモデリング特化型コラボレーション ツールの開発による製造業の製品・サービス設計 の高度化」の一部です。
対話型モデリングツール「Balus」 •シンプルなUIで素早く システムモデルを描く •オンラインで同時に、 対話しながらモデル構築 •ビュー(視点)を意識した モデリングを自然に実践 •AIによるモデリング支援 Balusのコンセプトや対話型モデリングのフレームワークに関連する研究発表 ▪
三浦政司, "システムデザインのための対話型モデリングツール-コンセプトと実践例の紹介-," 計測自動制御学会 第31回社会システム部会, 2023 ▪ 三浦政司, 南部陽介, 山舖智也, "しなやかな問題解決を実現するための対話型モデリング手法 「システミング」の提案," 第21回情報科学技術フォーラム, 2022
目的 Balusはこれまでに • システム設計 • 業務課題分析 • 事業企画 など様々な場面に適用され、チームによる意思決定や問題解決を支援する という面で多くの成果を挙げている。
ref) https://levii.co.jp/works (株式会社レヴィ-実績) 効果の定量的な評価はできていない <本研究の目的> • Balusを利用することの効果、有用性を定量的に示す • ツールがチームの意思決定に与える影響を評価する方法を構築する (特にリモート環境での意思決定やチーム活動に焦点)
評価実験のデザイン:概要 • 被験者グループがサバイバルタスクに取り組み、その過程や結果を評価 • Balusを使った場合、Googleドキュメントを使った場合、ツールを使わ なかった場合(口頭のみのコミュニケーション)を比較 NASA Moon Survival Task
*Hall(1989) あなたは、月面にいる母船とランデブーする予定だった宇宙 船のクルーの一員です。 しかし、機械の故障のため、あなたの宇宙船はランデブー地 点から約300 km離れた地点に着陸せざるを得ませんでした。 ~中略~ 約300 kmの移動において最も重要なアイテムを選 択する必要があります。~中略~ 以下の15個のアイテムは、着陸後に損傷していなかったもの です。~中略~ アイテムを順位付けをしてください。また、 その決断をした理由の説明も準備してください。 アイテムリスト(一部) • マッチ箱 • 約15mのナイロンロープ • パラシュートの布 • 45口径ピストル 2丁 • 粉末ミルク 1ケース • 酸素タンク(約45kg)2本 • 磁気コンパス • 水20リットル • … ※類似タスクとして「砂漠での生存」と「冬季での生存」も用意
評価実験のデザイン:評価・分析方法 ワークのアウトプットを評価 • パフォーマンス(正答率) • 認識の一致度 発話(音声)の分析 • 発話時間 •
ターンテイキングの数 • 発話者の偏り アンケート • 意思決定の質:Decision Making Quality Scale *Green & Taber(1980) • 認知負荷:NASA-TLX *Hart & Staveland(1988) • コードスイッチング測定尺度 *Wu & Yama(2024) 発話分析の例
評価実験のデザイン:コードスイッチングを含む仮説モデル コードスイッチング コミュニケーションにおいてコンテキスト(共有される背景知識)高依存スタイルと コンテキスト低依存スタイルを切り替えること *zakaria(2017) • コンテキスト高依存スタイル:間接的・暗黙的な表現が多い • コンテキスト低依存スタイル:直接的・明示的な表現が多い
実施概要 • 実施日:2024年12月15日(日)、2025年1月11日(土) • 被験者:複数の大学から募集した大学生・大学院生 計17名 • 各グループともサバイバルタスクのテーマを変えながらBalus/Google Docs/ツールなしの 3回のワークを実施
グループ ワーク(1) ワーク(2) ワーク(3) A 月での生存・Balus 砂漠での生存・Docs 冬季での生存・なし B 月での生存・なし 砂漠での生存・Balus 冬季での生存・Docs C 月での生存・Docs 砂漠での生存・なし 冬季での生存・Balus D 冬季での生存・Balus 月での生存・Docs 砂漠での生存・なし E 冬季での生存・なし 月での生存・Balus 砂漠での生存・Docs 各ワークの流れ:
実験結果
Decision Making Quality Scale Green & Taber(1980) 要因分散分析の結果、ツール間の有意差はなかった。 パフォーマンス(正答率)、認識の一致度も同様に有意差なし。
認知負荷測定スケール:NASA-TLX Hart & Staveland(1988) 要因分散分析の結果、Balusを使ったコミュニケーションは Docsを使ったコミュニケーションより精神的負荷が有意に小さい。 ** p < .01
* p < .05 + p < .10
発話分析 グループB: Balus グループB: Docs グループB: なし 要因分散分析の結果、Docsやツールなしと比較して Balusは有意に発話時間が短かった。 **
p < .01 * p < .05 + p < .10
その他・コミュニケーションの質に関する評価 DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートにおいて、 1位に選ばれた回数: 各ツールの良さを自由記述する アンケートより抽出: Balusの良さ: 視覚的がいい、選択肢のグループ化、 階層構造や因果関係を明記するのに向 いている、など。
Docsの良さ: 表を作れる、慣れる、文章で記述する のに向いている、箇条書きできる、な ど。 ツールなしの良さ: 慣れる、表情を見れる、など。
Balusの利用とコミュニケーションの質 ここまでの結果より、モデリングツール(Balus)を使用することが、 コミュニケーションの質を高めると言える。 • DocsよりBalusの方が精神的負荷が有意に小さい • 効率性、公平性、容易さなどの項目でBalusが1位に選ばれた回数が多い • 短い発話時間で同じパフォーマンス、合意形成の質を実現できた
ツール利用とコードスイッチング コードスイッチング測定尺度アンケートの結果(右表)、 事前の測定(日常生活におけるスイッチング)に対して スコアが上がったが、ツール間での有意な差はなかった 事前 Balus Doc なし 4.45 4.99
4.83 4.99
コードスイッチングとコミュニケーションの質 コードスイッチング測定尺度のスコアとコミュニケーション の質に関するスコア(DQMおよびNASA-TLX)の間の相関関係 を網羅的に比較した結果、Docsとなしの場合はコミュニケー ションの質がコードスイッチングの強度に依存しているが、 Balusの場合はそうではないことがわかった。
結果のまとめ モデリングツール(Balus)を使用することが、 コミュニケーションの質を高める 口頭表現上でコードスイッチングする 代わりに、Balus上のモデルで意図を 表現しているなど、コミュニケーショ ンに影響を与えている可能性がある
今後の計画・展望 • データの蓄積、分析結果の整理 • システムモデリングがより有用となる タスクを用いた評価 • 他のコミュニケーションツール (特にリモート環境向けツール) の評価への適用
株式会社レヴィ Balus 2ヶ月間無料 トライアル実施中!