Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SocSys37-Balus
Search
株式会社レヴィ
April 03, 2025
Business
0
18
SocSys37-Balus
株式会社レヴィ
April 03, 2025
Tweet
Share
More Decks by 株式会社レヴィ
See All by 株式会社レヴィ
20250904DandS
levii
0
0
2024-06-25 ソフトウェア設計における思考と学び方を考える 〜増田さんの思考を構造的に見える化してみる〜
levii
4
1.1k
株式会社レヴィ会社紹介
levii
0
250
Sample-se-one-day-training
levii
0
1k
SocSys34-Balus
levii
0
130
20230323TechDLT-vol9
levii
0
450
levii-buzzword-2022
levii
0
420
FIT2022_levii
levii
0
790
20220915modelingLT
levii
4
860
Other Decks in Business
See All in Business
Cierpa&Co._Culture Deck_202509
cierpa0905
PRO
0
1.3k
sample
mamiko
0
420
enechain company deck
enechain
PRO
9
130k
ペイジェント採用資料
paygent
0
19k
Tools & Treasures: Find Auction Items That WOW
auctria
PRO
0
170
拝啓、登壇回数0回だった一年前の私へ
natty_natty254
5
290
「なんとなく使いにくい」を論理的に説明する方法 〜プロダクトエンジニアとしてUXを議論できる第一歩〜
mkitahara01985
0
440
「みんな、笑顔になぁれ」を実現する 職種混合開発組織の目標設定・評価の改善事例
daitasu
0
250
【テックファームホールディングス】中途採用向け会社説明資料
techfirm
0
420
プレミアグループ 会社紹介資料/Premium Group Company Profile
pgsaiyo1112
0
300
エニグモ_会社紹介資料
enigmo_hr
0
1.7k
Terra Charge|会社紹介 / Terra Charge Company Profile
contents
0
11k
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.1k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Agile that works and the tools we love
rasmusluckow
330
21k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
850
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
How GitHub (no longer) Works
holman
315
140k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
Transcript
三浦 政司(JAXA), 矢倉 大夢(MPI), 南部 陽介(株式会社レヴィ), 呉 長憶, 林 萍萍,
小木曽 望(大阪公立大学) SocSys037/ショート発表 2025.3.15 システムモデルに基づく コラボレーションツール の評価実験
発表概要 対話型モデリングツール「Balus」の有効性を評価することを目的に、サバイ バルタスクと呼ばれるグループワークを軸とした評価実験を実施した。その 結果, Balusの利用が精神的負荷を軽減し, 効果的なコミュニケーションにつ ながることを示唆する結果が得られた。 発表内容 • 背景・目的
• 評価実験のデザイン • 実験結果 • 今後の計画 本研究はGo-Tech事業JPJ005698の支援による 「AI搭載のモデリング特化型コラボレーション ツールの開発による製造業の製品・サービス設計 の高度化」の一部です。
対話型モデリングツール「Balus」 •シンプルなUIで素早く システムモデルを描く •オンラインで同時に、 対話しながらモデル構築 •ビュー(視点)を意識した モデリングを自然に実践 •AIによるモデリング支援 Balusのコンセプトや対話型モデリングのフレームワークに関連する研究発表 ▪
三浦政司, "システムデザインのための対話型モデリングツール-コンセプトと実践例の紹介-," 計測自動制御学会 第31回社会システム部会, 2023 ▪ 三浦政司, 南部陽介, 山舖智也, "しなやかな問題解決を実現するための対話型モデリング手法 「システミング」の提案," 第21回情報科学技術フォーラム, 2022
目的 Balusはこれまでに • システム設計 • 業務課題分析 • 事業企画 など様々な場面に適用され、チームによる意思決定や問題解決を支援する という面で多くの成果を挙げている。
ref) https://levii.co.jp/works (株式会社レヴィ-実績) 効果の定量的な評価はできていない <本研究の目的> • Balusを利用することの効果、有用性を定量的に示す • ツールがチームの意思決定に与える影響を評価する方法を構築する (特にリモート環境での意思決定やチーム活動に焦点)
評価実験のデザイン:概要 • 被験者グループがサバイバルタスクに取り組み、その過程や結果を評価 • Balusを使った場合、Googleドキュメントを使った場合、ツールを使わ なかった場合(口頭のみのコミュニケーション)を比較 NASA Moon Survival Task
*Hall(1989) あなたは、月面にいる母船とランデブーする予定だった宇宙 船のクルーの一員です。 しかし、機械の故障のため、あなたの宇宙船はランデブー地 点から約300 km離れた地点に着陸せざるを得ませんでした。 ~中略~ 約300 kmの移動において最も重要なアイテムを選 択する必要があります。~中略~ 以下の15個のアイテムは、着陸後に損傷していなかったもの です。~中略~ アイテムを順位付けをしてください。また、 その決断をした理由の説明も準備してください。 アイテムリスト(一部) • マッチ箱 • 約15mのナイロンロープ • パラシュートの布 • 45口径ピストル 2丁 • 粉末ミルク 1ケース • 酸素タンク(約45kg)2本 • 磁気コンパス • 水20リットル • … ※類似タスクとして「砂漠での生存」と「冬季での生存」も用意
評価実験のデザイン:評価・分析方法 ワークのアウトプットを評価 • パフォーマンス(正答率) • 認識の一致度 発話(音声)の分析 • 発話時間 •
ターンテイキングの数 • 発話者の偏り アンケート • 意思決定の質:Decision Making Quality Scale *Green & Taber(1980) • 認知負荷:NASA-TLX *Hart & Staveland(1988) • コードスイッチング測定尺度 *Wu & Yama(2024) 発話分析の例
評価実験のデザイン:コードスイッチングを含む仮説モデル コードスイッチング コミュニケーションにおいてコンテキスト(共有される背景知識)高依存スタイルと コンテキスト低依存スタイルを切り替えること *zakaria(2017) • コンテキスト高依存スタイル:間接的・暗黙的な表現が多い • コンテキスト低依存スタイル:直接的・明示的な表現が多い
実施概要 • 実施日:2024年12月15日(日)、2025年1月11日(土) • 被験者:複数の大学から募集した大学生・大学院生 計17名 • 各グループともサバイバルタスクのテーマを変えながらBalus/Google Docs/ツールなしの 3回のワークを実施
グループ ワーク(1) ワーク(2) ワーク(3) A 月での生存・Balus 砂漠での生存・Docs 冬季での生存・なし B 月での生存・なし 砂漠での生存・Balus 冬季での生存・Docs C 月での生存・Docs 砂漠での生存・なし 冬季での生存・Balus D 冬季での生存・Balus 月での生存・Docs 砂漠での生存・なし E 冬季での生存・なし 月での生存・Balus 砂漠での生存・Docs 各ワークの流れ:
実験結果
Decision Making Quality Scale Green & Taber(1980) 要因分散分析の結果、ツール間の有意差はなかった。 パフォーマンス(正答率)、認識の一致度も同様に有意差なし。
認知負荷測定スケール:NASA-TLX Hart & Staveland(1988) 要因分散分析の結果、Balusを使ったコミュニケーションは Docsを使ったコミュニケーションより精神的負荷が有意に小さい。 ** p < .01
* p < .05 + p < .10
発話分析 グループB: Balus グループB: Docs グループB: なし 要因分散分析の結果、Docsやツールなしと比較して Balusは有意に発話時間が短かった。 **
p < .01 * p < .05 + p < .10
その他・コミュニケーションの質に関する評価 DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートにおいて、 1位に選ばれた回数: 各ツールの良さを自由記述する アンケートより抽出: Balusの良さ: 視覚的がいい、選択肢のグループ化、 階層構造や因果関係を明記するのに向 いている、など。
Docsの良さ: 表を作れる、慣れる、文章で記述する のに向いている、箇条書きできる、な ど。 ツールなしの良さ: 慣れる、表情を見れる、など。
Balusの利用とコミュニケーションの質 ここまでの結果より、モデリングツール(Balus)を使用することが、 コミュニケーションの質を高めると言える。 • DocsよりBalusの方が精神的負荷が有意に小さい • 効率性、公平性、容易さなどの項目でBalusが1位に選ばれた回数が多い • 短い発話時間で同じパフォーマンス、合意形成の質を実現できた
ツール利用とコードスイッチング コードスイッチング測定尺度アンケートの結果(右表)、 事前の測定(日常生活におけるスイッチング)に対して スコアが上がったが、ツール間での有意な差はなかった 事前 Balus Doc なし 4.45 4.99
4.83 4.99
コードスイッチングとコミュニケーションの質 コードスイッチング測定尺度のスコアとコミュニケーション の質に関するスコア(DQMおよびNASA-TLX)の間の相関関係 を網羅的に比較した結果、Docsとなしの場合はコミュニケー ションの質がコードスイッチングの強度に依存しているが、 Balusの場合はそうではないことがわかった。
結果のまとめ モデリングツール(Balus)を使用することが、 コミュニケーションの質を高める 口頭表現上でコードスイッチングする 代わりに、Balus上のモデルで意図を 表現しているなど、コミュニケーショ ンに影響を与えている可能性がある
今後の計画・展望 • データの蓄積、分析結果の整理 • システムモデリングがより有用となる タスクを用いた評価 • 他のコミュニケーションツール (特にリモート環境向けツール) の評価への適用
株式会社レヴィ Balus 2ヶ月間無料 トライアル実施中!