Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SocSys34-Balus
Search
株式会社レヴィ
March 13, 2024
Research
0
96
SocSys34-Balus
株式会社レヴィ
March 13, 2024
Tweet
Share
More Decks by 株式会社レヴィ
See All by 株式会社レヴィ
2024-06-25 ソフトウェア設計における思考と学び方を考える 〜増田さんの思考を構造的に見える化してみる〜
levii
4
1k
株式会社レヴィ会社紹介
levii
0
220
Sample-se-one-day-training
levii
0
760
20230323TechDLT-vol9
levii
0
380
levii-buzzword-2022
levii
0
370
FIT2022_levii
levii
0
660
20220915modelingLT
levii
4
810
20220910SSDM
levii
0
700
20220629oolt
levii
0
100
Other Decks in Research
See All in Research
ECCV2024読み会: Minimalist Vision with Freeform Pixels
hsmtta
1
430
[輪講] Transformer Layers as Painters
nk35jk
4
690
Tiaccoon: コンテナネットワークにおいて複数トランスポート方式で統一的なアクセス制御
hiroyaonoe
0
430
Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
satai
3
160
サーブレシーブ成功率は勝敗に影響するか?
vball_panda
0
550
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
de9uch1
0
100
文書画像のデータ化における VLM活用 / Use of VLM in document image data conversion
sansan_randd
2
550
国際会議ACL2024参加報告
chemical_tree
1
440
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
1.1k
メタヒューリスティクスに基づく汎用線形整数計画ソルバーの開発
snowberryfield
3
790
Vision Language Modelと完全自動運転AIの最新動向
tsubasashi
0
250
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
350
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
520
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Transcript
三浦 政司(宇宙航空研究開発機構)、矢倉 大夢(筑波大学)、 南部 陽介(株式会社レヴィ)、小木曽 望(大阪公立大学) SocSys034/ショート発表 2024.3.13 システムモデルに基づくコラボレーションツール の評価実験検討
発表概要 オンラインで対話しながらシステムモデルを描くことでチームのコラボレー ションを促進することができるツール「Balus」の有効性を評価する実験を 設計し、予備的な試行を行った。 発表内容 • 背景・目的 • 評価実験のデザイン •
予備実験の結果 • 今後の計画 本研究はGo-Tech事業JPJ005698の支援による 「AI搭載のモデリング特化型コラボレーション ツールの開発による製造業の製品・サービス設計 の高度化」の一部です。
対話型モデリングツール「Balus」 •シンプルなUIで素早く システムモデルを描く •オンラインで同時に、 対話しながらモデル構築 •ビュー(視点)を意識した モデリングを自然に実践 •AIによるモデリング支援 Balusのコンセプトや対話型モデリングのフレームワークに関連する研究発表 ▪
三浦政司, "システムデザインのための対話型モデリングツール-コンセプトと実践例の紹介-," 計測自動制御学会 第31回社会システム部会, 2023 ▪ 三浦政司, 南部陽介, 山舖智也, "しなやかな問題解決を実現するための対話型モデリング手法 「システミング」の提案," 第21回情報科学技術フォーラム, 2022
目的 Balusはこれまでに • システム設計 • 業務課題分析 • 事業企画 など様々な場面に適用され、チームによる意思決定や問題解決を支援する という面で多くの成果を挙げている。
ref) https://levii.co.jp/works (株式会社レヴィ-実績) 効果の定量的な評価はできていない <本研究の目的> • Balusを利用することの効果、有用性を定量的に示す • ツールがチームの意思決定に与える影響を評価する方法を構築する (特にリモート環境での意思決定やチーム活動に焦点)
評価実験のデザイン 評価方法のデザインにもBalusを活用
評価実験のデザイン • 被験者グループがサバイバルタスクに取り組み、その過程や結果を評価 • Balusを使った場合、Googleドキュメントを使った場合、ツールを使わ なかった場合(口頭のみのコミュニケーション)を比較 NASA Moon Survival Task
*Hall(1989) あなたは、月面にいる母船とランデブーする予定だった宇宙 船のクルーの一員です。 しかし、機械の故障のため、あなたの宇宙船はランデブー地 点から約300 km離れた地点に着陸せざるを得ませんでした。 ~中略~ 約300 kmの移動において最も重要なアイテムを選 択する必要があります。~中略~ 以下の15個のアイテムは、着陸後に損傷していなかったもの です。~中略~ アイテムを順位付けをしてください。また、 その決断をした理由の説明も準備してください。 アイテムリスト(一部) • マッチ箱 • 約15mのナイロンロープ • パラシュートの布 • 45口径ピストル 2丁 • 粉末ミルク 1ケース • 酸素タンク(約45kg)2本 • 磁気コンパス • 水20リットル • … ※類似タスクとして「砂漠での生存」と「冬季での生存」も用意
評価実験のデザイン:評価・分析方法 ワークのアウトプットを評価 • パフォーマンス(正答率) • 認識の一致度 発話(音声)の分析 • 発話時間 •
発話の偏り • ターンテイキングの数 被験者アンケート • 意思決定の質:Decision Making Quality Scale *Green & Taber(1980) • 認知負荷:NASA-TLX *Hart & Staveland(1988) • 自由記述のテキスト分析 発話分析の例
予備実験 • 実施日:2024年2月18日(日) • 被験者:大阪公立大学小型宇宙機システム研究センターの学生9名/2グループ ※超小型衛星開発のシステム設計でBalusを活用しており、 Balusの基本的な操作や機能を十分に知っている学生ら • 各グループともサバイバルタスクのテーマを変えながらBalus/Google Docs/
ツールなしの3回のワークを実施 グループ ワーク(1) ワーク(2) ワーク(3) A 月での生存・Balus 砂漠での生存・Docs 冬季での生存・なし B 月での生存・Docs 砂漠での生存・なし 冬季での生存・Balus 各ワークの流れ:
予備実験の結果:DMQ scale DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートの結果
予備実験の結果:DMQ scale DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートの結果
予備実験の結果:NASA-TLX ツールなしは精神的負荷が高い? ツールを使うと時間的圧迫が高い?
予備実験の結果:認識の一致度 ◯位のアイテムは? それを◯位に選んだ理由を説明して下さい 理由項目の抽出(実験者) 上着 夜間の防寒のため 防寒 上着 身を守るのに必要だから 身を守る
上着 避暑と防寒が必要だから 防寒、避暑 上着 夜間の防寒に役に立つため 防寒 ◯位のアイテムは? それを◯位に選んだ理由を説明して下さい 理由項目の抽出(実験者) 新聞紙 燃やすものの着火剤として 着火 新聞紙 1火をつけるため,またそれ自身でも体に巻いたり することにより防寒になるため 着火、防寒 新聞紙 着火や防寒にしようできるため 着火、防寒 新聞紙 着火剤 着火 完全一致:1点 部分一致:0.5点 不一致:0点 部分一致:0.5点 ※アイテム不一致の場合は 理由に関わらず0点 平均スコア ツール間の差は見られなかった 1位アイテムの認識一 致度は高いが、 2位/最下位アイテムの 認識一致度は低い
予備実験の結果:発話分析 グループA/Balus
予備実験の結果:発話分析 グループA/Googleドキュメント
予備実験の結果:発話分析 グループA/Googleドキュメント 各自で情報を記入する 時間は対話なし。 Balus使用時は最初か らノードを貼りながら 対話していた。
課題と今後 予備実験で抽出された課題 • タスク難易度の正規化 • ワーク時間の最適化 • ワークやツールに慣れる機会の必要性 • 被験者数の確保
• …(抽出途中) 今後の計画 • 予備実験データの分析 • 予備実験結果を踏まえた実験設計の改善 • 本実験(2024年度) 株式会社レヴィ Balus 2ヶ月間無料 トライアル実施中!