CARMUI-NET：自動運転車遠隔監視のためのバーチャル 都市プラットフォームにおける通信品質変動機能の開発と評価 秋葉貴文1, 清水怜良1, 井上慎之助1, 金子直矢2, 牧野仁宣2, 湯村翼1 1) 北海道情報大学, 2) トヨタ自動車

研究背景 • 自動運転の普及が全世界的に進む • レベル４自動運転には遠隔監視が必要 • 遠隔監視システムのUIには改善の余地あり • UI設計を行うために自動運転車の実機を運行を することはコスト面で難しい 2 石川県小松市の自動運転バス 「Minubus」（ティアフォー社製） 永平寺町の遠隔監視室 横山利夫, 胡内健一, 新谷幸太郎. 自動運転レベル4 等先進モビ リティサービス研究開発・社会実装プロジェクト(road to the l4) の紹介. IATSS Review (国際交通安全学会誌), Vol. 48, No. 2, pp. 88–96, 2023. より引用．

研究背景：以前の研究 CARMUI：自動運転遠隔監視システムのUI検討のためのバーチャル都市プ ラットフォーム* • ゲームエンジンUnityでバーチャル都市を構築 • バーチャル都市内の車載カメラ映像を外部へストリーミング • 車載カメラ映像をWebブラウザで表示 • 複数の映像の自由な配置が可能 3 * 井上 慎之介, 清水 怜良, 金子 直矢, 阿部 博, 湯村 翼. CARMUI：自動運転車遠隔監視システムのUI検討の ためのバーチャル都市プラットフォームの開発, インタラクション2024.

研究背景 4 CARMUIの課題 • 実際の自動運転監視システムでは、通信状況の低下で映像が乱れる • CARMUIでは通信品質の低下を反映していない 本研究では、CARMUIに通信品質変動機能を追加した CARMUI-NETの開発を行う

CARMUI：概要 CARMUIは3つの要素で構成される • CARMUI-SIM • バーチャル空間にて、仮想的に自動運転車を 走行させる • 自動運転の模擬データを生成 • CARMUI-NET • CARMUI-VIEWを実行するコンピュータのネッ トワークインターフェースを利用しパケット を制御 • 通信品質を変動させる機能を提供 • CARMUI-VIEW • CARMUI-SIMの車載カメラ映像をWebブラウザ で閲覧可能 • UIを検討する模擬監視システム 5 以前の研究 本研究

CARMUI-SIM システム構成 • ゲームエンジンUnityを用いて構築 • 都市の建築モデルにはPLATEAUを用いた • 札幌駅付近のLOD2建物モデル（建物形状+テクスチャ） 6 機能 • 自動運転車はあらかじめ決められたルートを 通る • 車載カメラ映像をストリーミング • CARMUI-VIEWへのビデオストリーミングは WebRTCを用いて行う • Unity Render Streamingを用いて実装

CARMUI-VIEW 7 実装 • Webブラウザで閲覧可能なWebサービスとして実装 • 映像ストリーミングにはUnity Render Streamingを使用 • Unity Render Streamingに付属するnode.jsのサンプルプログ ラムを改良して実装 機能 • ２本の車載カメラ映像を受信し、個別ウィンドウに表示する • ウィンドウはマウスでドラックして任意の位置に配置できる • 本研究ではCARMUI-VIEWを2つに区別する • Webサーバーとして動作する：CARMUI-VIEWサーバー • Webブラウザで動作する：CARMUI-VIEWクライアント

CARMUI-NET 設計 • CARMUI-VIEWクライアントのネットワークインター フェースを利用し、パケットを制御することで通信品 質を動的に調整する • Linuxのネットワークトラフィック制御ツールである tc (traffic control) コマンドを使用する 8 機能 • 任意のネットワークパラメータを指定することで通信 品質の変動を再現する • 本論文では、事前に用意したネットワークパラメータ を手動実行した オペレーター 車載カメラ映像のストリーミング （WebRTC） CARMUI-SIM CARMUI-VIEW クライアント CARMUI-NET

設計 システムの実行フロー 1. CARMUI-VIEWサーバーを介してCARMUI-VIEWク ライアントとCARMUI-SIMは通信に必要な情報 を交換する 2. CARMUI-VIEWクライアントとCARMUI-SIMの間 でWebRTCを用いた映像配信が行われる 3. CARMUI-NETは、CARMUI-VIEWクライアントで 受信する全てのパケットを制御し、通信の品質 の動的な調整を行う 9 CARMUI-VIEW サーバー オペレーター 通信相手の情報 CARMUI-SIM CARMUI-VIEW クライアント 通信相手の情報 設計上の制約 • CARMUI-VIEWクライアントで tcコマンドを実行できる必要がある CARMUI-NET

設計 システムの実行フロー 1. CARMUI-VIEWサーバーを介してCARMUI-VIEWク ライアントとCARMUI-SIMは通信に必要な情報 を交換する 2. CARMUI-VIEWクライアントとCARMUI-SIMの間 でWebRTCを用いた映像配信が行われる 3. CARMUI-NETは、CARMUI-VIEWクライアントで 受信する全てのパケットを制御し、通信の品質 の動的な調整を行う 10 CARMUI-VIEW サーバー オペレーター 通信相手の情報 映像配信 （WebRTC） CARMUI-SIM CARMUI-VIEW クライアント 通信相手の情報 設計上の制約 • CARMUI-VIEWクライアントで tcコマンドを実行できる必要がある CARMUI-NET

設計 システムの実行フロー 1. CARMUI-VIEWサーバーを介してCARMUI-VIEWク ライアントとCARMUI-SIMは通信に必要な情報 を交換する 2. CARMUI-VIEWクライアントとCARMUI-SIMの間 でWebRTCを用いた映像配信が行われる 3. CARMUI-NETは、CARMUI-VIEWクライアントで 受信する全てのパケットを制御し、通信の品質 の動的な調整を行う 11 CARMUI-VIEW サーバー オペレーター 通信相手の情報 映像配信 （WebRTC） CARMUI-SIM CARMUI-VIEW クライアント 通信相手の情報 設計上の制約 • CARMUI-VIEWクライアントで tcコマンドを実行できる必要がある tcコマンドを実行し 通信品質の動的な調整 CARMUI-NET

CARMUI-NET評価と模擬評価実験 【CARMUI-NET評価】性能と有効性の評価 • CARMUI-NETによる通信品質の変動機能の性能と有効性を評価する • CARMUI-SIM上の自動車を操作しながらCARMUI-VIEWクライアントに表 示される映像を観察し、映像や操作の遅延などを評価 【模擬評価実験】CARMUIを用いた遠隔監視システムUI検討のシナリオ実施 • 通信品質の変動が発生している状態で監視システムのUI検討を検討する • CARMUI-VIEWにて旗を数えるタスクを実施 通信品質変動のパラメータは共通の値を使用 12

通信品質変動のパラメータ 13 番号 スループット （Mbps） 遅延 (ms) ロス (%) 特徴 パターン0 none none none パラメータ指定なし パターン1 3 60 1.1 車載通信の実測値 [7]を引用 パターン2 5 30 5 ロスが大きい パターン3 5 30 10 ロスが大きい パターン4 5 200 1 遅延が大きい パターン5 5 200 5 ロスと遅延が大きい 7)金子直矢, 伊東孝紘, 勝田肇, 渡辺敏暢, 阿部博, 大西亮吉ほか. 複数回線を冗長併用する通信技術のwebrtc 映像伝送への適用と評価. 情報処理学会論文誌デジタルプラクティス(TDP), Vol. 3, No. 3, pp. 21–31, 2022.

CARMUI-NET評価：概要 14 実施タスク • CARMUI-SIM上の車を操作しながらCARMUI-VIEWクライアントに送信された映像 を観察 • キー入力による操作の遅延やパケットロスによる映像の乱れを体感できる • ネットワーク遅延や映像の変化について観察 • 評価実験開始前に通信変動のない状態 (パターン0) で操作を行う • 各映像における通信品質の変動内容とパラメータを提示した上で操作を行う • 実験終了後にアンケートに回答する 被験者 • ネットワークの専門知識を有する大学院生及び教員 • 大学院生：２名，教員：１名（合計：３名）

評価実験：アンケート項目 15 評価方法 • 5段階評価 • 自由記述 アンケート内容 • 操作感覚に関する質問 • 映像品質に関する質問 • 監視システムの有用性に関する 質問

評価実験：結果 • Q3. 「ネットワーク品質の変化による操作性への影響を感じましたか？」：回答の平均値が2 • Q5「映像と車両の操作タイミングが一致していないと感じることはありましたか」：平均値が1.66 1.(操作が非常に難しくなった) 〜5.(変化は感じなかった) これらの結果は遅延による操作感覚への影響が大きと考えられる ともに影響を最も感じたパターンとしてパターン５が挙げられた 16 まとめ・考察 • 通信品質の変動が操作に大きな影響を与えたと考えられ、特に遅延による影響が顕著であった • ロス率が上昇した際に映像配信が自動的に切断される仕様となっているため、映像品質への影響が抑えら れ，ロス率の影響を被験者があまり感じなかったと考えられる • Q7「ネットワーク品質が低下したとき，映像の視認性にどの程度影響がありましたか？」: 回答平均値が3.66 1.(非常に影響があった) 〜5.(影響は全くなかった) • Q11「遅延の変化による操作への影響をどのくらいどのくらい感じることができましたか？」：平均値が4.66 • Q13「ロス率の変化による操作への影響をどのくらい感じることができましたか？」：平均値が3 1.(非常に影響があった) 〜5.(影響は全くなかった)

模擬評価実験：概要 CARMUIを用いた遠隔監視システムUI検討のシナリオ実施 通信品質が変動している状態で監視システムUIの検討 17 実施タスク • CARMUI VIEWを見て街内の旗を数えるタスクを実施 • 旗番号を奇数と偶数に分けてカウント • ２台のカウンターを手元に設置 • ウィンドウは横並びにした状態で実施 • 映像が切断された場合は、再接続後からカウントを再開 • 映像パターンは５種類で評価（パターン1〜5） • タスク終了後にアンケートに回答 被験者 • 学部生５名に対して実施

18 評価方法 • 5段階評価 • 自由記述 アンケート内容 • 実施タスクに関する質問 • 映像品質に関する質問 • 監視システムの有用性に関する 質問 模擬評価実験：アンケート項目

19 パターン１（車載通信の実測値を参考） パターン３（ロスが大きい） 模擬評価実験：使用した映像

• グラフは、被験者の回答と正解数の誤差を表す • グラフの値がマイナスである部分は、被験者の回答が正解数を上回った • この誤差は同じ数字を複数回数えたこと、カウント間違いが原因と考えられる • タスク実施回数が増えるにつれて正答率が向上する傾向が見られた 20 模擬評価実験：結果

Q3 「旗を数えやすいと感じた映像を全て選択してください」 Q4「旗を数えやすかった理由があれば教えてください」 • 逆にカクつくがゆえに一瞬の見逃しをなくすことができたから 21 Q3 解答結果 Q5 「旗を数えにくかった理由があれば教えてください」 • 初めは慣れの問題で、３番目は3 番目は途中ロスパケ（の演出）があった他そもそもが荒く，数えにくいと感じた． Q6「実験ではCG のシュミレータの画面を実際の車載カメラを監視しているような感覚は得られましたか？」 • 平均値が2.8（1. CGなので実際の車載カメラとは違った〜５. 実際の車載カメラを監視している感覚があった） まとめ・考察 • タスクの実施後，アンケートによる主観評価とタスク結果に基づく定量的評価を行った • CARMUI-VIEW クライアントでフレーム飛びが発生し，実際の用途を考えると危険の把握が困難になるとの意 見があった • 映像の停止を防ぐことを優先し、通信品質の低下時にUIでどのように情報を提示するか検討が必要 • タスクの実施結果では慣れによる回答率の上昇傾向があった • 被験者ごとにタスクの実施順番変え実施することや練習タスクの実施による対策が必要 模擬評価実験：結果

おわりに 今後の課題 • ロス率が上昇した際にフレーム飛びの発生や映像配信の切断が起こった • 映像配信を最優先とすることが安全性の確保につながる • 自動解像度調整やブロックノイズの発生を許容することで配信を途切れさせないことが大切 22 展望 • 通信切断処理を見直し映像配信を継続する仕組みの検討が必要 • 模擬評価実験で実施したタスクは、実際の遠隔監視における突然のリスク回避や異常発見といった状況を 再現できていないため改善が必要 • 複数の車載カメラ映像それぞれに対して映像品質の低下を起こせるような設計が必要

まとめ 23 背景 • 自動運転の遠隔監視システムのUIには改善の余地あるが実機での検討 が難しい 以前の研究 • UI検討のためのバーチャル都市プラットフォームであるCARMUIを構築 課題 • 実際の自動運転監視システムでは、通信状況の低下で映像が乱れるが CARMUIでは再現できない CARMUI-NET • CARMUIに通信品質変動機能を追加 評価実験 • CARMUI-NETによる通信品質の変動機能の性能と有効性を評価 模擬評価実験（シナリオ検討） • 通信品質の変動が発生している状態で監視システムのUI検討を検討