自動運転自動車の実証実験を通した 路車協調型の信号認識技術の現状と課題 金沢大学 高度モビリティ研究所 教授 副所長 菅沼 直樹 1 230614＠SSII2023 - 内閣府SIP事業 AD-URBANプロジェクトの概要とその成果について -

目次 ◼ 金沢大学の自律型自動運転技術への取り組み ◼ 金沢大学の取り組み概要 ◼ 自律型自動運転技術の公道走行実証 ◼ 内閣府SIP事業「自動運転」における取り組み ◼ AD-URBAN事業の概要 ◼ 東京臨海部実証実験における取り組み ◼ 路車協調型の信号認識技術の現状と課題 ◼ 自律型信号認識技術の概要と課題 ◼ 仮想環境を用いた認識不調評価 ◼ 信号残秒数情報を活用したジレンマ回避 ◼ 自動運転技術の社会への導入に向けて ◼ 仮想環境を用いた自動運転技術の安全性評価 ◼ まとめ 3

自動運転の歴史（高速から一般道へ） ◼ 高速道路の自動運転（インフラ依存型） ◼ 走行空間の限定 ◼ ハードインフラに依存 ◼ 比較的単純で整備された道路 ◼ 日米欧で古くから盛んに研究 ◼ 一般道での自動運転（自律型） ◼ 走行空間の自由度が高い ◼ 多種多様な環境が存在 ◼ 近年になり急速に進展 ◼ ハードウェア処理能力 ◼ コンピュータ，センサ ◼ 人工知能 ◼ 機械学習，DNN ◼ 高精度デジタル地図の活用 ◼ ソフトインフラへのシフト 4 エネルギーITS事業 SIP事業（東京都臨海部）

金沢大学 自律型自動運転車両 ◼ 安全かつ自然に市街地を走行可能な認識・判断能力 ◼ 1998年頃から研究開始 ◼ インフラ非依存の自律型

研究初期の自動運転車両 （1998~2008年） ◼ GPS/INSによる位置推定 ◼ Unscented Kalman Filter ◼ 3次元位置，姿勢，速度 ◼ LIDARによる障害物検出 ◼ 平面スキャン（SICK-LMS） ◼ 前方斜め下を走査 ◼ 三次元ポイントクラウド ◼ 車両移動を考慮して累積 6

研究初期の自動運転車両 （1998~2008年） ◼ 自動運転に必要な基礎技術 の開発 ◼ 公道でのセンサデータ収集 ◼ 閉鎖環境での自動運転 障害物回避走行（2倍速） 無人走行（2008年頃＠金沢大学祭） ステレオビジョン

研究中期の自動運転車両 （2008~2015年） ◼ 模擬市街地での走行試験 ◼ 学内道路（非公道） ◼ テストコース（自動車学校） ◼ 市街地走行に必要な 技術の開発 ◼ 認識・判断・制御

近年の自動運転車両（2015年～） ◼ 市街地での公道走行実験開始（2015年2月24日） ◼ 国内の大学初（現在東京都，石川県，北海道などで技術実証） ◼ 現在：約8年の公道走行実績（60km/hで走行可能）

高齢過疎地域における実証 （2015年～，石川県珠洲市全域） ◼ 過疎地での走行（2015年～） ◼ 自動運転の初期テスト（交通量少） ◼ 公共交通としての実証（過疎地のニーズ） ◼ 石川県珠洲市 (H27国勢調査) ◼ 人口総数 14,631人（高齢化率 46.4%） ◼ 鉄道廃止済み，バスタクシーの不足 ◼ 奥能登国際芸術祭 ◼ 2017年9月～10月（約800人の一般人の試乗） 10

都市部における実証 （2016年～，石川県金沢市中心部など） ◼ 都市部の走行 ◼ 複数車線，交通量 ◼ 交差点(矢印信号，サイズ) ◼ 走行の難しさ ◼ 都市部vs.過疎地 11

金沢市内の現在の走行ルート例 12 金沢大学 金沢港 ｸﾙｰｽﾞﾀｰﾐﾅﾙ 金沢駅 山環 神谷内IC 往復約35km 完全自動での走破達成

寒冷地における例 （2016年～，北海道網走市，大空町周辺） ◼ 冬期の寒冷地での走行 ◼ 積雪，降雪時の課題解決 ◼ 網走市市街地 ～女満別空港周辺など ◼ 自己位置推定 ◼ RADAR（76GHz） ◼ 積雪時でもGNSSレス 13

目次 ◼ 金沢大学の自律型自動運転技術への取り組み ◼ 金沢大学の取り組み概要 ◼ 自律型自動運転技術の公道走行実証 ◼ 内閣府SIP事業「自動運転」における取り組み ◼ AD-URBAN事業の概要 ◼ 東京臨海部実証実験における取り組み ◼ 路車協調型の信号認識技術の現状と課題 ◼ 自律型信号認識技術の概要と課題 ◼ 仮想環境を用いた認識不調評価 ◼ 信号残秒数情報を活用したジレンマ回避 ◼ 自動運転技術の社会への導入に向けて ◼ 仮想環境を用いた自動運転技術の安全性評価 ◼ まとめ 14

AD-URBAN事業の概要 ◼ 市街地でのLevel4相当の自動運転自動車 ◼ 車載されたAIによる高度な自律的な認知・判断機能 ◼ それを支援する道路設備，通信設備等のインフラ ◼ AD-URBANプロジェクト（2008～2012年） ◼ 中立的立場のアカデミア（大学）の知見を活用 ◼ SIP事業内での積極的な連携 15 イ ン フ ラ の リ ッ チ さ ( イ ン フ ラ の 整 備 コ ス ト ) 自動運転技術の高度さ（車載機のコスト） どこまで技術開発が可能？ どこまでインフラ整備が可能？ 最低限必要なインフラと 認知判断技術性能の見極め 大学のオープンな研究体制 金沢大，中部大，名城大 東京臨海部での実証実験 成果 FOT project of Automated Driving system under Real city environment based on Academic Researcher’s Neutral knowledge. AD-URBAN

試験車両の概要 ◼ 実証実験の目的 ◼ 自律型自動運転技術の評価 ◼ 認識技術の課題の把握 ◼ インフラ支援情報の有効性評価 ◼ 公道走行試験を実施 ◼ 2台の試験車両を構築 ◼ 金沢市中心部での走行試験 ◼ 東京都臨海部実証実験への参加 ◼ 主な搭載センサ等 ◼ LiDAR，ミリ波レーダ，カメラ ◼ マイク，GNSS/INS ◼ V2I/V2N（セルラー）受信機 16 AD-URBAN

東京臨海部実証実験での取り組み ◼ 東京臨海部実証実験 ◼ インフラ支援情報の配信 ◼ V2I，V2N（セルラー通信） ◼ 国内外の計22機関が参加 ◼ 自動車メーカー ◼ 自動車部品メーカー ◼ 大学など ◼ AD-URBANの取り組み ◼ インフラ支援情報の例 ◼ 信号情報（V2I/V2N）， ◼ 緊急車両情報（V2N）， ◼ 降雨情報（V2N）など ◼ 走行統計（2019～2022年度） ◼ 走行日数：244日 ◼ 自動運転走行距離：3,970.4km 17 東京臨海部における自動運転の様子 東京臨海部実証実験参加者 AD-URBAN

研究開発の概要 ◼ 車載センサを用いた認識技術の開発 ◼ 信号認識技術，自己位置推定技術 ◼ 物体認識技術，緊急車両認識技術など ◼ 実道での認識技術の評価 ◼ 東京都臨海部，金沢市中心部など ◼ 認識不調シーンの把握 ◼ 仮想環境での限界性能の定量的評価 ◼ 逆光，雨天などの天候による不調 ◼ 死角など物理的な遮蔽による影響 ◼ DIVP事業との連携 18 実環境でのテスト 仮想環境での評価 Driving Intelligence Validation Platform 認識不調シーンの共有 安全性評価の有効性提示 仮想環境の再現性評価 認識技術の限界性能評価 自動運転技術の改善 信号機認識の様子 自己位置推定の様子 AD-URBAN

AD-URBAN Open Image dataset v1 ◼ 信号認識に関する認識困難な画像データの構築 ◼ 目的: 交差点進入時に視認性が低下するチャレンジングなシーンをまとめ た画像データセット ◼ 信号・矢印の点灯状態・交通参加者の画像矩形枠情報をタグ付け（11クラス） ◼ 東京臨海部・金沢市内の走行データの画像データセット ◼ 通常, 逆光, 順光, 夜間, 雨天等の交差点接近シーンを含む ◼ 研究目的の利用に限定して国内の利用者向けに提供を開始（2022年3月末より） ◼ 提供方法 ◼ 専用申し込みフォームで所属などの必要事項を連絡 ◼ 期限付きダウンロードリンクを送付してデータを配布 ◼ 詳細情報 ◼ https://github.com/AdmoreKanazawa/open_data 19 逆光時の画像例（右図: 信号機付近の拡大画像） 順光時の画像例（右図: 信号機付近の拡大画像） AD-URBAN

目次 ◼ 金沢大学の自律型自動運転技術への取り組み ◼ 金沢大学の取り組み概要 ◼ 自律型自動運転技術の公道走行実証 ◼ 内閣府SIP事業「自動運転」における取り組み ◼ AD-URBAN事業の概要 ◼ 東京臨海部実証実験における取り組み ◼ 路車協調型の信号認識技術の現状と課題 ◼ 自律型信号認識技術の概要と課題 ◼ 仮想環境を用いた認識不調評価 ◼ 信号残秒数情報を活用したジレンマ回避 ◼ 自動運転技術の社会への導入に向けて ◼ 仮想環境を用いた自動運転技術の安全性評価 ◼ まとめ 20

車載カメラによる信号認識 研究目的と実施概要 21 V2N V2I 都道府県 警察など 信号機現示情報 先読み情報 セルラー 通信 ◼ 研究目的 ◼ 市街地での自動運転 ◼ 遠距離からの信号認識が必要 ◼ 人間でも視認が困難な状況が存在 ◼ 実施概要 ◼ 車載カメラを用いた信号認識技術の開発 ◼ 高精度な信号認識アルゴリズムの開発 ◼ 実道での信号認識技術の評価 ◼ 認識が困難となる条件の検討 ◼ インフラ支援型信号機の有効性評価 ◼ V2I/V2N等の性能評価 ◼ 信号残秒数情報の活用 AD-URBAN

信号機認識技術の概要 ◼ 使用したセンサ ◼ SONY IMX390（車載用カメラ） ◼ 解像度：FullHD相当 ◼ LFM(LED Flicker Mitigation)，HDR (High Dynamic Range)機能搭載 ◼ 使用した技術の概要 ◼ 認識領域を限定した点灯物認識 ◼ デジタル地図情報と高精度自己 位置推定結果の併用 ◼ 不鮮明な矢印灯の状態を認識 ◼ 機械学習技術と，信号灯と矢印灯 の相対的な位置関係を併用 22 信号認識用カメラ2台 ・通常カメラ（画角53deg） ・望遠カメラ（画角27deg） K. Yoneda, et al., “Robust Traffic Light and Arrow Detection Using Digital Map with Spatial Prior Information for Automated Driving”, Sensors, 2020 AD-URBAN

信号認識技術の性能評価 ◼ 信号認識率の評価: ◼ 個別信号機単位の性能評価: ◼ 信号機のROI毎に点灯状態を判定（地図情報を活用） ◼ 交差点単位の性能評価: ◼ 交差点に接近する一連の走行データ (交差点接近シナリオ) ◼ 同一交差点の信号機の多数決戦略で状態を判定 ◼ 評価データ（車載カメラ画像） ◼ 東京臨海部で撮影 ◼ 42,603枚（全てLED式信号機） ◼ 信号灯: 81,273件 ◼ 矢印灯: 8,555件 ◼ 隠蔽：8,158件 （車/構造物等の隠蔽含む） ◼ 交差点接近シナリオ: 233件 ◼ 日中，夜間，雨天，逆光・順光 23 AD-URBAN

個別信号機単位での性能評価結果 ◼ 性能評価結果 ◼ 評価指標：F値 ◼ Precision，Recallの調和平均 ◼ 評価結果： ◼ 平均認識率96.3% ◼ 信号認識が不調となる要因 ◼ 隠蔽，背景同化，逆光，夜間（矢印信号のぼやけ） ◼ 東京臨海部での実証実験で確認 ◼ 影響は一時的であることがほとんど 24 逆光 夜間 背景同化 隠蔽 認識率 (120m以内) 信号機 単位 青信号 0.984 赤信号 0.978 矢印灯 0.928 平均値 0.963 個別信号機単位での評価結果 AD-URBAN

仮想環境を用いた雨天時の評価 ◼ 雨天時の認識不調の懸念 ◼ フロントガラスの雨滴 ◼ 実証実験では激しい降雨が発生せず ◼ 仮想環境での検証 ◼ 実環境では検証が困難な状況 ◼ DIVP仮想環境の使用 ◼ センサシミュレーション ◼ 網羅的な安全性評価 ◼ 仮想環境での評価結果 ◼ 激しい降雨による不調 ◼ 雨滴による遮蔽 ◼ 色合い変化による誤認識 25 DIVP仮想環境（黄色信号灯） 実証実験時の雨天画像例 Driving Intelligence Validation Platform AD-URBAN

太陽光の影響評価 ◼ テストコースで追加的評価を実施 ◼ 東京臨海部では背の高いビルが存在 ◼ 逆光時の影響 ◼ 点灯部周囲5~10deg程度の領域のみ影響発生 ◼ 複数の信号機があれば影響はほとんどない ◼ ランプ式・LED式共通 ◼ 順光時の影響 ◼ LED式信号機では影響が相対的に少ない ◼ 点灯色が不鮮明になるが点灯状態は判別可能 ◼ ランプ式信号機では点灯状態の判別が困難 ◼ 全てのライトが点灯しているように見える ◼ 影響の範囲は広範囲 26 順光時の様子 逆光時の様子 影響範囲は 5～10度程度のみ 逆光時の影響範囲（LED・ランプ式） 広範囲に影響 （ランプ式信号機） 順光時の影響範囲（ランプ式） AD-URBAN

交差点単位での性能評価 ◼ 交差点への進入判断 ◼ 複数信号機が存在する場合 ◼ 多数決判定が可能 ◼ 交差点単位での信号認識率 ◼ 120m以内で平均で約99.0%程度 ◼ 信号認識が原因で交差点進入に課題と なる状況は発生せず（東京臨海部） ◼ 全てLED式信号機の場合 27 A B C D E 交差点単位での評価結果 平均認識率 (120m以内) 信号機 単位 交差点 単位 青信号 0.984 0.997 赤信号 0.978 0.992 矢印灯 0.928 0.982 平均値 0.963 0.990 AD-URBAN

信号認識技術の課題 ◼ 東京都臨海部での実証結果を踏まえた考察 （LED式信号機の場合） ◼ 認識不調が一時的な場合：交差点進入判断に影響なし ◼ 未検出：交差点に複数の信号機が存在するなら他の信号機から判断可能 ◼ 誤検出：瞬間的な誤検出であれば時系列処理によって影響を低減可能 ◼ 全ての信号機が認識できない状況が一定時間継続する状況 ◼ 遠方で未検出が継続する状況は確認されているが接近すると認識可能 ◼ 東京都臨海部以外の地域における考察 （ランプ式信号機の場合） ◼ 順光の影響により，交差点進入判断が不可能となる場合も存在 ◼ 光り方が弱く見える信号機の場合，認識距離が短くなる場合も存在 28 順光時の様子(全ての灯色が点灯と誤認) 逆光時の様子(他の信号機から判断可能) ランプ式信号機 LED式信号機 AD-URBAN

自律型信号認識の課題 ◼ 自律型信号認識による交差点進入 ◼ 交差点直前で点灯色が変化 ◼ ジレンマゾーンでの急減速 ◼ 40km/h走行時の事例 ◼ 停止線40m手前から減速を開始 ◼ 最大限速度0.38G 29 青信号を認識して交差点接近 （信号機距離: 120m） 停止線40m手前で黄色信号を認識 (信号機距離: 69m) -0.4 -0.3 -0.2 -0.1 0 0.1 0 10 20 30 40 50 0 3 6 9 12 15 経過時間 [sec] 車速 [km/h] 加速度 [G] 信号認識結果 AD-URBAN

インフラ支援型信号機の有効性評価 ◼ 使用した機器 ◼ V2I信号情報，V2N信号予定情報受信車載機 ◼ 東京臨海部および奈良県で評価を実施 ◼ 評価項目 ◼ カメラ/V2I/V2Nの認識距離・認識タイミングの比較 ◼ 試験車両にV2I/V2N車載機を同時搭載して比較評価 ◼ ジレンマゾーンでの減速度抑制の効果 30 V2I/V2N車載機 5Gルータ V2Iアンテナ AD-URBAN

各方式の信号機認識距離の比較 ◼ 認識可能距離 ◼ V2N>V2I>カメラ（カメラでの認識可能距離は最大で150m程度） ◼ 交差点通過判断には概ね120m(*)必要と試算 ◼ どの方式でも交差点通過には支障のない認識距離 ◼ 各方式のフュージョンによるさらなるロバスト化が可能 ◼ 交差点進入判断に加え，新たな付加価値の提供の可能性 ◼ 例）低燃費走行を見据えた走行など（V2N） ◼ 遠距離認識が可能なV2Nを有効活用 31 0 50 100 150 200 250 300 350 535 540 545 550 555 560 V2N V2I カメラ [s] [m] より遠方からの認識が可能 経過時間 認識距離 ﾃﾚｺﾑｾﾝﾀｰ前交差点通過時認識状況(ｶﾒﾗ) 通過後（視認範囲外） (*) メータ車速60 km/h (実車速約55 km/h) で 0.1G減速に必要な距離として試算 AD-URBAN

信号残秒数情報を活用した 信号協調走行 ◼ インフラ支援型信号機の効果 ◼ 無線による信号現示情報の取得，信号残秒数情報の活用 ◼ 信号残秒数情報を用いたジレンマゾーンでの事前減速 ◼ 公道走行試験 ◼ 羽田地区・お台場地区 ◼ 公道におけるジレンマゾーンでの減速度抑制効果を確認 ◼ 自律型交差点進入：-0.4G ⇒ 信号協調交差点進入：-0.2G 32 信号残秒数取得例 0 2 4 6 8 10 12 -10 -8 -6 -4 -2 0 2 4 6 Velocity [m/s] Time to yellow signal[s] W/ Prediction W/O Prediction 早いタイミング での減速 減速度の抑制 AD-URBAN

信号認識技術のロバスト化に向けたインフラ の在り方 ◼ 信号認識率の向上に資するインフラの状況 ◼ 交差点に信号機を複数設置することが望ましい ◼ LED式信号機が設置されていることが望ましい ◼ インフラ支援型信号機の有効性 ◼ 視界外の信号状態把握 ◼ 大型車による隠蔽， ◼ カーブ通過後信号等 ◼ 多重系構成によるロバスト性向上 ◼ 特に信号機が1つしかない交差点等 ◼ インフラ支援型信号機の設置が望ましい ◼ ジレンマゾーンでの減速度抑制 ◼ 安全運転支援にも有効 33 大型車両による信号隠蔽 カーブ通過後の信号機

目次 ◼ 金沢大学の自律型自動運転技術への取り組み ◼ 金沢大学の取り組み概要 ◼ 自律型自動運転技術の公道走行実証 ◼ 内閣府SIP事業「自動運転」における取り組み ◼ AD-URBAN事業の概要 ◼ 東京臨海部実証実験における取り組み ◼ 路車協調型の信号認識技術の現状と課題 ◼ 自律型信号認識技術の概要と課題 ◼ 仮想環境を用いた認識不調評価 ◼ 信号残秒数情報を活用したジレンマ回避 ◼ 自動運転技術の社会への導入に向けて ◼ 仮想環境を用いた自動運転技術の安全性評価 ◼ まとめ 34

自動運転技術の社会 への導入に向けて ◼ LV4車両のサービスカーへの導入 ◼ 適切なODDの設定が前提 ◼ 自律型自動運転の技術向上 ◼ 車載センサによる認知・判断技術の向上 ◼ How safe is safe enough？ ◼ どこまで安全なら十分に安全か？ ◼ 人が考える安全の定義は千差万別 ◼ 自動運転システムの安全性の検証 ◼ 合理的に予見可能かつ防止可能な 範囲で交通事故を発生させてはなら ない（国連WP29） ◼ Reasonably foreseeable and preventable ◼ 実道＋仮想環境での安全性評価 ◼ 網羅的かつ効率的な検証手段が必要 35 ODD：Operational Design Domain 米国内でのL4サービスの例 (WAYMO@2023)

仮想環境での安全性評価 に向けた取り組み ◼ アノテーションの重要性 ◼ 各種AIモデルの学習 ◼ 認識・予測・判断結果の評価 ◼ 仮想環境での安全性評価 ◼ 公道走行データのタグ付け ◼ 人手によるアノテーション作業 ◼ 物体種別・形状向き等 36 赤：Car，黄：Truck 橙：Bus，紫：Motorcycle 水色：Pedestrian お台場で取得したセンサデータのタグ付け結果（手動） 前方カメラ 後方カメラ 左側方カメラ 右側方カメラ ・センサデータ収集 ・データアノテーション ・AIモデル学習 ・システム評価 （認識・予測・判断） AD-URBAN

仮想空間を用いた自動運転システム の安全性評価 37 ◼ シナリオへのバリエーション付加による「網羅的」な評価 ◼ 実環境では検証が難しい様々なシーンの検証 ◼ 車両位置・遭遇タイミング・天候環境等 AD-URBAN

シナリオの自動抽出 ◼ 実証データを活用したADシステムの安全かつ効率的な評価 ◼ 走行データからシナリオを自動抽出（SIP成果の高度化） ◼ 自己位置推定結果，移動物認識結果，信号認識結果など ◼ 仮想空間を活用した現実世界と類似した試験の実施 38 経済産業省 令和5年度 「無人自動運転等のCASE対応に向けた実証・支援事業 （自動運転技術（レベル３、４）に必要な認識技術等の研究）」 Car Pedestrian Bicyclist 予測軌道 移動軌跡 AD-URBAN

目次 ◼ 金沢大学の自律型自動運転技術への取り組み ◼ 金沢大学の取り組み概要 ◼ 自律型自動運転技術の公道走行実証 ◼ 内閣府SIP事業「自動運転」における取り組み ◼ AD-URBAN事業の概要 ◼ 東京臨海部実証実験における取り組み ◼ 路車協調型の信号認識技術の現状と課題 ◼ 自律型信号認識技術の概要と課題 ◼ 仮想環境を用いた認識不調評価 ◼ 信号残秒数情報を活用したジレンマ回避 ◼ 自動運転技術の社会への導入に向けて ◼ 仮想環境を用いた自動運転技術の安全性評価 ◼ まとめ 39

まとめ（1/2） ◼ 金沢大学の自律型自動運転技術への取り組み ◼ 1998年から自律型自動運転技術の研究開発開始 ◼ 2015年から国内の大学初の公道走行実証開始 ◼ 内閣府SIP事業「自動運転」における取り組み ◼ AD-URBANプロジェクト ◼ 認識技術の課題の把握とインフラ支援情報の有効性評価 ◼ 東京臨海部実証実験への参加 ◼ 走行日数：244日 ◼ 自動運転走行距離3,970.4km（2019～2022年度） ◼ AD-URBAN open image dataset v1の公開 ◼ 路車協調型の信号認識技術の現状と課題 ◼ 120m以内の信号機をカメラにより99%で認識可能 ◼ 信号認識率の向上に資するインフラの状況と インフラ支援型信号機の有効性確認 40

◼ 自動運転技術の社会への導入に向けて ◼ 仮想環境を用いた自動運転技術の網羅的な評価 ◼ ADシステムの安全かつ効率的な評価 ◼ 実証データを活用したシナリオの自動抽出手法の検討など ◼ 安全安心な自動運転技術の構築 ◼ リアルとバーチャルを融合した安全性評価環境の構築 まとめ（2/2） 41 安全安心な自動運転技術の構築 安全性評価基盤検討体制 シナリオ 仮想環境 自動運転システム AD-URBAN