SSII2023 [OS2] WovenCityに向けたVision AIプラットフォームの開発

小堀 訓成（Woven by Toyota Inc.）

Transcript

3. 3 ① Why are we building Woven City? なぜWoven Cityを作るのか？ Woven Cityの紹介
4. “Woven” とは トヨタグループ創業者 豊田佐吉 トヨタのコアフィロソフィー　「誰かのために」 “Woven” 「織り込まれた」 トヨタグループの創業者である 豊田佐吉は 「機織りをする母を 少しでも楽にさせたい」 という思いから 1890年代に織機を発明
5. Susono, Shizuoka Tohoku region Starting point Great Tohoku Earthquake and production shift 起点は、2011年 東日本大震災と生産の移転
6. CES 2018
7. 3つの
 モビリティ
 Three kinds of Mobility
8. 自動車 のテストコース モビリティのテストコース Woven City 士別 下山 Woven City
9. 9 PURPOSE / “Why we exist” VISION / “Where we want to be” MISSION / “What we do to get there” Well-being for all. 幸せの量産 Building the future fabric of life in a City as a Test Course for Mobility. テストコースの街で、未来の当たり前を発明する。 9 Expand mobility. Enhance humanity. Engage society. 「モビリティ」の拡張 OVERVIEW
10. リアルなテストコースの街
 人の生活を組み込んだ 
 実証実験の街
 働く人・住む人・訪れる人 
 誰しもが発明家

11. 発明をサポートする体制 ハードウェア ソフトウェア 開 発 を 加 速 一緒に創る
12. ! ! ! ! ! ! リアルなテストコースの街 
 発明をサポートする体制 幸 せ の 量 産 ! ! Woven City = モビリティを拡張し、未来の当たり前を発明するためのしくみ NEW IDEA NEW IDEA NEW IDEA
13. Woven Test Course 「Phase1」として 2024年夏に建築工事完了、2025年に一部実証開始予定 <Phase 1> 50,000㎡ 360人が居住予定　　　　　　　　　　　　　　　　　　　その 後も改善・進化し続けていく「未完成の街」 将来は 708,000㎡　175 acres　　を予定
14. サービス紹介
15. Phase1での実証内容の紹介（一部）※実際の内容は変更になる可能性もあります ヒト・モノ・情報のモビリティで心までも動かしていく e-Paletteなどの自動運転や モビリティサービス ロボットなども 活用した物流サービス より「心がつながる」 遠隔コミュニケーション技術 手軽に持ち運べる 水素エネルギー with ENEOS 水素を「つくる」「運ぶ」「使う」一連のサプ ライチェーン実証 with 日清食品 食を通じたWell-beingの 実現に向けた実証 （完全栄養食メニューの提供など） with Rinnai 水素調理器を使用した カーボンニュートラルへの 貢献などに向けた実証
16. Concept of ‘City as a Test Course for Mobility’ 「テストコースの街」のコンセプト Human-Centered ヒト中心の街 Living Laboratory 実証実験の街 Ever-Evolving 未完成の街
17. 17 ② Vision × AI Development for Woven City Vision AI Platformの紹介
18. ① ユーザーのフィードバック ③ ソフト開発サポート ② データ活用 ④ ハード開発サポート 人の会話や動きなどから、 アンケートには現れないような 本質的/潜在的なヒトの評価や フィードバックを得ることが可能 ヒトのプライバシーを保護しつつ ユーザーの行動などのデータを 開発に活かすことができる ヒトの動きまでをデジタル上で 再現し、ヒトと街とモビリティがどの ように安全かつ効率的に 共存できるかシミュレーション トヨタの強みであるヒトのことを第一 に考えたプロダクト開発のノウハウ でモノ作りをサポート 「ヒト中心」の考えのもと、4つの領域で発明家をサポート 発明をサポートする体制 Vision x AI
19. 防犯カメラをもっと活用してみませんか？ 
 映像から得られる情報は多くあり、それを AIで分析することで、防犯用途だけでなく、様々なビジネスニーズに答えることが 
 できます。
 
 Woven Cityでは、ユーザープライバシーへの配慮を大前提とし、計測される映像データに AIをオンライン実装できる環境を用意　してお り、映像とAIの様々なアイデアを試すことができます。人やモノの動線理解、人の行動理解などを AIが行うことで、適切な空間設計や情報 提供が可能で、分析の自動化や人の省人化が図れます。 
 
 価値ある映像を記録 
 映像データの中から、分析に有効な データや人のノウハウに関係するデー タを、効率よく収集できるデータパイプ ラインを提供します。 AIを効率よく賢く することが可能です。 
 
 カメラによる人の高精度測位技術、 
 カメラ間トラッキングによる人の 
 動線理解、人の行動認識・異常認識、人 の視線推定、人の顔認証など、 
 多様なAIを提供します。
 都市のカメラ映像とあなたの AIを
 繋げ、街の環境でアイデア検証が 
 可能です。オンライン検証ができ、クラ ウドソリューションのため 
 オンデマンドでの実験が可能です。 
 多様なAIを提供
 AIの開発環境の提供
 映像 ✖ AIで自動化/省人化を図る
 Feature 01 Feature 02 Feature 03 Vision × AI Vision AI P/F
20. Woven City 開発全体像： デジタルツインのテストコース リアル / デジタル２つのテストコースを構築、世界一高速で改善を回し、連携サービスを創り出す Test products and services in the real and digital worlds, and iterate and improve. 改善 Improvement デジタルテスト Digital Test リアルテスト Real Test デジタルテストコース Digital Test Course “ Woven Digital Twin “ リアルテストコース Real Test Course “ Woven City “ ソフトウェア・ファースト開発 Software First Development 改善 Improvement 人/物/情報のモビリティサービス People / things / information mobility services データ / 制御連携 Data / control connection リアル × デジタル Hub Real × Digital Hub “ Woven Connect ” リアル “ 連携サービス “ “ Cross-industry Orchestrated Services “ Vision AI P/F
21. カメラによる動線理解の有用性： デジタル↔リアルの一致の必要 センサポールとカメラの導入（従来の防犯目的兼） カメラによる動線理解　 → シミュレーションの高精度化 （商業施設、交差点の道路など） • 動線理解は物流やエネルギーの最適化など様々な用途で活用 • カメラによる動線理解 → 従来の防犯カメラを利活用 • 実環境での動線理解は、デジタルツインの高精度化に貢献 Vision AI P/F 開発技術 ①REIDによるカメラ間トラッキング ②カメラの同期（デジタル⇆リアル） 　・カメラ間キャリブレーション 　・カメラ視線制御：ONVIF遠隔操作
22. 提供する多様な AI、開発ツール群
 Face Indentification (顔認証) 顔を登録するとその人が誰かが分かります。 
 セキュリティゲートやペイメントの認証、その人と関連したい情報を紐 づけるために使います。 
 ReID Tracking （人物照合） カメラ間での同一人物照合で、 
 カメラを設置している空間の人の動線を作成するのに役立ちます。 
 屋内外を通した広い空間での活用分析に応用できます。 
 Person Detection (人物検出) 人物の検出機能で、人の混雑具合、来場者人数カウントなど、 
 人の出入りなどの分析から、エリアごとの人数統計を使った 
 エネルギーマネジメントなどに活用できます。 
 Depth Estimation (位置推定) 人やモノの奥行き方向の位置推定が可能です。 
 人が３次元上でどこにいるのか、車や物体との距離推定が可能になり、 交通安全など接触防止などに活用可能です。 
 Human Pose Estimation (骨格推定) 人の骨格推定を２次元、３次元で認識できます。 歩き方の歩行推定から、歩行速度、姿勢などの異常検出 また骨格情報からジェスチャー認識や視線推定なども可能です。 Anomaly Detection (異常検出) 異常検出機能で、人の動作で正常動作から逸脱するような行動を 
 検出します。物理セキュリティなどで活用できます。 
 また動きの成熟度なども分析でき、工場などの工程で、作業の成熟度を 
 計測するなどが可能です。 
 Activity Recognition (行動認識) 様々な行動を事前に定義することで、その行動が発生した場合にリアルタイム に検知し、通知も可能な行動認識機能です。 
 例えば、会話の数、食事の噛む回数などは健康の指標に応用できます。 
 また物をとる、返すなどの基本動作の認識は、スマートペイメントなどに活用可 能です。
 以下の学会に採択 　CVPR2023: 1件 　AAAI2023: 1件 Vision AI P/F
23. Vision AI P/F Istio: load balancing gRPC inference requests to model serving Calico: Container Network Plugin for Kubernetes AI映像処理にスケーラブルな基盤ソフトウェアP/F Redis Kafka Model serving
24. Kafkaを使用したマイクロサービスアーキテクチャ Num of cameras Image streams Face identification Person Detection ReID tracking ・・・ Number of AI models Num of cameras Image streams Face identification Person Detection ReID tracking ・・・ Activity recog Depth estimation Human pose estimation Monolithic Architecture Microservices Architecture 目標： 数100台のカメラ映像を10FPSで処理できる → カメラ台数やAIのモデルの数は可変 カメラ台数やAIのモデルの数の変更に対応困難。。 分散化マイクロサービスアーキテクチャはスケーラブル！！ Vision AI P/F
25. オンラインREIDトラッキングによる動線理解の概要
 技術特徴 / 強み： 
 
 ① カメラ間のトラッキングを完全自動化、オンラインで実施可能 
 
 ② GraphDBを利用し、人の導線と行動理解に特化した効率の良いデータ表現、検索の高速化を実現 
 　 
 ③ Privacy by design による設計
 
 ④ 世界最先端のAIを実装
 
 ⑤ 人の３次元高精度測位　→デジタルツイン上に人を投影したり、 シミュレーションの高精度化が可能 　
 
 
 A B C D E Vision AI P/F 本日ご紹介
26. Privacy by Design による設計 ❏ PII (personally identifiable information)データと切り分けた設計、基本設計では個人同定はしない ❏ 使用するエリアは限定的、かつ、明示する。分析したい商業施設、交差点の横断道路など、公共性の場所に限定 ❏ 顔認証は使用したい人にのみ、事前に同意をもらう。オプショナルの設計で、データのオプトイン・アウトが可能 ❏ 対象者は、実証実験の街のコンセプトを理解している人のみ Tracking Tracking RE-ID A PERSON (under anonymization) Statistic analysis service only Woven Cityでは、「ヒト中心の街」というコンセプトのもと、 ”プライバシーファースト”のアプローチで実証を行います
27. グラフデータベースとは？ Camera nearby nearby nearby nearby Graph DB visualization on browser window Tracking instance Image (s3 path) - Graph DB はデータをノード、データの関係性をエッジで表現 - 関連情報は直接エッジで表現できるため、リンク構造を活用してデータを効率よく検索できる - カメラの位置関係をGiven,　カメラ映像内のトラッキング結果を1つのノードとして表現 Graph/REID
28. アルゴリズムの処理フロー ❏ 近傍のカメラにのみフォーカスして、 カメラ映像での人のIN・OUTをチェック ❏ ReID 特徴量を抽出し、近傍のカメラにいる人にの み類似度計算を行う ❏ ローカルマッチングした結果をグラフ DBに反映す る cam 1 cam 2 MTMC (Multi-Target Multi-Camera tracking) Update graph DB online! Graph database Pass & match ReID information Match! オンラインREIDトラッキング と グラフデータベースの活用方法
 Graph/REID
29. Graph/REID グラフデータベースの活用の特徴
 提案手法は、ターゲットユーザの服装が変わっても (注) 、１枚の画像から全体の動線を得ることが可能 注）カメラ内で服装を変更する場合 1 2 4 5 7 3 6 ReID Feat of User B Input: High Similarity User B Graph DB 動線の検索に特化した設計をしている点がポイント！！
30. Graph/REID Task: 対象者の最新位置情報を検索する
 Task: • ターゲットの最新位置を取得 (= the latest STrack) . Input: • ターゲットのReID特徴量 Output: • ユーザーの最新のSTrack (= 対象の軌跡の最新のSTrack node） 1 2 4 5 7 3 6 ReID Feat of User B Input: Highest Similarity 1’’ 2’’ 1’ 3’ 2’ 1’’’ User B User A User C User D Output Graph DB STrackとは、 カメラ内トラッキング結果で、一連の人物画像群を 内包するノード。対象人物がカメラ画角から外れた り、トラッキングが外れたりすると、新しいノードが発 生する。
31. Graph/REID Methods for Latest STrack Retrieval
 NAIVE (w/o GraphDB; Brute-force search) 1. DBの全てのノードに対して類似度計算 2. 閾値以上のノードを選別 “cosine similarity > th” 3. 最新の時間のSTrackを結果として返す GRAPH_1A/B 1. root ノードを探す a. A = Offline method (評価前に、ルードノードを事前に マークしておく) b. B = Online method (Pattern discovery) 2. ルートノードに対して、類似度計算の実施 3. 類似度が一番高いノードを取得 4. グラフ構造をたどり、最新の Leafノードを 結果として返す 1 4 feat Input: 1’ 2’ User B User A Output Graph DB 0.5 < th 0.4 < th 0.8 < th 0.9 > th 0.9 > th 0.9 > th 3 2 1 4 feat Input: 1’ 2’ User B User A Output Graph DB 0.5 < th 0.8 < th 3 2 Highest Similarity *frame_id 1* グラフ構造を使うことで、類似度計算する ノード数を削減できる
32. Graph/REID Result： 処理時間
 • データの増加に伴い、処理時間が線形で増加する。特に、 Naive methods では、増加率が一番高い。 • rootノードから検索する方法(GRAPH_1A/B) は、他どの手法よりも検索時間が短縮化できている ◦ 注意：rootノードの数は、leafノードの数よりも少ない • rootノードのオンライン・オフライン探索の違い（ A/B）は小さい x12
33. Result - Accuracy • Ground Truth = 最新のSTrackノード Method Accuracy NAIVE 0.42 GRAPH_1A 0.93 GRAPH_1B 0.93 GRAPH_2A 0.91 GRAPH_2B 0.91 GRAPH_3A 0.07 GRAPH_3B 0.07 Graph/REID
34. Woven Cityを活用した実証計画の事例 ＆ データ基盤の紹介 Vision AI P/F Human in the loopの仕組みにより、警備サービスの高度平準化（警備員の省人化） WA
 Vision AI
 警備会社
 警備システム
 警備会社
 駆付警備員
 カメラ映像を常 時監視 異常検知
 駆付警備員に 
 対応指示
 対応・報告 報告受領 Vision AIにフィー ドバック 警備会社
 監視警備員
 対応すべき 
 事象
 駆付要否
 判断
 実証 最終形 Vision AIが 判断 （無人化） ✅実務ノウハウの蓄積 蓄積されたノウハウ：事象発見 ⇨判断 ⇨駆け付け対応 学習用データとして蓄積 → 未検出の低減化 ✅人とAIの協調的の作業によるAIでの自動遷移化 AIと人による警備監視を同時に行う AIの異常検知を人がチェック →誤検出の低減化 Human in the loopによるデータパイプラインを構築することにより、価 値あるデータを中心的に集めることが可能。 また用途は警備サービスに関わらず、汎用的なデータ基盤。 誤報
 Human in the loop 
 進化しつづけるAI 
 Human in the loop　レポート 出動：　あり　なし 事象：　倒れ込み 対応内容 現地に駆けつけ、意 識確認、仮睡の可能 性が高い 駆付要否
 判断
 異常検知
 駆付警備員に 
 対応指示
 対応・報告 カメラ映像を常 時監視 実証初期 Vision AI 警備会社 共同構築
35. まとめ ❏ Woven City「テストコースの街」 Purpose ：　Well-being for All, 幸せの量産 Vision ：　「モビリティの拡張」 →トヨタのモビリティカンパニーへの変革に貢献 Mission ：　テストコースの街で、未来の当たり前を発明する ❏ Vision AI Platformの紹介 ❏ デジタルツインの重要性 と カメラ同期（バーチャル⇆リアル） ❏ 開発者支援ツールの提供 ❏ 多様なAI ❏ データ基盤（Human in the loop） ❏ AIデプロイ環境基盤(分散化アーキテクチャ) ❏ グラフデータベースを活用したオンラインでの人の動線理解 ❏ AIを活用した警備業務の省人化の取り組み