AI × カメラ活用最前線 リテール業界にイノベーションを起こすプロダクト開発/SORACOM Tech Days 2021 day1_4

SORACOM Tech Days 2021 セッション資料です。
これまでにない方法で、リテール業界全体にイノベーションをもたらすAWL。特にカメラとAI技術を組み合わせることで、リテール (小売) 業界が抱える様々な問題の解決、そして新たな顧客体験の創出を技術面から力強くサポートしています。本セッションではAWL CTOの土田さんから、リテール業界向けテクノロジーのサービス設計、カメラを主軸にしたAI技術の活用、そして開発組織やこれから期待されるエンジニア像について、20分間でお話いただきます。

AWL株式会社
CTO
土田 安紘氏

Transcript

1. AI camera solution company
2. ©2021 AWL, Inc. 自己紹介 2 土田 安紘 AWL株式会社 取締役CTO（弁理士） 北海道勇払郡生まれ。 。 北海道大学大学院修士課程修了。 2001年4月に松下電器産業株式会社（現パナソニック（株））に入社し、 NTTドコモ向け携帯電話のミドルウェア開発に従事の後、本社R&D部門 にて幾つもの新規事業開発プロジェクトを牽引。 その後、米国シリコンバレーでの社内起業プロジェクトリーダに抜擢さ れ、2012年から2016年まで米国・日本市場向けのモバイルO2Oサービ ス事業の立ち上げを主導。 。 AI新時代の到来、AI活用ビジネスの最前線で業界リーダーとして”ふるさ と北海道”からグローバル市場を切りひらくための挑戦の場として魅力を 感じ、参画。全社技術戦略、知財戦略を統括。2019年9月に取締役就任。
3. ©2021 AWL, Inc. 会社名 AWL株式会社 （北大発認定ベンチャー） 設 立 2016年6月 株 主 経営陣、サツドラHD（東証一部）他 資本金 1億円（連結） 従業員数（連結） 84名（2020年7月31日時点） 所在地 東京本社 ：東京都千代田区丸の内3丁目3番1号 新東京ビル4階 札幌本社 ：北海道札幌市東区北８条東４丁目1-20 AI HOKKAIDO LAB ：北海道札幌市北区北21条西12丁目2 北大ビジネススプリング105 研究開発子会社 ：ベトナム・ハノイ（AWL Vietnam Co., Ltd） ※2021.3.16付で東京・札幌 2本社制となりました。 AWLについて 上級技術顧問 川村 秀憲 社外取締役 富山浩樹 取締役 CTO 土田 安紘 技術顧問 Biplab Banerjee 代表取締役社長 北出 宗治 3
4. グローバルチームによるソリューション開発 VIETNAM SAPPORO SAPPORO 研究開発（子会社） Head Office Corporate R&D Worldwide & PoC 北大ビジネススプリング AI HOKKAIDO LAB INDIA 技術連携 Head Office TOKYO インド工科大(IIT)ボンベイ校 助教授を技術顧問に招聘・共同研究 数多くの経験を重ねた エンジニアスペシャリスト集団 従業員の国籍 17カ国 ドラッグストア「サツドラ」にて データ取得＆実証開発 北海道大学発ベンチャー 4 ©2021 AWL, Inc.
5. ©2021 AWL, Inc. GlobAWL AWLはAI・ディープラーニングをベースとする動画解析のトップランナーです。 世界17ヵ国から集う精鋭が生み出すソリューションは、AIの社会実装に貢献し、 AI産業にインテリジェンスをもたらしています。 5
6. ©2021 AWL, Inc. AWLのEdge AIカメラ技術 Point 1 Point 2 Point 3 Point 4 Point 5 Point 6 初期投資を抑え、 低コストで導入 スピーディーに 利用を開始 パートナー企業様による 機能開発 コロナ対策・販売支援・防犯 など、汎用性の高い運用 世界中の店舗の映像を クラウドで一元管理 クラウドを介さずに 映像をリアルタイムで処理 「防犯映像を一元管理するレコーダーとして高機能」に加え、「Edge AIカメラ技術による映像分析」を低価格で実現 (特許第6644231号) 6
7. ©2021 AWL, Inc. 製品／サービス 既設カメラと簡単に接続 AWLBOX 最大3台のカメラで混雑度分析 AWLBOX mini コロナ対策・店舗の状況分析 AWL Lite 非接触・顔認証・混雑回避 AWL thermo 既存の防犯カメラにクラウド映像管理と多様なAI機能を組み合わせた AIカメラソリューション 7
8. © 2021 AWL, Inc. AWLBOX 8
9. 9 AWLBOXによる人物の分析
12. 12 入店から退店まで、お客様の店内行動をデータ化 1. 来店時間 2. 退店時間 3. 店内滞在時間(2-1) 4. 来店者属性 5. 再来店者ID 1. 棚前滞在時間 2. 顧客滞在ヒストグラム 3. (サイネージ等)視聴時間 4. 商品接触 1. 買い周り・ついで買い 1. レジ待ち時間 2. レジ時間 1. レジ待ち行列
13. 13 お客様の店内行動をデータ化で、店舗オペレーション改善 1. 来店時間 2. 退店時間 3. 店内滞在時間(2-1) 4. 来店者属性 5. 再来店者ID 1. 棚前滞在時間 2. 顧客滞在ヒストグラム 3. (サイネージ等)視聴時間 4. 商品接触 1. 買い周り・ついで買い 1. レジ待ち時間 2. レジ時間 1. レジ待ち行列 POSデータ 棚割データ 店舗のオペレーション改善 売上向上 ・・・
14. © 2021 AWL, Inc. AWLの技術
15. 15 © 2021 AWL, Inc. 皆さん正直こう思いましたよね？ そんなのよく見るし・・Githubのサンプルコードで見たこと有るし・・ エッジへの実装は色々と大変です
16. 16 © 2021 AWL, Inc. • ここ数年で色々な技術が登場 • 畳み込み処理の推論部の高速化に特化した安価・低消費電力チップ／ソフトウェアを 利用することで、クラウドではなくエッジ側でDLによる画像認識処理を実施 • 例えば、ラズパイ＋DNNチップという廉価システムで高度な映像分析可能 Edge AIカメラ AIカメラ≒セキュリティカメラ＋DNNチップソリューション
17. 17 © 2021 AWL, Inc. DNNチップ例 GyrFalcon 2801S 色々凄そう よくわからないが 凄そう ！？
18. 18 © 2021 AWL, Inc. DNNチップの制約 ⇒ 実用に耐える性能と精度の両立の困難さ • DNNチップ毎に差異はあるが、チップで高速実行されるのは、極々限られた畳み込み演算周り のオペレーションのみ • 一見色々サポートされているように見えても、ハードで処理されないものをソフト側で実装してい るためであり、これらオペレーションの実行速度はホストCPU依存となる • 量子化(INT8、場合によってはそれ以下)、その他モデル軽量化処理が必須。しかし、モデル の軽量化は汎化性能の劣化を招くため、多様な場所・充分な性能で動作するAIアプリ開発 は非常に困難
19. 19 © 2021 AWL, Inc. ◼ VMS活用した、高効率・低コスト運用可能なEdge AIカメラシステム ◼ 複数カメラ映像の処理優先度制御、DNNチップによる推論処理を効率的に実施 (特許第6644231号) ◼ 設置先の状況に応じてモデルを効率的にチューニング(特許出願中) AWLのEdge AI カメラシステム -AWLBOX system- AWL Store Recorder (VMS) AWLBOX system Video Manager GPU Manager Application FW アプリ (Pipeline) Model Manager AWL Trainer モデル App/Device Manager AIエッジデバイス＋DNNチップ AWL Cloud モデルDB アプリDB デバイスDB マルチロケーション マルチカメラ マルチストリーム
20. 20 © 2021 AWL, Inc. Video Manager GPU Manager Application FW モデル ◼ VMS活用した、高効率・低コスト運用可能なEdge AIカメラシステム ◼ 複数カメラ映像の処理優先度制御、DNNチップによる推論処理を効率的に実施 (特許第6644231号) ◼ 設置先の状況に応じてモデルを効率的にチューニング(特許出願中) Video Manager / GPU Manager 各カメラ映像の状況（あるカメラはたくさんの人が映っていて、他は閑散など） に応じて、GPUリソースの配分・認識処理遅延（優先度の低い認識処理を後回し、 VMSより映像を取得して後ほど実施する）ことで GPUリソース有効活用（低コストGPUリソースで最大限のAI処理）を図る マルチストリーム
21. 21 © 2021 AWL, Inc. AWL Store Recorder (VMS) Video Manager Model Manager AWL Trainer モデル モデルDB ◼ VMS活用した、高効率・低コスト運用可能なEdge AIカメラシステム ◼ 複数カメラ映像の処理優先度制御、DNNチップによる推論処理を効率的に実施 (特許第6644231号) ◼ 設置先の状況に応じてモデルを効率的にチューニング(特許出願中) AWL Trainer 各カメラ映像の画角・光源・その他状況に応じて認識精度を半自動で改善し、モデルをデプロイ （特許第6651085号等）、最先端のDL技術(Domain Adaptation / IITB共同研究)や、3D CGによる データセット生成技術（特許出願中）により、低コスト・高精度モデル生成の仕組み実現 マルチロケーション
22. 22 © 2021 AWL, Inc. 3DCGによるデータセット生成 マルチロケーション
23. 23 © 2021 AWL, Inc. AWL Trainerによりファインチューニングコスト大幅削減 ◼ 3D CG Data Synthesizingにより、効率的学習に寄与するデータを自動生成(特許出願中) ◼ 半教師あり学習により、僅かなデータのみアノテーション ◼ データ収集→モデル学習完了・デプロイまで５営業日程度で実現 ※ ※客・店員分類モデルの場合、モデル種別により期間・コストは異なる 未ラベル データ収集 クレンジング・ アノテーション 検査 再学習 (チューニング) 検証 数か月・数人月の工数 一般的な 再学習 (チューニング) AWL Trainer Edge AI端末より適切 な未ラベルデータ収集 ３D CG ラベル付デー タセット自動生成 半教師あり学習 検証 １－２日・工数０ 数 か 月 ５ 日 マルチロケーション
24. © 2021 AWL, Inc. AIエンジニアを目指す 皆様へ向けたメッセージ 24
25. ©2021 AWL, Inc. AWLのマネジメント・方向性 25 心がけていること： 技術で紡ぐビジョンを示す 求めていること： チャレンジ精神と拘り AWLのフェーズ： ・資金調達(シリーズB)完了 ・AWL Liteのライセンスビジネスを主軸とした事業立ち上げ ・IPOに向け「上場会社」たりうる仕組みの確立 ・AWLのコアは Edge AI x CV x IoT 最先端の技術開発にチャレンジし、技術確立し、ビジネス化する エンジニアチームにもとめていること： ・尖った技術（を追い求める）力 ・グローバルコミュニケーション
26. コンタクト〈ともに、未来を築こう〉 https://awl.co.jp/contact/ ©2021 AWL, Inc.