ドライブレコーダーの映像で Scene Text Recognitionする

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved • 名前：⾼橋⽂彦 • 略歴 • 2015年3⽉京都⼤学⼤学院修了 • 2015年4⽉ヤフー株式会社⼊社 • 2018年8⽉ JapanTaxi株式会社⼊社 • 領域 • ⾃然⾔語処理、画像処理 • 過去の主な仕事 • 配⾞アプリのお迎え時間予測 • ECサイトの検索精度改善 • その他：PM、論⽂書いたり • 趣味 • ボードゲーム、IoTガジェット

Slide 3

Slide 3 text

Slide 4

Slide 4 text

4 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 700万DL超⽇本No1タクシーアプリアプリマップ上で指定したピン位置にタクシーを⼿配。全国47都道府県で約7万台と、全国のタクシー⾞両1/3がアプリで呼べる。 Google Mapsや⾳声AIなど様々な注⽂チャネル、決済、経費精算に対応。 *App Annie調べタクシー配⾞/ライドシェアアプリ内における、⽇本国内累計ダウンロード数/⽉間平均アクティブユーザー数(iOS/Google Play合算値)調査期間：2017年10⽉1⽇〜2018年9⽉30⽇外部注⽂チャネル地図・経路検索 Google Maps iphone map 経費精算 Concur MoneyForward 海外 KakaoT TaxiGo my route iphone siri Alexa/echo spot mydaiz LINE clova Yahoo!乗換案内外部注⽂チャネル⾳声AI NAVITIME タクシー配⾞アプリ『JapanTaxi』

Slide 5

Slide 5 text

5 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 700万DL超⽇本No1タクシーアプリアプリマップ上で指定したピン位置にタクシーを⼿配。全国47都道府県で約7万台と、全国のタクシー⾞両1/3がアプリで呼べる。 Google Mapsや⾳声AIなど様々な注⽂チャネル、決済、経費精算に対応。 *App Annie調べタクシー配⾞/ライドシェアアプリ内における、⽇本国内累計ダウンロード数/⽉間平均アクティブユーザー数(iOS/Google Play合算値)調査期間：2017年10⽉1⽇〜2018年9⽉30⽇外部注⽂チャネル地図・経路検索 Google Maps iphone map 経費精算 Concur MoneyForward 海外 KakaoT TaxiGo my route iphone siri Alexa/echo spot mydaiz LINE clova Yahoo!乗換案内外部注⽂チャネル⾳声AI NAVITIME タクシー配⾞アプリ『JapanTaxi』

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

17 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 課題：学習データを収集するのが⼤変 100.0% 6.9% 2.7% 地図を利⽤しても3%程度しか学習データが集まらない Detection アノテーション Recognition アノテーション Sampling with location Sampled images Detected images Recognized images 地図とGPSの情報を使って写っている可能性の⾼い画像を抽出

Slide 18

Slide 18 text

18 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 課題：学習データを収集するのが⼤変 100.0% 2.6% 0.2% 全体の0.2%程度しか学習データが集まらない Random Sampling ⾃動 Detection Recognition アノテーション Detected images Recognized images

Slide 19

Slide 19 text

Slide 20

Slide 20 text

20 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved ⼀般的なSean Text Recognitionのモデル CNN Layers Bi-LSTM Layers Recognition Layer --1222--22-- 122 • CTC(Connectionist Temporal Classification)で⽂字列を予測 • ⾳声認識でも使われる系列予測の⼿法 [An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition, Baoguang Shi et al., IEEE Trans. Pattern Anal. Mach. Intell. 2017] CNN-RNN Model (baseline)

Slide 21

Slide 21 text

21 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved CTC(Connectionist Temporal Classification)とは • ⼊⼒と出⼒の系列⻑が違う場合に⽤いられる損失関数 • ⾔語処理ではEndoer-decoderモデルが使われることが多いが、 CTCは信号処理のような⼊⼒の切れ⽬が曖昧なもので使われることが多い • blank(空⽩⽂字)を導⼊して、正解⽂字列を順番に⽣成する確率を求める x ---111--22-22-- 122 ----112222--22- 122

Slide 22

Slide 22 text

22 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 関連研究：Multi-task Learning [An Overview of Multi-Task Learning in Deep Neural Networks, Sebastian Ruder, 2017] 関連する複数のタスクを同時に学習させることで、予測精度を向上させる

Slide 23

Slide 23 text

Slide 24

Slide 24 text

24 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Multi-task Learning of Scene Text Recognition CNN Layers Bi-LSTM Layers Recognition Layer 122 • Classificationは数字が写っている場合1.0、写ってない場合0.0 • RecognitionとClassificationの両⽅のlossからBack Propagation 1.0 数字が写っている画像の学習 Classification Layer

Slide 25

Slide 25 text

25 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Multi-task Learning of Scene Text Recognition CNN Layers Bi-LSTM Layers Recognition Layer • ClassificationのlossからのみBack Propagation • ClassificationのLoss functionはMean Squared Error 0.0 数字が写っていない画像の学習 Classification Layer

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

28 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 設定 • training set と validation setは2:8になるように時間軸で分割 • データ数に偏りがあるため、Classificationのサンプルごとの重みを画像枚数の割合で設定 • 数字あり(Labeled)：U/(U+L) • 数字なし（Unlabeled）：L/(U+L) 擬似画像数字あり画像 5,280,000 数字なし画像 2,640,000 実画像数字あり画像 402 数字なし画像 2,274

Slide 29

Slide 29 text

29 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 精度評価結果 Text Recognition Classification Accuracy Normalized Edit Distance Precision Recall Single-task Model 0.3088 0.3725 - - Multi-task Model 0.6324 0.1618 0.8824 0.5217 • Multi-task Modelの⽅がRecognitionのAccuracyが⾼い • 実⽤では… • 画像サイズの⼤きさ画像と精度に相関があり、⾞両が近づけば⾼い精度で認識可能 • フレーム間補完を⾏う

Slide 30

Slide 30 text

30 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 学習データ量と精度の関係 0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.0% 20.0% 40.0% 60.0% 80.0% 100.0% Multi-task Model Single-task Model • Multi-taskは少量のデータでも⽴ち上がりが早く、すでに鈍りが⾒えている • Single-taskは学習データを増やすと精度が線形に向上

Slide 31

Slide 31 text

Slide 32

Slide 32 text

32 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 背景：ドライブレコーダーの動画からガソリンスタンドの料⾦を⾃動認識課題：学習データを取集するのが⼤変結論： • 数字じゃない形（データが⼤量）も学習することで少ないデータで精度が向上 • 学習データが少ない時にもMulti-task Learningは有効 • 実⽤上、数字が書かれているかどうかの判定は必要なので、１つのモデルに詰め込めたのは⼀⽯⼆⿃だった

Slide 33

Slide 33 text

Slide 34

Slide 34 text

〒102-0094 東京都千代⽥区紀尾井町3-12 3-12 Kioicho Chiyoda-ku, Tokyo 102-0094 Japan TEL 03-6265-6265 FAX 03-3239-8115 www.japantaxi.co.jp ⽂章·画像等の内容の無断転載及び複製等の⾏為はご遠慮ください。 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved