タクトピクセル 研究開発レポート 20190327

タクトピクセル株式会社は印刷製造業向けに深層学習技術を活用する技術開発を進めている。現在製品化されているPOODLの内部で使用されている技術や、同時並行で進めている研究・技術開発について現在の状況をまとめた。
https://taktpixel.co.jp/

Transcript

1. AI技術応用ソフトウェア開発 タクトピクセル株式会社 1 2019/03/27 研究開発レポート
2. タクトピクセルの研究開発 2 クラウドアプリケー ション開発 深層学習 Encoder-Decoder model 良品学習 画像処理 印刷検査、ソフト ウェア上の高速処理 印刷 製造 別資料参照 印刷画像向け深層学習 画像分類エンジン ・注目領域の可視化 ・クラウドアーキテクチャ ・大容量データセット その他研究開発 ・Encoder-Decoderモデルによる良品学習と欠陥検出 ・画像処理フィルタの自動生成 （デジタルからスキャン画像への直接変換）
3. 印刷画像向け深層学習画像分類エンジン • TensorFlow(＋Keras)をベースにした印刷画像向け深層学 習分類モデル作成エンジン • Python言語で使用可能 • 基本機能 • 画像ファイルリスト作成 • データの増幅（前処理） • データ分割 • 入力画像データのキャッシュ機能 • 学習、モデル作成 • 推論処理 • 注目領域可視化機能 • Web Server機能(AWS仮想環境への対応)
4. 印刷画像向けの特徴 技術課題 ・定量的な問題が多い ・複数画像を入力 ・背景絵柄が変化する 犬や猫などの写真(3チャ ンネルカラー画像)分類は ノウハウが一般化してき ている 検査 ・自動検査装置の結果の精度 をさらに向上させたい ・結果を解析して生産管理に 生かしたい 印刷画像向け深層学習画像分類エンジン → 問題設定の見直し → モデルの工夫 → 大規模データ学習
5. 画像の例 良品／不良品分類 欠陥品種分類 画像と分類項目の例 × 不良品 × 不良品 × 不良品 良品 良品 毛ごみ インキカス 汚れ 異物 見当ズレ 毛ごみの付着は不良品として処置する インキカスは不良品として処置する 汚れは不良品として処置する 払ったら落ちる異物は良品扱い 微細な見当ズレは良品扱い 印刷画像向け深層学習画像分類エンジン
6. 深層学習モデルの設計 入力層 中間層 中間層 出力層 [b, x, y, c] b: バッチサイズ x: 画像サイズ幅 y: 画像サイズ高さ c: 画像チャンネル数 画像チャンネル数を4 チャンネル以上にする 適切な前処理を行う 適切な規模のネット ワーク構造とする （大きすぎるのも良 くない） 全結合層(Fully Connected)層 より Global Average Pooling層 学習条件 ・ImageNet等からの転移学習は行わない。 ランダム初期値で学習を開始する。 ・StepwiseでLearning Rateを設定する。 ・Optimizerはあまり精度に影響しない。 Dropout層よりBatch Normalize 層が重要 Residual層も取り入れる 11,283,478 26,073,878 23,593,174 50,474,518 134,360,598 55,784,214 139,670,294 21,818,390 54,313,942 0 20,000,000 40,000,000 60,000,000 80,000,000 100,000,000 120,000,000 140,000,000 160,000,000 Parameter size 定性的な分類問題 に落とし込む 精度と計算量の バランスがいい 印刷画像向け深層学習画像分類エンジン
7. 大量画像データセットの学習 画像の読み込み ネットワーク構造の定義 初期重み値の設定 一度に画像を読み込んで前処理を行う仕組みではRAMの容量を超えた画像を学習することができ ない。画像情報のストレージへのキャッシュとバッチ毎読み込みの仕組みによって、数万枚規模 のデータセットでも安定的に学習処理を行うことができる。 画像の読み込み・キャッシュ作成 ネットワーク構造の定義 初期重み値の設定 エポックサイクル バッチ学習サイクル 推論、勾配、重み計算 エポックサイクル バッチ学習サイクル 推論、勾配、重み計算 キャッシュ読み込み 印刷画像向け深層学習画像分類エンジン
8. Amazon S3 画像検査装置など 現場の管理者 お客様のネットワーク AWS Batch Managed ECS Amazon ECR コンテナ作成 進行状況/完了通知 Amazon SES 学習/推論 スクリプト (Python) AWS Lambda AWS CodeBuild AWS CodePipeline 10GB~1TB Amazon ECS, Fargate 管理アプリケーション Amazon RDS Amazon ECS, Fargate 認証アプリケーション Amazon RDS 学習処理スポット インスタンス (p2, p3) 顧客データストレージ Amazon ECS, Fargate GUI AWS Cloud 機械学習のクラウドアーキテクチャ 印刷画像向け深層学習画像分類エンジン
9. 注目領域の可視化(Saliency MAP) Interpretable Explanations of Black Boxes by Meaningful Perturbation : http://openaccess.thecvf.com/content_ICCV_2017/papers/Fong_Interpretable_Explanations_of_ICCV_2017_paper.pdf [1610.02391] Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization : https://arxiv.org/abs/1610.02391 [1710.11063] Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks : https://arxiv.org/abs/1710.11063 深層学習モデルによって推測された結果は途中の計算 結果を理解することが困難であるため、説明できる深 層学習(Interpretable DL)の研究が盛んに行われている。 分類処理を行った後に「なぜその判断を行ったか？」 を可視化することにより、そのモデルが汎化能力を獲 得しているかを間接的に分析することができる。 ニューラルネットワーク構造に制約されない、より安 定的に利用できるmask法で実装した。 印刷画像向け深層学習画像分類エンジン $ dlc-titan predict-ss --model-network ${SOURCE}/network.json --model-weight ${SOURCE}/trained.h5 --image-input-model ${F1} ${F2} -- cam-type Grad-CAM --image-masking-stride 1,1 --grid 16,16 --image-target-size 112,112,3 --last-conv-layer prediction --output- dir ./predict-ss/output/ --output-heatmap ./predict-ss/heatmap/${F2##*/} --verbose DLC-Titanに実装済み
10. Encoder-Decoder による良品学習と欠陥検出 良品データの準備 (100枚) データの前処理 ノイズ付加 入力層 圧縮 特徴 出力層 Encoder Decoder ハイパーパラメータ、ネットワークモデル の構造、ノイズの与え方については、印刷 の特徴に合わせた調整が必要。 その他研究開発
11. Encoder-Decoder による良品学習と欠陥検出 • 不良品画像の収集が不要であ る。（従来手法と同じ） • 基準画像との差分ではないの で、あいまいな検知ができる • 位置決め無しで欠陥を検出す ることができる • 検査領域の枠を引いたりなど の細かい設定が不要になる 未知のデータ 予測された良品 比較検査アルゴリズム その他研究開発
12. 画像処理フィルタの自動生成 12 ？ 色調整 ぼかし 輪郭抽出 ゆがみ ・遺伝的アルゴリズム ・深層学習 (Encoder-Decoder) 変換器 比較対象の間にある関係性を定義する。 カラー変換だけに関して は、CMYK→RGBの4次元か ら3次元色空間の近似変換 行列の生成アルゴリズム が有用である。 その他研究開発
13. デジタルからスキャン画像への直接変換 13 色合い、ノイズの乗り方、 ボケ方、各版のズレ 様々な部分で異なる デザインデータ 実物のスキャンデータ その他研究開発 深層学習 遺伝的アルゴリズム
14. タクトピクセル株式会社 contact@taktpixel.co.jp https://taktpixel.co.jp/#contact お問い合わせ