印刷画像検査へのディープラーニング適用(JAGAT研究会セミナー)

JAGAT(日本印刷技術協会)研究会セミナー 2019/10/08 の講演資料です。「印刷画像検査へのディープラーニング適用」というタイトルでタクトピクセルの代表 玉城が講演しました。機械学習技術を企業で活用する際の困難や、印刷画像検査の2次検査としての分類器生成時のノウハウなどを解説しました。

2019/10/08 14:00~ @日本印刷技術協会
https://www.jagat.or.jp/tg101520266

Transcript

1. タクトピクセル株式会社 代表取締役 CEO/CTO 玉城哲平 JAGAT研究会セミナー プロセスオートメーションがもたらす未来 2019/10/08 印刷画像検査へのディープラーニング適用
2. 内容 • 機械学習導入の流れ • 深層学習モデルで何ができるか • 推論結果解析の手法 • 製品/会社紹介 データ収集 前処理 モデル作成 システム化
3. 3 玉城哲平 たまき てっぺい 代表取締役 CEO/CTO 分子構造計算、最適化問題の数値解析手法 科学技術計算ソフトウェア開発企業で半導体シミュレー ターや数値計算ライブラリの開発 ナビタスビジョン株式会社 画像検査ソフトウェアAsmil Vision 新規開発 タクトピクセルを辻谷と共同創業 横浜国立大学博士課程(社会人)所属 趣味 クラシック音楽（バイオリン、ビオラ）、 読書、マラソン O O O O O O O O O O O O O O O O O C H3 CH3 CH3 CH3 C H3 C H3 固定相 移動相 Flow
4. 機械学習技術導入の流れ ここでは、蓄積された情報を元に抽象レベルの高い仕組みやルール(モデル)を抽出し、 それに基づいて予測や自動処理を行う技術を指しています。 データ収集 前処理 モデル作成 システム化 必要なデータを収集して データベースに格納します。 予測したい付加情報を抽出 したり、アノテーション作 業を行います。 モデル化のための基本的な 画像処理や、高い精度のモ デルを作成するためのデー タの増幅などの前処理を行 います。 モデルの作成を行います。 学習処理を行うためのパラ メータの探索や、ニューラ ルネットワークの構造を決 定し、精度を確認します。 予測モデルを実際の現場で 使用するため、既存のシス テムや装置への組み込みを 行います。
5. データ収集 前処理 モデル作成 システム化 データセット 数百枚～数万枚 ・課題の明確化 ・データの由来確認
6. データ収集 前処理 モデル作成 システム化 アノテーション作業 • 良品／不良品 • 検出部位 • 欠陥品種 • テクスチャ 良品 不良品 見当ズレ セパムラ 黒点 ピンホール 歯抜け 警戒紙 面積 面積・輝度 輝度 面積・輝度 良品 不良品
7. データ収集 前処理 モデル作成 システム化 データの分割 学習用データ training 検証用データ validation/test
8. データ収集 前処理 モデル作成 システム化 • TensorFlowTMをベースにした独自 の深層学習エンジン”DLC-Tian” • 小ロット多品種の印刷製造現場に適 用するための 汎用的な学習済みモデル生成 ※TensorFlowTMはGoogle LLCが開発しオープンソースとして公開している数値計算のためのソフトウェアライブラリです。 機械学習OSS製ライブラリ ・TensorFlow ・Caffe ・Chainer ・PyTorch
9. データ収集 前処理 モデル作成 システム化 検査装置 ファイル サーバー 管理者PC 業務システム クラウドコンピューティングサービス AWS (EC2, Batch, ECS, S3, RDS) コンテナ Docker 認証、データ管理 (バックエンド) PHP(Laravel Framework) GUI (フロントエンド) Vue.js (element-ui) データベース MySQL 機械学習、データ解析 AWS Batch, AWS ECS, Python (Tensorflow, Keras, numpy, pandas) ローカルアプリケーション C#.NET (Windows Forms, WPF), Python, Node.js 画像処理 OpenCV, HALCON 技術基盤
10. 機械学習技術導入の流れ データ収集 前処理 モデル作成 システム化 必要なデータを収集して データベースに格納します。 予測したい付加情報を抽出 したり、アノテーション作 業を行います。 モデル化のための基本的な 画像処理や、高い精度のモ デルを作成するためのデー タの増幅などの前処理を行 います。 モデルの作成を行います。 学習処理を行うためのパラ メータの探索や、ニューラ ルネットワークの構造を決 定し、精度を確認します。 予測モデルを実際の現場で 使用するため、既存のシス テムや装置への組み込みを 行います。 装置メーカー様、 受託システム開発 当社有償サービス
11. /ˈpuː.dəl/ プードル 学習済みモデル作成のための 印刷画像認識クラウドプラットフォーム POODLは画像を収集、加工し、学習済みモデルを生成するためのアプリケーションです。 画像検査装置と連携し、深層学習技術を利用した高度な画像認識を生産現場に取り入れるための トータルソリューションを提供します。
12. 基本機能 • ストレージ • 画像をアップロードしデータセット単位で保管する • データセットの分割・結合・編集作業が行える • アノテーション • 分類作業に集中できるシンプルな画面設計 • 権限機能によって安全に作業依頼ができる • データの前処理 • 検査画像の特長を失わないようなデータの増幅を行う • 学習 • 専門知識無しで学習処理の実行が可能 • 解析 • 学習済みモデルの精度を分析する • 適切な学習済みモデルをダウンロードできる • 推論 • 検査装置などに組み込んでオフラインで高速処理ができる
17. お客様のデータ 現場適用 アプリ ・装置 は学習済みモデルの”工場” 特注のシステム 深層学習アルゴリズム + 精製された知識
20. 画像検査装置 仕上げ工程 ベリファイ工程 （データ検品） 画像自動分類 アプリケーション 事前判別 確実に良品と思われる ものを排除してベリ ファイ工程の負担を削 減する。 事後判別 確実に致命的な欠陥と なりそうなものを強制 的に欠陥指定して流出 事故を防止する。 1 2 3 学習済みモデル データ収集 システム化 ベリファイ工程の効率化
21. 画像検査装置 画像自動分類 アプリケーション 学習済みモデル データ収集 画像処理 撮像 機械制御 後処理 システム化 画像検査装置の過検出抑制
22. 印刷画像向けの特徴 技術課題 ・定量的な問題が多い ・複数画像を入力 ・背景絵柄が変化する 犬や猫などの写真(3チャ ンネルカラー画像)分類は ノウハウが一般化してき ている 検査 ・自動検査装置の結果の精度 をさらに向上させたい ・結果を解析して生産管理に 生かしたい 印刷画像向け深層学習画像分類エンジン → 問題設定の見直し → モデルの工夫 → 大規模データ学習
23. 画像の例 良品／不良品分類 欠陥品種分類 画像と分類項目の例 × 不良品 × 不良品 × 不良品 良品 良品 毛ごみ インキカス 汚れ 異物 見当ズレ 毛ごみの付着は不良品として処置する インキカスは不良品として処置する 汚れは不良品として処置する 払ったら落ちる異物は良品扱い 微細な見当ズレは良品扱い
24. アノテーション作業 • 1項目当たり1,000画像(組)以上 (印刷画像) • 一貫したルール • ある程度溜まってきたら省力化可能 例えば… ・10分類の場合 最低3万件 ・3,000件/日/人 ・10日人 ※ 知識のある現場の方が良い
25. アノテーションの省力化 • 半教師あり学習 • アクティブラーニング 推論 ラベル無しデータ モデル 1 : 50% 効率的なアノテーション 追加する教師データ モデル2 : 60% 抽出 教師データ
26. 外注する場合 10万円～100万円(初回) ・精度 ・納期 ・難易度 指示書のテンプレートが欲しい方はこち らまでご連絡いただければ無償で配布い たします。 contact@taktpixel.co.jp
27. 独自の深層学習モデル • TensorFlowTMをベースにした独自の深層学習エンジン”DLC-Tian” • 数百万枚規模の大規模データセットの学習が可能 • 印刷の品質検査に適したネットワークモデルを開発 • 欠陥流出を最小に抑えるための数値最適化手法 • 過学習を抑えるための工夫 • 小ロット多品種の印刷製造現場に適用するための 汎用的な学習済みモデル生成 • 任意の深層学習エンジンの導入も可能 （別途APIの開発が必要になる場合があります。） ※TensorFlowTMはGoogle LLCが開発しオープンソースとして公開している数値計算のためのソフトウェアライブラリです。
28. 深層学習 (ディープラーニング, DL) ディープラーニングまたは深層学習（英: deep learning）とは、（狭義には4層以上の）多層のニュー ラルネットワーク（ディープニューラルネットワーク、英: deep neural network）による機械学習手法 である https://ja.wikipedia.org/wiki/ディープラーニング 28 入力層 中間層 出力層 この辺が”ディープ(深い)”の由来 ねこ
29. 深層学習モデルの設計 入力層 中間層 中間層 出力層 [b, x, y, c] b: バッチサイズ x: 画像サイズ幅 y: 画像サイズ高さ c: 画像チャンネル数 画像チャンネル数を4 チャンネル以上にする 適切な前処理を行う 適切な規模のネット ワーク構造とする （大きすぎるのも良 くない） 全結合層(Fully Connected)層 より Global Average Pooling層 学習条件 ・ImageNet等からの転移学習は行わない。 ランダム初期値で学習を開始する。 ・StepwiseでLearning Rateを設定する。 ・Optimizerはあまり精度に影響しない。 Dropout層よりBatch Normalize 層が重要 Residual層も取り入れる 11,283,478 26,073,878 23,593,174 50,474,518 134,360,598 55,784,214 139,670,294 21,818,390 54,313,942 0 20,000,000 40,000,000 60,000,000 80,000,000 100,000,000 120,000,000 140,000,000 160,000,000 Parameter size 定性的な分類問題 に落とし込む 精度と計算量の バランスがいい 印刷画像向け深層学習画像分類エンジン
30. 大量画像データセットの学習 画像の読み込み ネットワーク構造の定義 初期重み値の設定 一度に画像を読み込んで前処理を行う仕組みではRAMの容量を超えた画像を学習することができない。 画像情報のストレージへのキャッシュとバッチ毎読み込みの仕組みによって、数万枚規模のデータセッ トでも安定的に学習処理を行うことができる。 画像の読み込み・キャッシュ作成 ネットワーク構造の定義 初期重み値の設定 エポックサイクル バッチ学習サイクル 推論、勾配、重み計算 エポックサイクル バッチ学習サイクル 推論、勾配、重み計算 キャッシュ読み込み 印刷画像向け深層学習画像分類エンジン
31. 機械学習技術導入の流れ データ収集 前処理 モデル作成 システム化 必要なデータを収集して データベースに格納します。 予測したい付加情報を抽出 したり、アノテーション作 業を行います。 モデル化のための基本的な 画像処理や、高い精度のモ デルを作成するためのデー タの増幅などの前処理を行 います。 モデルの作成を行います。 学習処理を行うためのパラ メータの探索や、ニューラ ルネットワークの構造を決 定し、精度を確認します。 予測モデルを実際の現場で 使用するため、既存のシス テムや装置への組み込みを 行います。 結果(精度の確認)が重要
32. 結果解析機能 デモ
38. AI技術応用ソフトウェア開発 タクトピクセル株式会社 38 2019/07/23 企業概要
39. 企業概要 屋号 タクトピクセル株式会社 / Taktpixel Co., Ltd. / TPX 事業内容 AI,機械学習関連技術の研究開発 画像処理ソフトウェア製品の開発と販売 設立 2018年 1月 役員構成 代表取締役, CEO/CTO 玉城 哲平 取締役, CFO 辻 誠 事業所 横浜市（桜木町駅） Webサイト https://taktpixel.co.jp/ 39
41. CONFIDENITIAL Taktpixel Co., Ltd. 41 リアルタイム全品画像検査 で培った高速画像処理技術 を応用します。 これまで難しかった高度な 画像認識や画像変換を実現 します。 デザイン校正や印刷品の検 査等、製造工程の省力化に 取り組んでいます。 画像処理 深層学習 印刷製造 マルチプラットフォーム開発 パッケージ開発 クラウドサービス 事 業 領 域
42. プ ー ド ル デザインや原稿を 手軽にバージョン管理 DLA-Mercury 印刷工場のための 深層学習モデル作成ツール 深層学習・画像処理技術 独自ライブラリ
43. 43 /ˈpuː.dəl/ プードル 印刷工場のための画像認識クラウドプラットフォーム POODL proofrog technology https://poodl.cloud/
44. 2019/5/20 CONFIDENTIAL 44 契約書 パッケージ 広告 チラシ 書類 書籍 プレゼン資料 デザインや原稿を手軽にバージョン管理 POODL proofrog technology https://proofrog.cloud/
45. https://maxjapan.adobe.com/ Adobe MAX Japan 2019
46. page2020 https://page.jagat.or.jp
47. タクトピクセル株式会社 contact@taktpixel.co.jp https://taktpixel.co.jp/#contact お問い合わせ ・POODLを利用した品質検査の効率化 ・深層学習や機械学習の技術を利用した業務効率化システム ・AI導入プロジェクトの支援