Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up
for free
201207 クラウドじゃなくてもAI-OCRは使えます 森さん
comucal
PRO
December 07, 2020
Technology
0
280
201207 クラウドじゃなくてもAI-OCRは使えます 森さん
comucal
PRO
December 07, 2020
Tweet
Share
More Decks by comucal
See All by comucal
comucal
PRO
0
3
comucal
PRO
0
64
comucal
PRO
0
82
comucal
PRO
0
65
comucal
PRO
0
63
comucal
PRO
0
63
comucal
PRO
0
64
comucal
PRO
0
4.2k
comucal
PRO
0
160
Other Decks in Technology
See All in Technology
yunoda
0
140
thockin
3
960
hayatan
0
200
shirayanagiryuji
1
280
udzura
2
260
dena_tech
15
3.5k
yoku0825
PRO
3
190
kanaugust
PRO
0
160
uzabasetech
2
760
tnmt
3
260
chandi
0
150
mahito
0
240
Featured
See All Featured
jonyablonski
19
1.2k
sachag
267
17k
nonsquared
81
3.4k
erikaheidi
14
4.3k
3n
163
22k
lemiorhan
627
43k
bryan
100
11k
imathis
479
150k
lauravandoore
10
1.6k
kneath
294
39k
geoffreycrofte
21
930
paulrobertlloyd
72
1.4k
Transcript
#RPALT SPECIAL EDITION クラウドじゃなくても AI-OCRは使えます。 アライズイノベーション株式会社 森 康晴
#RPALT SPECIAL EDITION 自己紹介 森 康晴 アライズイノベーション株式会社 プリセールスやってますが技術者(一応)です。 AI-OCRの仕事を主にやってます。 つながってやっても
いいよという方 是非 名刺交換しても ええで︕ って方は是非 ※注:Eight
#RPALT SPECIAL EDITION オンプレミスのAI-OCR
#RPALT SPECIAL EDITION 赤で専用とくれば 残念ながら3倍速くはなりません
#RPALT SPECIAL EDITION オンプレミスのAI-OCRのメリット ・社外にデータを出さなくて良い(自社内でクローズできる) ・他システムとの連携の親和性(データ連携等) ・自分たち専用の文字学習データを作ることができる ・導入環境を選べる(PC、サーバ、スペックは︖AWS、Azureもとか) ・帳票単位での微妙なパラメータ調整ができる ・OCR処理を並列で⾏うことができる
・帳票定義ファイルがエディタでもいじられる(AIReadに関しては) ・やらしいはなしだけど課⾦体系(運用コストとか) →ちなみにAIReadは定型は枚数無制限、非定型は枚数課⾦
#RPALT SPECIAL EDITION オンプレミスのAI-OCRのデメリット ・他システムとの連携にはシステム部門の協⼒が必要な場合が多い ・文字学習データを自分たちで作らないといけない ・帳票単位でのパラメータ調整にはそれなりに習熟しないといけない ・覚えることが色々ある(各種パラメータ等) ・サーバ/PCスペックによる処理時間(それなりに⾼性能なものが必要) ・初期費用がかかる(導入構築費用、機器の準備とか)
#RPALT SPECIAL EDITION 帳票の読み取りで左右されること ・帳票の解像度 (200dpi︖300dpi︖どれがいい) ・FAXなどにみられるノイズ ・帳票読み取り位置のずれ(主にFAX)同じ帳票でも印刷位置がずれている ・帳票フォーマットの微妙な違い ・帳票画像の種類
一般的にはPDFが多いがjpeg、pngなどもある。 tiff画像は縦横で解像度が変わっているものもあるため変換等かけないと 読めないケースもある
#RPALT SPECIAL EDITION オンプレミスのAI-OCRだと ・FAXなどにみられるノイズによる誤読 ・帳票読み取り位置のずれ(主にFAX)同じ帳票でも印刷位置がずれている ・帳票フォーマットの微妙な違い ・帳票画像の種類 一般的にはPDFが多い。Jpeg、pngなどもある。 Tiff画像は縦横で解像度が変わっているものもあるため変換等かけないと
読めないケースもある →帳票単位での細かなチューニングを⾏うことができる →基準となる読み取り位置を設定することでズレに対応できる →画像振り分け等による対応もできたりする(カモ) →画像の読み取り時に変換をかける。他のツールを使って画像調整したのちに 処理を⾏うなど様々な対応をとることができる
#RPALT SPECIAL EDITION オンプレAI-OCRでの文字学習 ⼿書き文字や活字(単語・フォント)を学習させることにより読み取り精度 の向上を図る。(AIReadは)自動学習の機能を持たせていないため、個別に 学習をさせる必要がある。
#RPALT SPECIAL EDITION では、AI-OCRのAIに学習させるには︖ コレハ 「シ」 ヤデ AI-OCR AI-OCRでは、読み取った画像の文字をAIが判断してデータ化します。 ※釈迦に説法かもしれないけど
イメージとしてはこんな感じ
#RPALT SPECIAL EDITION AIが誤読する場合は学習が必要 コレハ 「ツ」 ナンヤデ♪ 「シ」 トチャウネンデ 文字の特徴やポイントなどを
ディープラーニングによって把 握します。 これは 「ツ」 です AI-OCRのAI 文字を学習する方法は概ね同じ。文字のパターンを学習させることで誤読を減らしていく。 クラウドサービスでは提供側にて学習が⾏われているがオンプレミスの場合は自分たちで⾏わな いといけない。
#RPALT SPECIAL EDITION コレハ 「ツ」 ヤデ ディープラーニング 後は文字を認識でき るようになります。 AI-OCR
AIが誤読する場合は学習が必要 学習することで読み取り精度が向上する。
#RPALT SPECIAL EDITION AIREADの⼿書き文字学習 機械学習 閲覧・編集 AIRead Train Studio HW
教師データ (文字切取り画像) 読取り帳票画像データ 編集後データ ⼿書き モデル 教師データを追加学習 専用の学習ツールも併せて提供 ユーザ単位で独自の学習モデルを作ることができる。
#RPALT SPECIAL EDITION AIREADの活字学習 活字 モデル 頻出単語やフォントデータ を追加学習 AIRead Train
Studio 頻出単語等をフォントデータ活字モデルに対して追加学習を⾏う。
#RPALT SPECIAL EDITION 個別で学習モデルを作ると 個別で学習モデルを作ると、定期的に更新される新しい学習モデルに対応で きなくなるかもしれない。 →新しいモデルに切り替えると今まで学習した内容が使えなくなる ※これは設定で並⾏利用することは可能 読取精度は個別学習を実⾏することで上がっていくため、都度学習が必要。 定期的に個別に学習させないといけない。
→休む暇を与えずにビシバシと⻤軍曹のように鍛えないといけない ※ブラックだよねぇ 当然、学習のための時間がとてもかかる。
#RPALT SPECIAL EDITION 文字の学習を⾏わずに読取精度 を上げることは出来るの︖ 読取精度を上げるポイント その①帳票フォーマットの改善 その②マスタや他システムとの連携
#RPALT SPECIAL EDITION 帳票を読み取ってデータ化するのはツールです。 なら、ツールが文字を読み取りやすくする工夫を帳票に取り入れてみましょう ・記入箇所にアンダーラインを入れる。 ※住所を書いてもらう・名前を書いてもらう 箇所など ・記入される文字がくっつきすぎないように書いてもらうようにする。 区切り線を入れることで文字の接近を防ぐことができます。
人はフォーマットに従って記入してくれます。 ならばフォーマットを⾒直してみてはいかがですか。 ※当然、お客様からの帳票フォーマットの改善は難しい(出来ない)ので自社帳票で その①帳票フォーマットの改善
#RPALT SPECIAL EDITION その②他システムとの連携 実⾏結果を複数⼈で閲覧・編集・修正が できるオプション 実⾏の制御、出⼒結果の加⼯やマスタ連携がで きるオプション AIReadは各種オプションと組み合わせることで読取精度の向上を図ることもできたりし ます。誤読しやすい⽇本語はさけ、商品コードなど⽇本語より読み取り精度の⾼い数字
等の部分を読取って、ETLで他システムのマスタと連携、必要な情報をマスタより抽出す ることができます。マスタ連携することで読み取り結果の修正にかかる工数も削減でき る効果があります。
#RPALT SPECIAL EDITION イメージ その他 RPA、EAI AIRead Form Editor AIRead
Rule Editor 帳票定義 作成 画像処理 帳票仕分け OCR 確認 CSV出⼒ システム 連携
#RPALT SPECIAL EDITION AIREADでできる事 ざっくりこんなことできますよっと︕ 回転、傾き補正機能 帳票の拡大、縮小機能 色の強調・除去機能 罫線除去機能 画像内のキーワードによる帳票仕分け
画像イメージによる帳票仕分け OCR キーワード 抽出・仕分け 印影(赤色)を除去 A 社 B 社 C 社 D 社 A B C A 画像 マッチング 仕分け 画像データ 画像データ CSVデータ A B C A 画像データ ≪回転補正≫ 90°180°270° ≪傾き補正≫ ±1〜45° OCR A社 B社 C社 D社 200 dpi 400 dpi 画像内の 最大矩形で 拡大・縮小 解像度が違う画像 300 dpi 画質を一致 OCR 300 dpi
#RPALT SPECIAL EDITION AIREADでできる事 ざっくりこんなことできますよっと︕ 読取位置のずれを補正 フリーピッチ・複数⾏の⼿書き文字の読み取り チェックマークや〇囲みの読み取り 定型・非定型どちらかの指定でCSV出⼒ 罫線を区切りとしCSV形式で出⼒
全文OCRでテキスト形式で出⼒ 実際の帳票で 位置ずれした場合 文字に合わせて 位置を補正 罫線に合わせて 位置を補正 希望する true 本店 true 支店 false 東京都千代田区霞が 関3-2-5霞ヶ関ビル 機密保持契約 アライズイノベーション株式会社(以下「甲」と いう)と〇〇株式会社(以下「乙」という)は、 以下のとおり合意し、契約(以下「本契約」とい う)を締結する。 第1条(目的) 本契約は、乙がAI-OCRの導入を検討する(乙が甲 に委託するシステムの概念実証業務を含み、以下 「本件業務」という)にあたり、甲乙間で相互に 開示される機密情報および個人情報に関する取り 扱い、保護、管理を定めることを目的とする。 第2条(機密情報および個人情報の定義) 1.本契約において、機密情報とは、本件業務の 遂⾏にあたり甲および乙が開示する業務上、技術 上のすべての情報をいう。 座標を指定し出⼒ (定型) ルールを指定し出⼒ (非定型)
#RPALT SPECIAL EDITION エディターとかもちゃんとある 定型帳票の読取位置を座標で指定します 非定型帳票の読取条件をルールで指定します AIRead Form Editor AIRead
Rule Editor AIRead Viewer 読取結果の確認・修正、CSV出⼒ができます
#RPALT SPECIAL EDITION じつわクラウドサービスもある PDFをアップロード・定義を指定します (RESTAPI連携も可能です) 読取結果を一覧で確認できます 読取結果を確認・修正します Form/Rule Editorで定義を作成・アップロードします
AIRead Form Editor AIRead Rule Editor
#RPALT SPECIAL EDITION オンプレゆえに他ツールとの連携も簡単 DATASPIDER TECHNICAL NETWORK (HTTPS://DSTN.APPRESSO.COM)
#RPALT SPECIAL EDITION プレスリリース https://www.ntt-at.co.jp/news/2019/detail/release190423.html https://www.ntt-at.co.jp/news/2020/detail/release200929.html
#RPALT SPECIAL EDITION • アライズイノベーション株式会社(https://www.ariseinnovation.co.jp/) • 東京都中央区勝どき3-13-1 • TEL :
03-5534-9967 ※”AIRead”のロゴ及び商品名はアライズイノベーション株式会社の登録商標です(特許庁登録第6029981号)