画像認識精度について-EXL

RPA勉強＆LT会！RPALT特別編！89祭でLT祭！

Transcript

1. 画像認識の精度ってどうよ？ Presented By hjmkzk@gmail.com
2. 自己紹介 • 小﨑 肇（こざき はじめ⇒[ハナ]肇⇒はなっち！） • ５８歳 もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区 • 趣味 自転車だったけど、最近はINGRESS • 職歴  かなり前に今の会社に入社。 COBOL⇒JAVA⇒EXCEL-VBA  EXCEL-VBAでは、JP1-REPORTERとか、 SAGENT-REPORTERとか…  UiPath歴は、１６ヶ月… Presented By hjmkzk@gmail.com
3. ブラウザのサイズが変わっても、みえていれば認識出来る？ ズームを１２５％にして使っているんだけど、認識出来る？ セレクタからエレメントが拾えない場合、 ブラウザを最大化したり、ズームを１００％にしてから、 画像の設定している。
4. ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType "CLICK_SINGLE" DisplayName "画像をクリック 'iexplore.exe" KeyModifiers "None" MouseButton "BTN_LEFT" SendWindowMessages "False"> Position "Center"> x:TypeArguments "x:Int32" x:TypeArguments "x:Int32" Image "{x:Null}" Accuracy "0.8" TargetImageBase64 "iVBORw0KGgoAAAANSUhEUgAAACoAAAAaCAYAAADBuc72AAAAAX NSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA 7DAcdvqGQAAADNSURBVFhH7ZTRDcIwDESZhkVhEZZArMAA/LIAQw RF6IQ5+eIGXAVQPp7q+GL3fVTdbPel/AJTNJspms1/iV5vD7jupc4dL+/ tGCKKumdPKMoLcVYsueOB/YouUVUzKmvNRDRFsRjLVc2orDUTIUXr wt3puZxfwn1gM9zlGXVu0f2NRn2bMcgO59d7dlaxqqh3rs8qynciPhZlvBn Ohohy38ui8xKGi3KmSBe1fdT2Xq3xN7F/FeSKVUW9vs28niIU/RamaDZ TNJspmkspd2mQD4lxOeVYAAAAAElFTkSuQmCC" ClippingRegion "{x:Null}" Element "{x:Null}" TimeoutMS "{x:Null}" Selector "<html title='[RPAQATOP-*] お問合せを承りました。 - Jira' />" WaitForReady "INTERACTIVE"
5. TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601] Copyright (c) 2009 Microsoft Corporation. All rights reserved. C:¥Users¥UiPath>cd Desktop C:¥Users¥UiPath¥Desktop>certutil -f -decode In.txt Out.png 入力長 = 416 出力長 = 312 CertUtil: -decode コマンドは正常に完了しました。 C:¥Users¥UiPath¥Desktop> Out.Png
6. そんな苦労しなくても… Out.Png
7. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？
8. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？
9. 準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～ １００％を中心にして、拡大縮小それぞれ±５０％で変 化させる。都合１０１ファイルを準備 ～ ～
10. EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20 Image = Array("100-200-080", "100-200-081", _ "100-200-082", "100-200-083", _ "100-200-084", "100-200-085", _ … "100-200-098", "100-200-099", _ "100-200-100", _ "100-200-101", "100-200-102", _ … "100-200-117", "100-200-118", _ "100-200-119", "100-200-120") Me.Label1.Caption = ix & " ... " & Image(ix) & 拡張子 Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub Private Sub Image1_Click() On Local Error Resume Next ix = ix + Distance Me.Label1.Caption = ix & " ... " & Image(ix) Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub
11. UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！ 認識できなかったらExceptionへ！
12. 1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp 3 Load 2019/7/24 16:04 100-200-101.bmp 4 Clicked 2019/7/24 16:04 100-200-101.bmp 5 Load 2019/7/24 16:04 100-200-102.bmp 6 Clicked 2019/7/24 16:04 100-200-102.bmp 7 Load 2019/7/24 16:04 100-200-103.bmp 8 Clicked 2019/7/24 16:04 100-200-103.bmp 9 Load 2019/7/24 16:04 100-200-104.bmp 1 Load 2019/7/24 16:05 100-200-100.bmp 2 Clicked 2019/7/24 16:05 100-200-100.bmp 3 Load 2019/7/24 16:05 100-200-099.bmp 4 Clicked 2019/7/24 16:05 100-200-099.bmp 5 Load 2019/7/24 16:05 100-200-098.bmp 6 Clicked 2019/7/24 16:05 100-200-098.bmp 7 Load 2019/7/24 16:05 100-200-097.bmp 結果（認識率0.8） 拡大方向 縮小方向 １００％は当然認識！ １０４％で認識できない ９７％で認識できない
13. 結果（認識率を変えて） 厳格ゾーン ゆるゆるゾーン
15. 今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像…  「…」画像… 横120% 縦80%  <input type=“submit” value=“購入する“>のズーム Presented By hjmkzk@gmail.com