画像認識精度について-EXL

画像認識の精度ってどうよ？ Presented By [email protected]

自己紹介 • 小﨑肇（こざきはじめ⇒[ハナ]肇⇒はなっち！） • ５８歳もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区
• 趣味自転車だったけど、最近はINGRESS • 職歴  かなり前に今の会社に入社。 COBOL⇒JAVA⇒EXCEL-VBA  EXCEL-VBAでは、JP1-REPORTERとか、 SAGENT-REPORTERとか…  UiPath歴は、１６ヶ月… Presented By [email protected]

ブラウザのサイズが変わっても、みえていれば認識出来る？ ズームを１２５％にして使っているんだけど、認識出来る？ セレクタからエレメントが拾えない場合、ブラウザを最大化したり、ズームを１００％にしてから、画像の設定している。

ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType
"CLICK_SINGLE" DisplayName "画像をクリック 'iexplore.exe" KeyModifiers "None" MouseButton "BTN_LEFT" SendWindowMessages "False"> Position "Center"> x:TypeArguments "x:Int32" x:TypeArguments "x:Int32" Image "{x:Null}" Accuracy "0.8" TargetImageBase64 "iVBORw0KGgoAAAANSUhEUgAAACoAAAAaCAYAAADBuc72AAAAAX NSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA 7DAcdvqGQAAADNSURBVFhH7ZTRDcIwDESZhkVhEZZArMAA/LIAQw RF6IQ5+eIGXAVQPp7q+GL3fVTdbPel/AJTNJspms1/iV5vD7jupc4dL+/ tGCKKumdPKMoLcVYsueOB/YouUVUzKmvNRDRFsRjLVc2orDUTIUXr wt3puZxfwn1gM9zlGXVu0f2NRn2bMcgO59d7dlaxqqh3rs8qynciPhZlvBn Ohohy38ui8xKGi3KmSBe1fdT2Xq3xN7F/FeSKVUW9vs28niIU/RamaDZ TNJspmkspd2mQD4lxOeVYAAAAAElFTkSuQmCC" ClippingRegion "{x:Null}" Element "{x:Null}" TimeoutMS "{x:Null}" Selector "<html title='[RPAQATOP-*] お問合せを承りました。 - Jira' />" WaitForReady "INTERACTIVE"

TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601]
Copyright (c) 2009 Microsoft Corporation. All rights reserved. C:¥Users¥UiPath>cd Desktop C:¥Users¥UiPath¥Desktop>certutil -f -decode In.txt Out.png 入力長 = 416 出力長 = 312 CertUtil: -decode コマンドは正常に完了しました。 C:¥Users¥UiPath¥Desktop> Out.Png

そんな苦労しなくても… Out.Png

さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザのズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を変えた画像を新たにLoadさせて、クリック出来るか？

準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～１００％を中心にして、拡大縮小それぞれ±５０％で変化させる。都合１０１ファイルを準備～
～

EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20
Image = Array("100-200-080", "100-200-081", _ "100-200-082", "100-200-083", _ "100-200-084", "100-200-085", _ … "100-200-098", "100-200-099", _ "100-200-100", _ "100-200-101", "100-200-102", _ … "100-200-117", "100-200-118", _ "100-200-119", "100-200-120") Me.Label1.Caption = ix & " ... " & Image(ix) & 拡張子 Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub Private Sub Image1_Click() On Local Error Resume Next ix = ix + Distance Me.Label1.Caption = ix & " ... " & Image(ix) Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub

UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！認識できなかったらExceptionへ！

1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp
3 Load 2019/7/24 16:04 100-200-101.bmp 4 Clicked 2019/7/24 16:04 100-200-101.bmp 5 Load 2019/7/24 16:04 100-200-102.bmp 6 Clicked 2019/7/24 16:04 100-200-102.bmp 7 Load 2019/7/24 16:04 100-200-103.bmp 8 Clicked 2019/7/24 16:04 100-200-103.bmp 9 Load 2019/7/24 16:04 100-200-104.bmp 1 Load 2019/7/24 16:05 100-200-100.bmp 2 Clicked 2019/7/24 16:05 100-200-100.bmp 3 Load 2019/7/24 16:05 100-200-099.bmp 4 Clicked 2019/7/24 16:05 100-200-099.bmp 5 Load 2019/7/24 16:05 100-200-098.bmp 6 Clicked 2019/7/24 16:05 100-200-098.bmp 7 Load 2019/7/24 16:05 100-200-097.bmp 結果（認識率0.8）拡大方向縮小方向１００％は当然認識！１０４％で認識できない９７％で認識できない

結果（認識率を変えて）厳格ゾーンゆるゆるゾーン

今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像… 
「…」画像… 横120% 縦80%  <input type=“submit” value=“購入する“>のズーム Presented By [email protected]

画像認識精度について-EXL

画像認識精度について-EXL

HANACCHI

More Decks by HANACCHI

Featured

Transcript

画像認識の精度ってどうよ？ Presented By [email protected]

自己紹介 • 小﨑肇（こざきはじめ⇒[ハナ]肇⇒はなっち！） • ５８歳もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区

ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType

TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601]

そんな苦労しなくても… Out.Png

準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～１００％を中心にして、拡大縮小それぞれ±５０％で変化させる。都合１０１ファイルを準備～

EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20

UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！認識できなかったらExceptionへ！

1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp

結果（認識率を変えて）厳格ゾーンゆるゆるゾーン

今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像… 