$30 off During Our Annual Pro Sale. View Details »

画像認識精度について-EXL

Avatar for HANACCHI HANACCHI
April 08, 2021
0
94

 画像認識精度について-EXL

RPA勉強＆LT会！RPALT特別編！89祭でLT祭！

Avatar for HANACCHI

HANACCHI

April 08, 2021
Tweet

More Decks by HANACCHI

See All by HANACCHI
ChatGPTにテストデータを作ってもらう
Avatar for HANACCHI hanacchi
0
150
AI JIMYで数独
Avatar for HANACCHI hanacchi
0
38
メール本文をどうやっつけるか
Avatar for HANACCHI hanacchi
0
330
2024年のローコード界隈最新事情～業務担当者でもAI・生成AIを活用できる！～
Avatar for HANACCHI hanacchi
0
430
AI JIMY - 登壇(インストール編)
Avatar for HANACCHI hanacchi
0
500
AI JIMY - 登壇(設定編)
Avatar for HANACCHI hanacchi
0
450
AI JIMY - 登壇(実行編)
Avatar for HANACCHI hanacchi
0
430
パスワードを保存しますか？
Avatar for HANACCHI hanacchi
0
450
テスト系アクティビティを使ってみる
Avatar for HANACCHI hanacchi
0
620

Featured

See All Featured
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
56
14k
Testing 201, or: Great Expectations
Avatar for Joseph Mastey jmmastey
46
7.8k
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
340
57k
Faster Mobile Websites
Avatar for Dean Hume deanohume
310
31k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
127
17k
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
6.8k
Scaling GitHub
Avatar for Zach Holman holman
464
140k
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
273
27k
Documentation Writing (for coders)
Avatar for Carmen Chung carmenintech
76
5.2k
Optimising Largest Contentful Paint
Avatar for Harry Roberts csswizardry
37
3.5k
Designing for Performance
Avatar for Lara Hogan lara
610
69k

Transcript

  1. 画像認識の精度ってどうよ？ Presented By [email protected]

  2. 自己紹介 • 小﨑 肇（こざき はじめ⇒[ハナ]肇⇒はなっち！） • ５８歳 もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区

    • 趣味 自転車だったけど、最近はINGRESS • 職歴  かなり前に今の会社に入社。 COBOL⇒JAVA⇒EXCEL-VBA  EXCEL-VBAでは、JP1-REPORTERとか、 SAGENT-REPORTERとか…  UiPath歴は、１６ヶ月… Presented By [email protected]

  3. ブラウザのサイズが変わっても、みえていれば認識出来る？ ズームを１２５％にして使っているんだけど、認識出来る？ セレクタからエレメントが拾えない場合、 ブラウザを最大化したり、ズームを１００％にしてから、 画像の設定している。

  4. ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType

    "CLICK_SINGLE" DisplayName "画像をクリック 'iexplore.exe" KeyModifiers "None" MouseButton "BTN_LEFT" SendWindowMessages "False"> Position "Center"> x:TypeArguments "x:Int32" x:TypeArguments "x:Int32" Image "{x:Null}" Accuracy "0.8" TargetImageBase64 "iVBORw0KGgoAAAANSUhEUgAAACoAAAAaCAYAAADBuc72AAAAAX NSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA 7DAcdvqGQAAADNSURBVFhH7ZTRDcIwDESZhkVhEZZArMAA/LIAQw RF6IQ5+eIGXAVQPp7q+GL3fVTdbPel/AJTNJspms1/iV5vD7jupc4dL+/ tGCKKumdPKMoLcVYsueOB/YouUVUzKmvNRDRFsRjLVc2orDUTIUXr wt3puZxfwn1gM9zlGXVu0f2NRn2bMcgO59d7dlaxqqh3rs8qynciPhZlvBn Ohohy38ui8xKGi3KmSBe1fdT2Xq3xN7F/FeSKVUW9vs28niIU/RamaDZ TNJspmkspd2mQD4lxOeVYAAAAAElFTkSuQmCC" ClippingRegion "{x:Null}" Element "{x:Null}" TimeoutMS "{x:Null}" Selector "<html title='[RPAQATOP-*] お問合せを承りました。 - Jira' />" WaitForReady "INTERACTIVE"

  5. TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601]

    Copyright (c) 2009 Microsoft Corporation. All rights reserved. C:¥Users¥UiPath>cd Desktop C:¥Users¥UiPath¥Desktop>certutil -f -decode In.txt Out.png 入力長 = 416 出力長 = 312 CertUtil: -decode コマンドは正常に完了しました。 C:¥Users¥UiPath¥Desktop> Out.Png

  6. そんな苦労しなくても… Out.Png

  7. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  8. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  9. 準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～ １００％を中心にして、拡大縮小それぞれ±５０％で変 化させる。都合１０１ファイルを準備 ～

    ～

  10. EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20

    Image = Array("100-200-080", "100-200-081", _ "100-200-082", "100-200-083", _ "100-200-084", "100-200-085", _ … "100-200-098", "100-200-099", _ "100-200-100", _ "100-200-101", "100-200-102", _ … "100-200-117", "100-200-118", _ "100-200-119", "100-200-120") Me.Label1.Caption = ix & " ... " & Image(ix) & 拡張子 Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub Private Sub Image1_Click() On Local Error Resume Next ix = ix + Distance Me.Label1.Caption = ix & " ... " & Image(ix) Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub

  11. UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！ 認識できなかったらExceptionへ！

  12. 1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp

    3 Load 2019/7/24 16:04 100-200-101.bmp 4 Clicked 2019/7/24 16:04 100-200-101.bmp 5 Load 2019/7/24 16:04 100-200-102.bmp 6 Clicked 2019/7/24 16:04 100-200-102.bmp 7 Load 2019/7/24 16:04 100-200-103.bmp 8 Clicked 2019/7/24 16:04 100-200-103.bmp 9 Load 2019/7/24 16:04 100-200-104.bmp 1 Load 2019/7/24 16:05 100-200-100.bmp 2 Clicked 2019/7/24 16:05 100-200-100.bmp 3 Load 2019/7/24 16:05 100-200-099.bmp 4 Clicked 2019/7/24 16:05 100-200-099.bmp 5 Load 2019/7/24 16:05 100-200-098.bmp 6 Clicked 2019/7/24 16:05 100-200-098.bmp 7 Load 2019/7/24 16:05 100-200-097.bmp 結果（認識率0.8） 拡大方向 縮小方向 １００％は当然認識！ １０４％で認識できない ９７％で認識できない

  13. 結果（認識率を変えて） 厳格ゾーン ゆるゆるゾーン

  14. None

  15. 今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像… 

    「…」画像… 横120% 縦80%  <input type=“submit” value=“購入する“>のズーム Presented By [email protected]