Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像認識精度について-EXL

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for HANACCHI HANACCHI
April 08, 2021
110
0

 画像認識精度について-EXL

RPA勉強＆LT会！RPALT特別編！89祭でLT祭！

Avatar for HANACCHI

HANACCHI

April 08, 2021

More Decks by HANACCHI

See All by HANACCHI
PowerAutomatefordesktopでの開発シーンで
Avatar for HANACCHI hanacchi
0
16
ChatGPTにテストデータを作ってもらう
Avatar for HANACCHI hanacchi
0
170
AI JIMYで数独
Avatar for HANACCHI hanacchi
0
52
メール本文をどうやっつけるか
Avatar for HANACCHI hanacchi
0
350
2024年のローコード界隈最新事情～業務担当者でもAI・生成AIを活用できる！～
Avatar for HANACCHI hanacchi
0
450
AI JIMY - 登壇(インストール編)
Avatar for HANACCHI hanacchi
0
530
AI JIMY - 登壇(設定編)
Avatar for HANACCHI hanacchi
0
490
AI JIMY - 登壇(実行編)
Avatar for HANACCHI hanacchi
0
460
パスワードを保存しますか？
Avatar for HANACCHI hanacchi
0
470

Featured

See All Featured
Designing Experiences People Love
Avatar for Jonathan Moore moore
143
24k
Writing Fast Ruby
Avatar for Erik Berlin sferik
630
63k
What the history of the web can teach us about the future of AI
Avatar for Ines Montani inesmontani
PRO
1
550
Side Projects
Avatar for Sacha Greif sachag
455
43k
Building Experiences: Design Systems, User Experience, and Full Site Editing
Avatar for Michelle Schulp Hunt marktimemedia
0
500
Navigating Weather and Climate Data
Avatar for Ryan Abernathey rabernat
0
190
Evolving SEO for Evolving Search Engines
Avatar for Ryan Jones ryanjones
0
190
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
190
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
62k
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.4k
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
57
14k
Leadership Guide Workshop - DevTernity 2021
Avatar for David Neal reverentgeek
1
280

Transcript

  1. 画像認識の精度ってどうよ？ Presented By [email protected]

  2. 自己紹介 • 小﨑 肇（こざき はじめ⇒[ハナ]肇⇒はなっち！） • ５８歳 もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区

    • 趣味 自転車だったけど、最近はINGRESS • 職歴  かなり前に今の会社に入社。 COBOL⇒JAVA⇒EXCEL-VBA  EXCEL-VBAでは、JP1-REPORTERとか、 SAGENT-REPORTERとか…  UiPath歴は、１６ヶ月… Presented By [email protected]

  3. ブラウザのサイズが変わっても、みえていれば認識出来る？ ズームを１２５％にして使っているんだけど、認識出来る？ セレクタからエレメントが拾えない場合、 ブラウザを最大化したり、ズームを１００％にしてから、 画像の設定している。

  4. ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType

    "CLICK_SINGLE" DisplayName "画像をクリック 'iexplore.exe" KeyModifiers "None" MouseButton "BTN_LEFT" SendWindowMessages "False"> Position "Center"> x:TypeArguments "x:Int32" x:TypeArguments "x:Int32" Image "{x:Null}" Accuracy "0.8" TargetImageBase64 "iVBORw0KGgoAAAANSUhEUgAAACoAAAAaCAYAAADBuc72AAAAAX NSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA 7DAcdvqGQAAADNSURBVFhH7ZTRDcIwDESZhkVhEZZArMAA/LIAQw RF6IQ5+eIGXAVQPp7q+GL3fVTdbPel/AJTNJspms1/iV5vD7jupc4dL+/ tGCKKumdPKMoLcVYsueOB/YouUVUzKmvNRDRFsRjLVc2orDUTIUXr wt3puZxfwn1gM9zlGXVu0f2NRn2bMcgO59d7dlaxqqh3rs8qynciPhZlvBn Ohohy38ui8xKGi3KmSBe1fdT2Xq3xN7F/FeSKVUW9vs28niIU/RamaDZ TNJspmkspd2mQD4lxOeVYAAAAAElFTkSuQmCC" ClippingRegion "{x:Null}" Element "{x:Null}" TimeoutMS "{x:Null}" Selector "<html title='[RPAQATOP-*] お問合せを承りました。 - Jira' />" WaitForReady "INTERACTIVE"

  5. TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601]

    Copyright (c) 2009 Microsoft Corporation. All rights reserved. C:¥Users¥UiPath>cd Desktop C:¥Users¥UiPath¥Desktop>certutil -f -decode In.txt Out.png 入力長 = 416 出力長 = 312 CertUtil: -decode コマンドは正常に完了しました。 C:¥Users¥UiPath¥Desktop> Out.Png

  6. そんな苦労しなくても… Out.Png

  7. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  8. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  9. 準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～ １００％を中心にして、拡大縮小それぞれ±５０％で変 化させる。都合１０１ファイルを準備 ～

    ～

  10. EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20

    Image = Array("100-200-080", "100-200-081", _ "100-200-082", "100-200-083", _ "100-200-084", "100-200-085", _ … "100-200-098", "100-200-099", _ "100-200-100", _ "100-200-101", "100-200-102", _ … "100-200-117", "100-200-118", _ "100-200-119", "100-200-120") Me.Label1.Caption = ix & " ... " & Image(ix) & 拡張子 Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub Private Sub Image1_Click() On Local Error Resume Next ix = ix + Distance Me.Label1.Caption = ix & " ... " & Image(ix) Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub

  11. UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！ 認識できなかったらExceptionへ！

  12. 1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp

    3 Load 2019/7/24 16:04 100-200-101.bmp 4 Clicked 2019/7/24 16:04 100-200-101.bmp 5 Load 2019/7/24 16:04 100-200-102.bmp 6 Clicked 2019/7/24 16:04 100-200-102.bmp 7 Load 2019/7/24 16:04 100-200-103.bmp 8 Clicked 2019/7/24 16:04 100-200-103.bmp 9 Load 2019/7/24 16:04 100-200-104.bmp 1 Load 2019/7/24 16:05 100-200-100.bmp 2 Clicked 2019/7/24 16:05 100-200-100.bmp 3 Load 2019/7/24 16:05 100-200-099.bmp 4 Clicked 2019/7/24 16:05 100-200-099.bmp 5 Load 2019/7/24 16:05 100-200-098.bmp 6 Clicked 2019/7/24 16:05 100-200-098.bmp 7 Load 2019/7/24 16:05 100-200-097.bmp 結果（認識率0.8） 拡大方向 縮小方向 １００％は当然認識！ １０４％で認識できない ９７％で認識できない

  13. 結果（認識率を変えて） 厳格ゾーン ゆるゆるゾーン

  14. None

  15. 今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像… 

    「…」画像… 横120% 縦80%  <input type=“submit” value=“購入する“>のズーム Presented By [email protected]