Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像認識精度について-EXL

Avatar for HANACCHI HANACCHI
April 08, 2021
0
89

 画像認識精度について-EXL

RPA勉強＆LT会！RPALT特別編！89祭でLT祭！

Avatar for HANACCHI

HANACCHI

April 08, 2021
Tweet

More Decks by HANACCHI

See All by HANACCHI
ChatGPTにテストデータを作ってもらう
Avatar for HANACCHI hanacchi
0
140
AI JIMYで数独
Avatar for HANACCHI hanacchi
0
35
メール本文をどうやっつけるか
Avatar for HANACCHI hanacchi
0
320
2024年のローコード界隈最新事情～業務担当者でもAI・生成AIを活用できる！～
Avatar for HANACCHI hanacchi
0
420
AI JIMY - 登壇(インストール編)
Avatar for HANACCHI hanacchi
0
490
AI JIMY - 登壇(設定編)
Avatar for HANACCHI hanacchi
0
450
AI JIMY - 登壇(実行編)
Avatar for HANACCHI hanacchi
0
430
パスワードを保存しますか？
Avatar for HANACCHI hanacchi
0
440
テスト系アクティビティを使ってみる
Avatar for HANACCHI hanacchi
0
610

Featured

See All Featured
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
9
630
The Straight Up "How To Draw Better" Workshop
Avatar for Dennis Kardys denniskardys
238
140k
The Cost Of JavaScript in 2023
Avatar for Addy Osmani addyosmani
55
9.1k
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
220k
Documentation Writing (for coders)
Avatar for Carmen Chung carmenintech
75
5.1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
Avatar for Morgane Peng morganepeng
132
19k
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
411
23k
Docker and Python
Avatar for Tania Allard trallard
46
3.6k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
615
210k
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
231
53k
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
791
250k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
10
610

Transcript

  1. 画像認識の精度ってどうよ？ Presented By [email protected]

  2. 自己紹介 • 小﨑 肇（こざき はじめ⇒[ハナ]肇⇒はなっち！） • ５８歳 もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区

    • 趣味 自転車だったけど、最近はINGRESS • 職歴  かなり前に今の会社に入社。 COBOL⇒JAVA⇒EXCEL-VBA  EXCEL-VBAでは、JP1-REPORTERとか、 SAGENT-REPORTERとか…  UiPath歴は、１６ヶ月… Presented By [email protected]

  3. ブラウザのサイズが変わっても、みえていれば認識出来る？ ズームを１２５％にして使っているんだけど、認識出来る？ セレクタからエレメントが拾えない場合、 ブラウザを最大化したり、ズームを１００％にしてから、 画像の設定している。

  4. ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType

    "CLICK_SINGLE" DisplayName "画像をクリック 'iexplore.exe" KeyModifiers "None" MouseButton "BTN_LEFT" SendWindowMessages "False"> Position "Center"> x:TypeArguments "x:Int32" x:TypeArguments "x:Int32" Image "{x:Null}" Accuracy "0.8" TargetImageBase64 "iVBORw0KGgoAAAANSUhEUgAAACoAAAAaCAYAAADBuc72AAAAAX NSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA 7DAcdvqGQAAADNSURBVFhH7ZTRDcIwDESZhkVhEZZArMAA/LIAQw RF6IQ5+eIGXAVQPp7q+GL3fVTdbPel/AJTNJspms1/iV5vD7jupc4dL+/ tGCKKumdPKMoLcVYsueOB/YouUVUzKmvNRDRFsRjLVc2orDUTIUXr wt3puZxfwn1gM9zlGXVu0f2NRn2bMcgO59d7dlaxqqh3rs8qynciPhZlvBn Ohohy38ui8xKGi3KmSBe1fdT2Xq3xN7F/FeSKVUW9vs28niIU/RamaDZ TNJspmkspd2mQD4lxOeVYAAAAAElFTkSuQmCC" ClippingRegion "{x:Null}" Element "{x:Null}" TimeoutMS "{x:Null}" Selector "<html title='[RPAQATOP-*] お問合せを承りました。 - Jira' />" WaitForReady "INTERACTIVE"

  5. TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601]

    Copyright (c) 2009 Microsoft Corporation. All rights reserved. C:¥Users¥UiPath>cd Desktop C:¥Users¥UiPath¥Desktop>certutil -f -decode In.txt Out.png 入力長 = 416 出力長 = 312 CertUtil: -decode コマンドは正常に完了しました。 C:¥Users¥UiPath¥Desktop> Out.Png

  6. そんな苦労しなくても… Out.Png

  7. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  8. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  9. 準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～ １００％を中心にして、拡大縮小それぞれ±５０％で変 化させる。都合１０１ファイルを準備 ～

    ～

  10. EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20

    Image = Array("100-200-080", "100-200-081", _ "100-200-082", "100-200-083", _ "100-200-084", "100-200-085", _ … "100-200-098", "100-200-099", _ "100-200-100", _ "100-200-101", "100-200-102", _ … "100-200-117", "100-200-118", _ "100-200-119", "100-200-120") Me.Label1.Caption = ix & " ... " & Image(ix) & 拡張子 Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub Private Sub Image1_Click() On Local Error Resume Next ix = ix + Distance Me.Label1.Caption = ix & " ... " & Image(ix) Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub

  11. UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！ 認識できなかったらExceptionへ！

  12. 1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp

    3 Load 2019/7/24 16:04 100-200-101.bmp 4 Clicked 2019/7/24 16:04 100-200-101.bmp 5 Load 2019/7/24 16:04 100-200-102.bmp 6 Clicked 2019/7/24 16:04 100-200-102.bmp 7 Load 2019/7/24 16:04 100-200-103.bmp 8 Clicked 2019/7/24 16:04 100-200-103.bmp 9 Load 2019/7/24 16:04 100-200-104.bmp 1 Load 2019/7/24 16:05 100-200-100.bmp 2 Clicked 2019/7/24 16:05 100-200-100.bmp 3 Load 2019/7/24 16:05 100-200-099.bmp 4 Clicked 2019/7/24 16:05 100-200-099.bmp 5 Load 2019/7/24 16:05 100-200-098.bmp 6 Clicked 2019/7/24 16:05 100-200-098.bmp 7 Load 2019/7/24 16:05 100-200-097.bmp 結果（認識率0.8） 拡大方向 縮小方向 １００％は当然認識！ １０４％で認識できない ９７％で認識できない

  13. 結果（認識率を変えて） 厳格ゾーン ゆるゆるゾーン

  14. None

  15. 今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像… 

    「…」画像… 横120% 縦80%  <input type=“submit” value=“購入する“>のズーム Presented By [email protected]