Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

画像認識精度について-EXL

Avatar for HANACCHI HANACCHI
April 08, 2021
130
0

 画像認識精度について-EXL

RPA勉強＆LT会！RPALT特別編！89祭でLT祭！

Avatar for HANACCHI

HANACCHI

April 08, 2021

More Decks by HANACCHI

See All by HANACCHI
単体試験の生産性向上と私
Avatar for HANACCHI hanacchi
0
140
PowerAutomatefordesktopでの開発シーンで
Avatar for HANACCHI hanacchi
0
31
ChatGPTにテストデータを作ってもらう
Avatar for HANACCHI hanacchi
0
210
AI JIMYで数独
Avatar for HANACCHI hanacchi
0
69
メール本文をどうやっつけるか
Avatar for HANACCHI hanacchi
0
390
2024年のローコード界隈最新事情～業務担当者でもAI・生成AIを活用できる！～
Avatar for HANACCHI hanacchi
0
470
AI JIMY - 登壇(インストール編)
Avatar for HANACCHI hanacchi
0
560
AI JIMY - 登壇(設定編)
Avatar for HANACCHI hanacchi
0
520
AI JIMY - 登壇(実行編)
Avatar for HANACCHI hanacchi
0
480

Featured

See All Featured
Design in an AI World
Avatar for tapps tapps
1
310
Collaborative Software Design: How to facilitate domain modelling decisions
Avatar for Kenny Baas-Schwegler baasie
1
320
Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)
Avatar for Beat Signer signer
PRO
0
3.7k
Kristin Tynski - Automating Marketing Tasks With AI
Avatar for Tech SEO Connect techseoconnect
PRO
0
510
Stop Working from a Prison Cell
Avatar for Chris Michel hatefulcrawdad
274
21k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Avatar for Marc Duiker marcduiker
35
2.6k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
Avatar for AKADEMIYA2063 akademiya2063
PRO
1
350
SEO for Brand Visibility & Recognition
Avatar for Aleyda Solis aleyda
0
4.7k
Prompt Engineering for Job Search
Avatar for Mfonobong Umondia mfonobong
0
450
Build The Right Thing And Hit Your Dates
Avatar for Maggie C. maggiecrowley
39
3.4k
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
0
220
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
232
55k

Transcript

  1. 画像認識の精度ってどうよ？ Presented By [email protected]

  2. 自己紹介 • 小﨑 肇（こざき はじめ⇒[ハナ]肇⇒はなっち！） • ５８歳 もうすぐ５９歳、もうすぐ… • 東京都豊島区⇒神奈川県川崎市中原区

    • 趣味 自転車だったけど、最近はINGRESS • 職歴  かなり前に今の会社に入社。 COBOL⇒JAVA⇒EXCEL-VBA  EXCEL-VBAでは、JP1-REPORTERとか、 SAGENT-REPORTERとか…  UiPath歴は、１６ヶ月… Presented By [email protected]

  3. ブラウザのサイズが変わっても、みえていれば認識出来る？ ズームを１２５％にして使っているんだけど、認識出来る？ セレクタからエレメントが拾えない場合、 ブラウザを最大化したり、ズームを１００％にしてから、 画像の設定している。

  4. ClickImage って？ ClickImage ContinueOnError "{x:Null}" DelayBefore "{x:Null}" DelayMS "{x:Null}" ClickType

    "CLICK_SINGLE" DisplayName "画像をクリック 'iexplore.exe" KeyModifiers "None" MouseButton "BTN_LEFT" SendWindowMessages "False"> Position "Center"> x:TypeArguments "x:Int32" x:TypeArguments "x:Int32" Image "{x:Null}" Accuracy "0.8" TargetImageBase64 "iVBORw0KGgoAAAANSUhEUgAAACoAAAAaCAYAAADBuc72AAAAAX NSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsMAAA 7DAcdvqGQAAADNSURBVFhH7ZTRDcIwDESZhkVhEZZArMAA/LIAQw RF6IQ5+eIGXAVQPp7q+GL3fVTdbPel/AJTNJspms1/iV5vD7jupc4dL+/ tGCKKumdPKMoLcVYsueOB/YouUVUzKmvNRDRFsRjLVc2orDUTIUXr wt3puZxfwn1gM9zlGXVu0f2NRn2bMcgO59d7dlaxqqh3rs8qynciPhZlvBn Ohohy38ui8xKGi3KmSBe1fdT2Xq3xN7F/FeSKVUW9vs28niIU/RamaDZ TNJspmkspd2mQD4lxOeVYAAAAAElFTkSuQmCC" ClippingRegion "{x:Null}" Element "{x:Null}" TimeoutMS "{x:Null}" Selector "<html title='[RPAQATOP-*] お問合せを承りました。 - Jira' />" WaitForReady "INTERACTIVE"

  5. TargetImageBase64が画像情報!? WindowsでBase64エンコード/デコードする方法 – Qiita https://qiita.com/halpas/items/2296cf611a6370f640a3 In.txt Microsoft Windows [Version 6.1.7601]

    Copyright (c) 2009 Microsoft Corporation. All rights reserved. C:¥Users¥UiPath>cd Desktop C:¥Users¥UiPath¥Desktop>certutil -f -decode In.txt Out.png 入力長 = 416 出力長 = 312 CertUtil: -decode コマンドは正常に完了しました。 C:¥Users¥UiPath¥Desktop> Out.Png

  6. そんな苦労しなくても… Out.Png

  7. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  8. さて、画像認識精度をどうやって測るか？ 1. ブラウザ上のクリックボタンを画像認識させたのち、ブラウザ のズームを変えて、クリック出来るか？ 2. UserForm1上のイメージを画像認識させたのち、ズーム比を 変えた画像を新たにLoadさせて、クリック出来るか？

  9. 準備 … ペイントを使って、検証用の画像ファイルを作成 100-200-100.bmp 100-200-080.bmp 100-200-120.bmp ～ １００％を中心にして、拡大縮小それぞれ±５０％で変 化させる。都合１０１ファイルを準備 ～

    ～

  10. EXCEL-VBA側 Private Sub UserForm_Activate() iRow = 0 ix = 20

    Image = Array("100-200-080", "100-200-081", _ "100-200-082", "100-200-083", _ "100-200-084", "100-200-085", _ … "100-200-098", "100-200-099", _ "100-200-100", _ "100-200-101", "100-200-102", _ … "100-200-117", "100-200-118", _ "100-200-119", "100-200-120") Me.Label1.Caption = ix & " ... " & Image(ix) & 拡張子 Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub Private Sub Image1_Click() On Local Error Resume Next ix = ix + Distance Me.Label1.Caption = ix & " ... " & Image(ix) Me.Image1.Picture = LoadPicture(ThisWorkbook.Path & _ MYFOL & Image(ix) & 拡張子) Me.Repaint End Sub

  11. UiPATH側 String.Concat( Enumerable.Repeat("*", 50)) 画像認識出来たらクリック！ 認識できなかったらExceptionへ！

  12. 1 Load 2019/7/24 16:04 100-200-100.bmp 2 Clicked 2019/7/24 16:04 100-200-100.bmp

    3 Load 2019/7/24 16:04 100-200-101.bmp 4 Clicked 2019/7/24 16:04 100-200-101.bmp 5 Load 2019/7/24 16:04 100-200-102.bmp 6 Clicked 2019/7/24 16:04 100-200-102.bmp 7 Load 2019/7/24 16:04 100-200-103.bmp 8 Clicked 2019/7/24 16:04 100-200-103.bmp 9 Load 2019/7/24 16:04 100-200-104.bmp 1 Load 2019/7/24 16:05 100-200-100.bmp 2 Clicked 2019/7/24 16:05 100-200-100.bmp 3 Load 2019/7/24 16:05 100-200-099.bmp 4 Clicked 2019/7/24 16:05 100-200-099.bmp 5 Load 2019/7/24 16:05 100-200-098.bmp 6 Clicked 2019/7/24 16:05 100-200-098.bmp 7 Load 2019/7/24 16:05 100-200-097.bmp 結果（認識率0.8） 拡大方向 縮小方向 １００％は当然認識！ １０４％で認識できない ９７％で認識できない

  13. 結果（認識率を変えて） 厳格ゾーン ゆるゆるゾーン

  14. None

  15. 今後の挑戦！  縦方向だけに拡大縮小  横方向だけに拡大縮小  .Jpeg,.PNGファイル対応  「魑魅魍魎」画像… 

    「…」画像… 横120% 縦80%  <input type=“submit” value=“購入する“>のズーム Presented By [email protected]