Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sukili による UI Automation
Search
Pine Mizune
June 16, 2015
Programming
0
95
Sukili による UI Automation
社内新卒技術勉強会の資料
Pine Mizune
June 16, 2015
Tweet
Share
More Decks by Pine Mizune
See All by Pine Mizune
多言語対応と絵文字ジェネレーター / i18n of Emoji Generator
pine
0
630
C++ 製グラフィックライブラリ Skia の紹介 / Introduction to the graphics library Skia written by C++
pine
0
1.3k
asyncio + aiohttp で作るウェブサービス / How to develop a web service with asyncio and aiohttp
pine
0
580
Lerna による明示的疎結合アーキテクチャ
pine
1
580
CircleCI 2.0 x JavaScript
pine
3
500
Perl 卒業式
pine
0
290
Android Studio の気になる warnings を抑制する方法まとめ
pine
0
450
Emoji Generator meets Browser Extensions
pine
1
2.9k
近年の OSS 開発における CI 選択のベストプラクティス
pine
3
4.5k
Other Decks in Programming
See All in Programming
どうしてこうなった命名集 ~🔥編~ / OOC 2024 LT
pictiny
5
3.9k
From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE
ivargrimstad
0
790
Creating Retro-Style Photos Using Swift
ski
1
890
Build with AI 2024 Seoul - 제로부터 시작하는 Flutter with Gemini 생활 - 박제창
itsmedreamwalker
0
200
1인 개발자로 행복하게 살기 - GDG 송도 헬로월드 2024
benjaminkim
1
5.5k
甘い香りに誘われてVanilla Extractを1年間運用してみた
miyahkun
1
110
フロントエンドパフォーマンス 入門
shouta2
7
1.6k
エンターテイメント業界で利用されるAWS
demuyan
0
200
15分間でふんわり理解するDocker @ Matsuriba MAX
ukwhatn
PRO
1
410
Introduction for Open Source Swift Workshop
giginet
PRO
0
1k
Zero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets
hollycummins
0
200
SwiftUI Performance 不要なViewの再描画と更新を抑える
bigamitiongit
1
150
Featured
See All Featured
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.4k
Optimizing for Happiness
mojombo
369
69k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
243
20k
Infographics Made Easy
chrislema
237
18k
How STYLIGHT went responsive
nonsquared
92
4.8k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
The Art of Programming - Codeland 2020
erikaheidi
41
12k
Designing for Performance
lara
601
67k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
4 Signs Your Business is Dying
shpigford
175
21k
Thoughts on Productivity
jonyablonski
57
3.8k
Fontdeck: Realign not Redesign
paulrobertlloyd
75
4.9k
Transcript
Sukili による UI Automa.on Pine Mizune
目次 • Sikuli とは ? • Sikuli が解決する問題
• Sikuli を実際に使ってみる • Sikuli の技術 • JRuby から Sikuli を呼び出す 2
Sikuli とは ? • UI 操作を自動化するツール・ライブラリ • クロスプラットフォーム
ü Windows / Mac / Linux • 画像認識ベース ü 操作対象の内部構造は問わない 3
4
Sikuli が解決する問題 5 • 複雑・面倒な操作の自動化 ü GUI
操作が必要でも自動化できる • 高レイヤな UI テストの実現 • 実際の閲覧環境に近い形でテスト可能 • マウス・キーボードの入力も再現
Sikuli を実際に使ってみる 6 • Windows 上で Slack クライアントを自動操作
ü 頭が貧弱なので、良い例が思いつかなかった ü 本当は API が存在しないものでやると良い
Sikuli の技術 7 Java.awt.Robot Jython OpenCV Tesseract OCR
Sikuli Java API ※ How Sikuli Works: hSp://doc.sikuli.org/devs/system-‐design.html?highlight=jni
JRuby から Sikuli を呼び出す 8
JRuby から Sikuli を呼び出す 9 • Sikuli API
はJava API として提供 ü 公式に Jython, JRuby をサポート ü もちろん Java から直接も OK u (余談) JRuby が最近熱い • JRuby 1.7 -‐> 9K … 謎 Version UP
JRuby から Sikuli を呼び出すデモ 10 • 最近 API
が廃止された Skype を自動操作 ü Microsob 社は頭が悪いの ??? • チャットを開いて自動投稿 ü もう Slack でよいので、時遅し
None