Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Sukili による UI Automation
Pine Mizune
June 16, 2015
Programming
0
83
Sukili による UI Automation
社内新卒技術勉強会の資料
Pine Mizune
June 16, 2015
Tweet
Share
More Decks by Pine Mizune
See All by Pine Mizune
多言語対応と絵文字ジェネレーター / i18n of Emoji Generator
pine
0
380
C++ 製グラフィックライブラリ Skia の紹介 / Introduction to the graphics library Skia written by C++
pine
0
820
asyncio + aiohttp で作るウェブサービス / How to develop a web service with asyncio and aiohttp
pine
0
420
Lerna による明示的疎結合アーキテクチャ
pine
1
520
CircleCI 2.0 x JavaScript
pine
3
460
Perl 卒業式
pine
0
270
Android Studio の気になる warnings を抑制する方法まとめ
pine
0
380
Emoji Generator meets Browser Extensions
pine
1
2.7k
近年の OSS 開発における CI 選択のベストプラクティス
pine
3
4.4k
Other Decks in Programming
See All in Programming
LOWYAの信頼性向上とNew Relic
kazumax55
4
370
SPA/MPA 議論の俯瞰と 現代における設計のポイント - #tfcon 2022 フロントエンド設計
ahomu
3
1.9k
Microsoft Teams の 会議アプリ開発のはじめかた / How to start Microsoft Teams app development
karamem0
0
1.7k
書籍『良いコード/悪いコードで学ぶ設計入門』でエンジニアリングの当たり前を変える
minodriven
3
1.1k
Named Document って何?
harunakano
0
500
Update from the Elixir team - 2022
whatyouhide
0
200
不具合に立ち向かう テスト戦略 ~ NestJSで作るCI環境 ~
naoki_haba
0
110
スモールチームがAmazon Cognitoでコスパよく作るサービス間連携認証
tacke_jp
2
800
CLI構築のススメ
nyankotaro
1
220
SRE NEXT 2022: Sensible Incident Management for Software Startups
takanabe
2
620
読みやすいコードを書こう
yutorin
0
430
「新卒だけ」じゃない!学び直しを支えるミクシィの技術研修を紹介
mixi_engineers
PRO
0
150
Featured
See All Featured
Become a Pro
speakerdeck
PRO
3
780
Mobile First: as difficult as doing things right
swwweet
212
7.5k
What's in a price? How to price your products and services
michaelherold
229
9.3k
Code Review Best Practice
trishagee
41
6.8k
Build your cross-platform service in a week with App Engine
jlugia
219
17k
Raft: Consensus for Rubyists
vanstee
126
5.4k
Ruby is Unlike a Banana
tanoku
91
9.2k
Adopting Sorbet at Scale
ufuk
63
7.5k
Building an army of robots
kneath
299
40k
Agile that works and the tools we love
rasmusluckow
319
19k
The Illustrated Children's Guide to Kubernetes
chrisshort
14
35k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
212
20k
Transcript
Sukili による UI Automa.on Pine Mizune
目次 • Sikuli とは ? • Sikuli が解決する問題
• Sikuli を実際に使ってみる • Sikuli の技術 • JRuby から Sikuli を呼び出す 2
Sikuli とは ? • UI 操作を自動化するツール・ライブラリ • クロスプラットフォーム
ü Windows / Mac / Linux • 画像認識ベース ü 操作対象の内部構造は問わない 3
4
Sikuli が解決する問題 5 • 複雑・面倒な操作の自動化 ü GUI
操作が必要でも自動化できる • 高レイヤな UI テストの実現 • 実際の閲覧環境に近い形でテスト可能 • マウス・キーボードの入力も再現
Sikuli を実際に使ってみる 6 • Windows 上で Slack クライアントを自動操作
ü 頭が貧弱なので、良い例が思いつかなかった ü 本当は API が存在しないものでやると良い
Sikuli の技術 7 Java.awt.Robot Jython OpenCV Tesseract OCR
Sikuli Java API ※ How Sikuli Works: hSp://doc.sikuli.org/devs/system-‐design.html?highlight=jni
JRuby から Sikuli を呼び出す 8
JRuby から Sikuli を呼び出す 9 • Sikuli API
はJava API として提供 ü 公式に Jython, JRuby をサポート ü もちろん Java から直接も OK u (余談) JRuby が最近熱い • JRuby 1.7 -‐> 9K … 謎 Version UP
JRuby から Sikuli を呼び出すデモ 10 • 最近 API
が廃止された Skype を自動操作 ü Microsob 社は頭が悪いの ??? • チャットを開いて自動投稿 ü もう Slack でよいので、時遅し
None