Sukili による UI Automation

社内新卒技術勉強会の資料

Transcript

1. Sukili  による  UI  Automa.on   Pine  Mizune  
2. 目次   •  Sikuli  とは  ?   •  Sikuli  が解決する問題   •  Sikuli  を実際に使ってみる   •  Sikuli  の技術   •  JRuby  から Sikuli  を呼び出す   2  
3. Sikuli  とは  ?   •  UI  操作を自動化するツール・ライブラリ   •  クロスプラットフォーム   ü  Windows  /  Mac  /  Linux   •  画像認識ベース   ü  操作対象の内部構造は問わない   3  
5. Sikuli  が解決する問題   5   •  複雑・面倒な操作の自動化   ü  GUI  操作が必要でも自動化できる   •  高レイヤな  UI  テストの実現   •  実際の閲覧環境に近い形でテスト可能   •  マウス・キーボードの入力も再現  
6. Sikuli  を実際に使ってみる   6   •  Windows  上で  Slack  クライアントを自動操作   ü  頭が貧弱なので、良い例が思いつかなかった   ü  本当は  API  が存在しないものでやると良い  
7. Sikuli  の技術   7   Java.awt.Robot Jython OpenCV Tesseract  OCR Sikuli  Java  API ※  How  Sikuli  Works:  hSp://doc.sikuli.org/devs/system-­‐design.html?highlight=jni
8. JRuby  から Sikuli  を呼び出す   8  
9. JRuby  から Sikuli  を呼び出す   9   •  Sikuli  API  はJava  API  として提供   ü  公式に Jython,  JRuby  をサポート   ü  もちろん  Java  から直接も  OK   u  (余談)  JRuby  が最近熱い   •  JRuby  1.7  -­‐>  9K  …  謎 Version  UP  
10. JRuby  から Sikuli  を呼び出すデモ   10   •  最近  API  が廃止された  Skype  を自動操作   ü  Microsob  社は頭が悪いの  ???   •  チャットを開いて自動投稿   ü  もう  Slack  でよいので、時遅し