Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Sukili による UI Automation

Sukili による UI Automation

社内新卒技術勉強会の資料

842aaadff6e13fbf372c9b17b49b031c?s=128

Pine Mizune

June 16, 2015
Tweet

More Decks by Pine Mizune

Other Decks in Programming

Transcript

  1. Sukili  による  UI  Automa.on   Pine  Mizune  

  2. 目次   •  Sikuli  とは  ?   •  Sikuli  が解決する問題

      •  Sikuli  を実際に使ってみる   •  Sikuli  の技術   •  JRuby  から Sikuli  を呼び出す   2  
  3. Sikuli  とは  ?   •  UI  操作を自動化するツール・ライブラリ   •  クロスプラットフォーム

      ü  Windows  /  Mac  /  Linux   •  画像認識ベース   ü  操作対象の内部構造は問わない   3  
  4. 4  

  5. Sikuli  が解決する問題   5   •  複雑・面倒な操作の自動化   ü  GUI

     操作が必要でも自動化できる   •  高レイヤな  UI  テストの実現   •  実際の閲覧環境に近い形でテスト可能   •  マウス・キーボードの入力も再現  
  6. Sikuli  を実際に使ってみる   6   •  Windows  上で  Slack  クライアントを自動操作

      ü  頭が貧弱なので、良い例が思いつかなかった   ü  本当は  API  が存在しないものでやると良い  
  7. Sikuli  の技術   7   Java.awt.Robot Jython OpenCV Tesseract  OCR

    Sikuli  Java  API ※  How  Sikuli  Works:  hSp://doc.sikuli.org/devs/system-­‐design.html?highlight=jni
  8. JRuby  から Sikuli  を呼び出す   8  

  9. JRuby  から Sikuli  を呼び出す   9   •  Sikuli  API

     はJava  API  として提供   ü  公式に Jython,  JRuby  をサポート   ü  もちろん  Java  から直接も  OK   u  (余談)  JRuby  が最近熱い   •  JRuby  1.7  -­‐>  9K  …  謎 Version  UP  
  10. JRuby  から Sikuli  を呼び出すデモ   10   •  最近  API

     が廃止された  Skype  を自動操作   ü  Microsob  社は頭が悪いの  ???   •  チャットを開いて自動投稿   ü  もう  Slack  でよいので、時遅し  
  11. None