WinActor ver7.6.0 新機能紹介

Transcript

1. WinActor ver7.6.0 新機能紹介
2. 目 次 1. WinActor Ver7.6 の 新しい機能について 2. 生成AI連携機能 ① ひな形作成 ② 画像分析 ③ 帳票作成の簡単化 3. シナリオ作成支援機能 ① 画像マッチング ② 同梱ライブラリのPython化 4. シナリオ運用・保守の効率化機能 ① シナリオ差分表示 ② シナリオフォーマットチェック
3. 本日の目標 1. WinActor Ver.7.6の新機能について知る 2. 生成AIの連携機能って面白い！ 3. 新機能を使って効率化できたのでLT支部で発表したい！ こういう気持ちになってくれたら うれしい です！
4. まずは公式サイトの リリースノート をチェックしてみよう！ １．WinActor Ver7.6 の 新しい機能について WinActor Ver.7.6.0 リリースノート ： https://winactor.biz/docs/winactor_ver760_releasenote.pdf
5. １．WinActor Ver7.6 の 新しい機能について WinActor Ver.7.6.0 詳細機能： https://winactor.biz/product/winactor_v7.html 活用イメージを具体的につかむための動画も用意されている
6. 説明をはじめる前に ……耳タコだと思いますが生成AIを使うための心構えを一応説明！ ２．生成AI連携機能 生成AI に 過度な期待 をしすぎない！ • 単語のイメージに引きずられがち。何でもできるわけではない！ • 楽観視しすぎない。本当にこの方法で効率化できているかを疑う。 • 場合によっては人間が手を動かしたほうが早い場合もある。 • 独自の暗黙知までは理解してくれない。つど具体的な指示が必要。 • 入力間違いや設定間違いも当然ある。生成後は見直しが必要。
7. 説明をはじめる前に ……こちらも耳タコだと思いますが念のため事前準備の説明します ２．生成AI連携機能 生成AIの利用 には アカウントの取得 が必要です！
8. ２．生成AI連携機能 ① ひな形作成 やりたいことを入力していくと シナリオの「ひな形」を作成してくれる 天気を取得したい。 ・ 東京の天気を取得したい。 ・ 気象庁のWebページのURLは「 https://www… 」 ・ 変数名は日本語。 ・ 取得結果はExcelを開いてA1セルに設定。 気象庁のWebページのURLを 「 https://www… 」に 変更して。 ライブラリについて、Excelの上書き保存はそのままで 全て閉じるは削除してください。
9. ２．生成AI連携機能 ① ひな形作成 今までのシナリオ作成方法と何が違う？ 自動記録 新規作成（ガイド利用） 新規作成（生成AI利用） 手動作成 シ ナ リ オ 作 成 難 易 度 自由に作成・修正できるが 具体的に指示する必要あり
10. ２．生成AI連携機能 ① ひな形作成 対話によるひな形作成の操作手順 ［ファイル］＞［新規作成］から ［新規作成（生成AI利用）］を選択 入力欄に自動化したい内容を入力して ［紙飛行機］ボタンを押下すると生成される
11. ２．生成AI連携機能 ① ひな形作成 ※ 作成中の注意点 ［チャット終了］ボタンを押下すると再度対話はできません。 • 事前に自動化したい処理内容を整理整頓しておく。（業務改善） • ダラダラ対話してしまうと生成AIの使用料がかかってしまう。 • 絶対に実現したいことを絞り込んでおく。 • 処理の洗い出しが難しい場合は人間と対話したほうが早い場合も。 • 対話回数を減らしたい場合は具体的に指示を出す。 • 指示の仕方に依って出力内容が変わる。 • より完璧を目指すなら出力の癖を調べるかAIの進化を待つしかない。 • 作成途中でシナリオ動作確認の実行はできない。 • あくまで編集中なので実行する場合は［チャット終了］する必要がある。 • 変数一覧も確認できない。変数初期値入力は「変数コピー」で実行される。 • ライブラリのプロパティは確認できる。 • 長いシナリオは分割して作っていき、あとで手作業でくっつけるしかない。 • 完璧なものは生成できない。ある程度で対話を終了する。 • あくまで「ひな形作成」なので不完全なのは当たり前。 • 完璧を目指すと、時間もかかるし生成AIの使用料もかさむので注意。 • 手作業で修正したほうが早い場合もある。 ある程度完成したら［チャット終了］ボタンを押下してシナリオを生成する
12. ２．生成AI連携機能 ① ひな形作成 作成後の注意点 生成AIに過度な期待をしない。完成品は絶対にチェックと修正をする。 • プロパティに設定値が直書きされることが多く内容が間違っている。 • 一見正しそうなURLやXPathが入っているがよく見ると間違っている。 • 対話中に指示しない限りはサンプルの設定値が入る仕様。 • 保守管理とのバランスを見て必要があれば変数の初期値に手修正する必要がある。 • たまにプロパティの変数名の設定間違いがある。 • 設定間違いを防ぐには、つど指示を入れる必要が出てくる。 • 生成AIで対話する手間と手動修正の手間のバランスを見て作成する。 • たまに不要なライブラリが追加されている場合がある。 • Excelを閉じる処理が２重に入っている場合があった。 • 指示の仕方に依るようなので癖を調べるかAIの進化を待つしかない。 • 2重に入っている場合は対話して削除するより手動で削除したほうが早い。 • ニッチな処理だと適切なライブラリが設定されていない場合がある。 （例） コンピュータ名の取得 • 今回の機能でコンピュータ名を取得してExcelに出力する処理を生成。 • コマンド実行で取得はできていたが、Excelに出力するための処理が不足していた。 • ライブラリ［コンピュータ名取得］で実現できたが採用されていなかった。
13. ２．生成AI連携機能 ① ひな形作成 作成のコツ 業務改善した上で作成したい内容を具体的に指示する。 天気を取得したい。 ・ 東京の天気を取得したい。 ・ 気象庁のWebページのURLは、 「https://www…」 ・ 変数名は日本語。 ・ 取得結果はExcelを開いてA1セルに設定。 ① 対話でざっくりとシナリオを作成する。 ② 各ライブラリについて設定修正や不要なものを削除する。 • Excelが新規作成されなかったのでファイルを準備。 • 不足したプロパティの設定値を修正 • 東京の天気が記載されている文字列のXPath • Excelのファイルパス • Excelのセル番地 • ライブラリ［Excel操作（全て閉じる）］の削除 ③ 何度か動作確認して問題なければ完成。
14. ２．生成AI連携機能 ② 画像分析 何ができるの？ 画像に対する判定出力やデータ抽出が簡単になる ▼ JPEGやPNGなどの画像 ▼ JPEGやPNGなどの画像 東京の天気（7月） 29日 30
15. ２．生成AI連携機能 ② 画像分析 設定手順 サブシナリオを配置して生成AI・インプット・アウトプットの変数をそれぞれ設定する 生成AIの情報 （※事前の取得が必要） ・ APIキー ・ Organization ID ・ Model インプット ・ ファイルパス ・ プロンプト アウトプット ・ チャット応答
16. ２．生成AI連携機能 ② 画像分析 回答内容に制限を付けない場合 回答内容に制限を付けた場合 東京の天気（7月） 29日（火） 30日（水） 31日（木） 作成のコツ 生成AIのモデル、画像の解像度、指示の出し方（プロンプト）などを工夫する
17. ２．生成AI連携機能 ② 画像分析 プロンプトを工夫すれば より適切な出力形式で データを出すことも可能 ……ただし、結果が毎回正確に出力されるとは限らないので出力結果はチェックする必要がある。 ▼ PDFを画像に変換したもの 活用事例 もしかしてAI-OCRっぽくも使えるんじゃない……？
18. ２．生成AI連携機能 ② 画像分析 • 手書きだと読み取り精度が落ちる。 • 画像が荒いと読み取れない場合もある。 • 読み取ってほしくない部分が読み取られる場合もある。 • 設定やプロンプトである程度解消できるが限界はある。 間違っている点 • 商品名が「資材１」なのに「資本１」になってい る。 • 明細にて金額ではなく単価が読み取られている。 • 不必要な小計、消費税、合計が読み取られている。 注意点 もちろん画像分析にも限界はある（念のため手書きのデータで試してみた）
19. ２．生成AI連携機能 ② 画像分析 サービス ・ツール 専用サービス （ AI-OCR ） 生成AI連携 （ 画像分析 ） WinActorEyeのOCR機能 読取精度 ◎ 〇 × 備考 • 手書きでも読取精度が高い • 多少汚れていても読み取れる • 斜めになっても読み取れる • 読取結果に対して特定の編集 が簡単に実行できるサービス を提供している • デジタルで作成した文字列の 画像であれば読取精度は高い • 手書きや解像度の低い画像に ついては読取精度が低い • プロンプト次第で出力形式を 調整できる（ある程度練習が必 要） • 読取画像に対する判定など 活用の自由度が高い • 読取精度は低い。 • デジタルで作成した文字列の 画像でも読取間違いが発生 • 読取確度の高いものについて 使用することを推奨。 従来のAI-OCRサービスとどう違う？ サービスやツールを比較してみた
20. ２．生成AI連携機能 ③ 帳票作成の簡単化 何ができるの？ ExcelかCSVで作成された定型帳票の変数設定と帳票の操作が簡単になる
21. ２．生成AI連携機能 ③ 帳票作成の簡単化 今までのやり方と何が違うのか？ 変数設定の部分で比較してみる 今まで 今回の機能 • 変数をすべて手入力する必要があった • 変数にセル番地の情報も必要だった • 帳票を生成AIで読み取り変数を自動で設定してくれる。 • セル番地の情報はJSONに書き出すので変数１つで済む。
22. ２．生成AI連携機能 ③ 帳票作成の簡単化 雛形データ抽出の取得手順 請求書1.xlsx ExcelかCSVファイルのひな型を準備して WinActorの変数一覧の右端のボタン押下 ファイルを選択して抽出を開始する。
23. ２．生成AI連携機能 ③ 帳票作成の簡単化 雛形データ抽出の取得手順 抽出結果の確認と変数名の設定 をして［OK］を押下する。 変数一覧に項目名の変数とJSONが生成される。
24. ２．生成AI連携機能 ③ 帳票作成の簡単化 帳票操作簡単化の設定手順 設定値にクセがあるので注意
25. ２．生成AI連携機能 ③ 帳票作成の簡単化 抽出結果を想定通りにするコツ 定型帳票のひな型のつくりが９割！ 定型帳票のひな形の構造によって抽出結果が変わってくるので、きっちり作っておく必要がある
26. ２．生成AI連携機能 ③ 帳票作成の簡単化 読み込ませる定型帳票の作り方の注意点 １セル１データでないと 想定外の項目名の抽出になる 表形式に含まれていても 単票形式で抽出される場合も 抽出されたくない場合は データを消しておくこと 表形式の範囲はデータの有無 で判定されてしまう。 抽出させたい範囲は必ず データで埋めておくこと 変数名に使用不可の文字列を 含む項目名は自動変換される
27. ３．作成支援機能 ① 画像マッチング 何ができるの？ 今まで自動記録ができなかった画像マッチングが記録可能になった！
28. ３．作成支援機能 ① 画像マッチング 利用手順 自動記録の操作手順と同じ。プルダウンメニューで「画像マッチング」を選択する。 ［記録対象アプリケーション選択］ボタンを 押下してウィンドウを選択する。 ［記録モード］は「画像マッチング」を選択。 ［記録］ボタンを押下して記録を開始する。 記録対象ウィンドウの縁が緑色になったら、 クリックしたい場所をどんどん押下していく。 記録が終わったら［停止］ボタンを押下する。
29. ３．作成支援機能 ① 画像マッチング 利用手順 自動記録されたグループをシナリオの「開始」と「終了」の間に配置します。 フローチャートの編集画面に記録内容 のグループが出力される。 ノード［画像マッチング］のプロパティ を開き、設定内容を確認・修正する。 ▼より正確に動作するよう修正
30. ３．作成支援機能 ① 画像マッチング 注意点 マウスでのクリック関連操作しか自動記録できない。記録後は設定の再確認と修正を！ • 自動記録されるイベントはマウスでのクリック操作のみ ・ 左クリック ・ 右クリック ・ 左ダブルクリック ・ 右ダブルクリック ・ 左トリプルクリック ・ 右トリプルクリック ※ 他の処理は手動で追加する必要がある • 検索画像はクリック箇所を起点に楕円で指定される • 手動修正で楕円から四角に範囲指定が変更可能。 • 自動設定では適切に範囲指定されないので要再確認・修正。 • 画像的に似ている箇所が範囲指定されていないか確認を。 • ウィンドウ識別名やマッチ率を適切に調整する • 何度か動作確認を行って止まらないかチェックしておく。 • ウィンドウ識別名が多く作成される場合もあるので管理を。 • ウィンドウ画像保持でメモリ消費が多くなるので注意 • １つの操作ごとにマッチング用のウィンドウ画像が保持される。 • 画像も適切に管理すること。
31. ３．作成支援機能 ② 同梱ライブラリのPython化 ライブラリが 変換されている ライブラリが 変換されている 変換 前 変換 後 変換前後の状態比較
32. ３．作成支援機能 ② 同梱ライブラリのPython化 Python変換の設定手順 ツールの［ライブラリ最新化］を使用して変換をかける ［…］ボタンを押下してファイルを選択、 ［追加］ボタンを押下して変換したいファイルを追加していく。 追加が完了したら［ライブラリを最新化］ボタンを押下して実行する。
33. ３．作成支援機能 ② 同梱ライブラリのPython化 複数のシナリオを一括で変換する 場合はこの処理を何回か繰り返す。
34. ３．作成支援機能 ② 同梱ライブラリのPython化 変換をかける前に［出力設定］ の設定内容を確認しておく。
35. ３．作成支援機能 ② 同梱ライブラリのPython化 出力設定どおりに ファイルが出力されている ことが確認できる
36. ３．作成支援機能 ② 同梱ライブラリのPython化 変換前後の状態比較 変換前 変換後
37. ３．作成支援機能 ② 同梱ライブラリのPython化 変換作業のポイント 適切に変換をして、変換後に動作検証をしっかり実施しておく！ 変換前の確認作業 • 念のためシナリオのバックアップを取ってから実行する。 • 自作のライブラリは自動で変換されないので注意。 （Pythonで自作するか別の手段がないか検討が必要） • 更新の可否については、ツール［ライブラリ最新化］にてファイル選択して［ライブラリ情報］から確認できる。 変換後の動作検証について • 変換前と処理内容が変わらないか念のため検証する。 （条件が切り替わる部分は重点的に確認） • 処理速度が変わっているかもしれないので、動作テストをして適切に修正をかける。 • 処理全体に影響が出るかもしれないので、全体テストでの動作検証をしておく。 • カスタマイズしたライブラリがあれば念入りに動作検証を。
38. ４．運用・保守の効率化機能 ① シナリオ差分表示 何ができるの？ ２つのシナリオの作成内容の差が色付け表示されて分かりやすくなる • 複数人体制でシナリオの保守管理をしている場合に便利。 • 頻繁にシナリオの改修やメンテナンスが発生する環境 • 過去のバージョンとの変更点を明確に把握したい場合 • ファイルが２つあれば比較が可能。 • ファイルAとファイルAを修正したファイルBとの比較 • ファイルAと修正中のファイルA´との比較 • 変更がある要素について色で判断できる。 ⚫ 黄色 … 追加された要素 ⚫ 緑色 … 変更された要素 ⚫ 水色 … その他変更された要素 ⚫ 無色 … 変更なし • ノードやライブラリだけではなく、プロパティの設定値や 変数一覧など変更が判定できる要素に色がつく。
39. ４．運用・保守の効率化機能 ① シナリオ差分表示 差分の表示手順 アイコン［シナリオ差分表示］を押下してファイル指定すると色がつく。 差分表示を終了する場合は、 アイコン［シナリオ差分表示］ を再度押下する。
40. ４．運用・保守の効率化機能 ① シナリオ差分表示 差分判定の内容一覧 差分種別 比較ファイル内に 要素が存在するか 設定値の 変更有無 要素が直接目視 できる状態か イメージ図 追加 無 有 可 変更 有 有 可 その他変更 有 有 不可 差分なし 有 無 可/不可 設定値：B 設定値：A 設定値：B 設定値：A 設定値：A 設定値：A
41. ４．運用・保守の効率化機能 ① シナリオ差分表示 差分比較 差分判定の内容一覧表の条件に沿って色付けをされている。 待機ボックスを抜いたら 「追加」と判定された 浮遊ノードに変更したら 「その他変更」と判定され た
42. ４．運用・保守の効率化機能 ② フォーマットチェック 何ができるの？ シナリオ内にある未使用・不要なノードや変数や設定値を指摘してくれる • 浮遊フローなどシナリオの陰に隠れて見逃しがちなフローを見つけることが可能。 • 未使用の変数、グループ、ウィンドウ識別子も発見できて変数の整理整頓が可能になる。 • 残存のブレークポイントや待機ボックスを見つけておくことが可能。
43. ４．運用・保守の効率化機能 ② フォーマットチェック チェックの実行手順 チェックしたいシナリオを開いて実行するだけ。 ※ 表示されていない場合は メニューバーから設定を ① チェックしたいシナリオを開く。 今回は何も設定していないノード［待機ボックス］を配置。 ② シナリオフォーマットチェックの上部左側にある、 ［チェック実行］ボタン（虫眼鏡アイコン）を押下。 ③ チェック結果が画面下部に表示される。 ※ チェック結果を必ず修正する必要はない。 ※ 右端の設定項目でチェック内容を絞り込むことが可能
44. ご清聴 ありがとうございました WinActor しようぜ！