[Windowsアプリ]標準動作一覧 / 画像認識操作
はじめに
Windowsアプリの「画像認識操作」カテゴリに含まれる、標準動作一覧です。
もくじ
・現在の画面と期待画像を比較する
・比較した画像の一致率が指定％以上であることを検証する
・要素画像から要素を検出してクリックする
・要素画像から要素を検出してテキストを入力する
詳細
現在の画面と期待画像を比較する
- 現在表示中の画面のスクリーンショットと、指定した期待画像の比較を行います。
- 比較には「差の絶対値」を利用します。
- 期待画像は、Windowsアプリ標準動作「特殊操作」＞「画面のフルスクリーンショットを撮る」にて取得した画像を使用してください。
- 正確な差分を求める場合は、モニターサイズを期待画像撮影時と揃えてください。
- 期待画像撮影時と環境が異なる場合、比較時にT-DASHが自動的にサイズや配置を調整しますが、これによりデータの欠損が発生します。
- 「比較した画像の一致率が指定％以上であることを検証する」とセットでの使用を推奨します。
| 画面名(設定値1) | 画面定義で設定した画面名を入力する |
| 要素名(設定値2) | 画面定義で設定した要素名を入力する |
| 設定値(設定値3) | 期待画像の絶対パスを、/（スラッシュ）区切りで入力する |
▼上記手順のテスト実施後、テストレポートから抜粋
比較した画像の一致率が指定％以上であることを検証する
- 画像比較の結果（画像一致率）が設定値に入力した値以上であるか、検証します。
- 前の手順に「現在の画面と期待画像を比較する」がないと動作しません。
- 検証は、直近の結果をもとに行われます。
| 画面名(設定値1) | 画面定義で設定した画面名を入力する |
| 要素名(設定値2) | 画面定義で設定した要素名を入力する |
| 設定値(設定値3) | 画像一致率を半角数字で入力する |
要素画像から要素を検出してクリックする
- XPathの代わりに画像を使って要素を指定し、クリックします。
- XPathを正しく指定しても、テスト実行時にエラー「要素が見つかりません」になってしまう場合は、本動作をお試しください。
例) XPath指定時とテスト実行時（何かしらのアクション後）で、XPathが変わる仕様のアプリなど - 実際の挙動は、XPathで要素を指定するWindowsアプリ標準動作「マウス操作」＞「要素をクリックする」と同様です。
- XPathの代わりとなる「要素画像パス」の設定方法は、以下のチュートリアルをご覧ください。
参照先のチュートリアルではWebアプリを対象としていますが、Windowsアプリも同様の操作になります。
■画像認識動作をしよう
https://service.valtes.co.jp/t-dash/function/tutorial/behaviordefinitions_vol_005/ - 使用する画像は、可能な限り鮮明で、同等サイズのものを推奨します。
キャプチャツール「WinTool」(※1) ＞ 要素詳細情報 ＞ 要素画像「画像保存」ボタンをクリック、で画像取得可能です。
| 画面名(設定値1) | 画面定義で設定した画面名を入力する |
| 要素名(設定値2) | 画面定義で「要素画像パス」を設定した要素名を入力する |
| 設定値(設定値3) | 入力不可（入力できない） |
要素画像から要素を検出してテキストを入力する
- XPathの代わりに画像を使って要素を指定し、設定値に設定したテキストを入力します。
- XPathを正しく指定しても、テスト実行時にエラー「要素が見つかりません」になってしまう場合は、本動作をお試しください。
例) XPath指定時とテスト実行時（何かしらのアクション後）で、XPathが変わる仕様のアプリなど - 実際の挙動は、XPathで要素を指定するWindowsアプリ標準動作「入力操作」＞「文字列を入力する」と同様です。
- XPathの代わりとなる「要素画像パス」の設定方法は、以下のチュートリアルをご覧ください。
参照先のチュートリアルではWebアプリを対象としていますが、Windowsアプリも同様の操作になります。
■画像認識動作をしよう
https://service.valtes.co.jp/t-dash/function/tutorial/behaviordefinitions_vol_005/ - 使用する画像は、可能な限り鮮明で、同等サイズのものを推奨します。
キャプチャツール「WinTool」(※1) ＞ 要素詳細情報 ＞ 要素画像「画像保存」ボタンをクリック、で画像取得可能です。
| 画面名(設定値1) | 画面定義で設定した画面名を入力する |
| 要素名(設定値2) | 画面定義で「要素画像パス」を設定した要素名を入力する |
| 設定値(設定値3) | 入力したいテキストを入力する |
※1
「WinTool」に関しては、以下のチュートリアルをご参照ください。
・【画面定義】Windowsアプリのキャプチャツールを使用しよう
⇒ WinTool全体の使用方法について
・Windowsアプリの画面定義を手動で行う方法
⇒ WindowsアプリのXPathの基本構造や、WinToolにおけるアプリ情報の見方など
