[Webアプリ]標準動作一覧 / 画面認識操作
はじめに
Webアプリの「画像認識操作」カテゴリに含まれる、標準動作一覧です。
もくじ
・現在の画面と期待画像を比較する
・現在の画面と期待画像をフルスクリーンショットで比較する
・比較した画像の一致率が指定％以上であることを検証する
・要素画像から要素を検出してクリックする
・要素画像から要素を検出してテキストを入力する
詳細
現在の画面と期待画像を比較する
- 現在の状態のスクリーンショットを撮影し、設定値に登録した期待画像と比較します。
- 比較には「差の絶対値」を利用します。
- 期待画像は、Webアプリ標準動作「特殊操作」＞「スクリーンショットを保存する」にて取得した画像を使用してください。
- 正確な差分を求める場合は、モニターサイズや、ブラウザ種類、バックグラウンド実行のチェック有無を、期待画像撮影時と揃えてください。
- 期待画像撮影時と環境が異なる場合、比較時にサイズや配置を調整しますが、これによりデータの欠損が発生します。
- 「比較した画像の一致率が指定％以上であることを検証する」とセットでの使用を推奨します。
- AnyTest連携(※1)では使用できません。
| 画面名(設定値1) | 入力不可（入力できない） |
| 要素名(設定値2) | 入力不可（入力できない） |
| 設定値(設定値3) | 期待画像の絶対パスをスラッシュ区切りで入力する |
▼上記手順のテスト実施後、テストレポートから抜粋
現在の画面と期待画像をフルスクリーンショットで比較する
- 現在の状態のフルスクリーンショットを撮影し、設定値に登録した期待画像と比較します。
- 比較には「差の絶対値」を利用します。
- 期待画像は、Webアプリ標準動作「特殊操作」＞「画面のフルスクリーンショットを保存する」にて取得した画像を使用してください。
- 正確な差分を求める場合は、モニターサイズや、ブラウザ種類、バックグラウンド実行のチェック有無を、期待画像撮影時と揃えてください。
- 期待画像撮影時と環境が異なる場合、比較時にサイズや配置を調整しますが、これによりデータの欠損が発生します。
- 「比較した画像の一致率が指定％以上であることを検証する」とセットでの使用を推奨します。
- AnyTest連携(※1)では使用できません。
| 画面名(設定値1) | 入力不可（入力できない） |
| 要素名(設定値2) | 入力不可（入力できない） |
| 設定値(設定値3) | スクリーンショットのファイル名を入力する |
▼上記手順のテスト実施後、テストレポートから抜粋
比較した画像の一致率が指定％以上であることを検証する
- 画像比較の結果（画像一致率）が設定値に入力した値以上であるか、検証します。
- 前の手順に「現在の画面と期待画像を比較する」もしくは「現在の画面と期待画像をフルスクリーンショットで比較する」がないと動作しません。
- 検証は、直近の結果をもとに行われます。
- 画像の一致率が指定%未満の場合は、本動作がエラーとなり、テスト実行失敗になります。
- AnyTest連携(※1)では使用できません。
| 画面名(設定値1) | 入力不可（入力できない） |
| 要素名(設定値2) | 入力不可（入力できない） |
| 設定値(設定値3) | 画像一致率を半角数字で入力する |
要素画像から要素を検出してクリックする
- XPathの代わりに画像を使って要素名を指定し、クリックします。
- XPathを正しく指定しても、テスト実行時にエラー「要素が見つかりません」になってしまう場合は、本動作をお試しください。
例) XPath指定時とテスト実行時（何かしらのアクション後）で、XPathが変わる仕様のサイトなど - 実際の挙動は、XPathで要素を指定するWebアプリ標準動作「マウス操作」＞「要素をクリックする」と同様です。
- XPathの代わりとなる「要素画像パス」の設定方法は、以下のチュートリアルをご覧ください。
■画像認識動作をしよう
https://service.valtes.co.jp/t-dash/function/tutorial/behaviordefinitions_vol_005/ - 使用する画像は、可能な限り鮮明で、同等サイズのものを推奨します。
- AnyTest連携(※1)では使用できません。
| 画面名(設定値1) | 画面定義で設定した画面名を入力する |
| 要素名(設定値2) | 画面定義で設定した要素名を入力する ※画面定義にて、要素画像パスが入力されていること |
| 設定値(設定値3) | 入力不可（入力できない） |
要素画像から要素を検出してテキストを入力する
- XPathの代わりに画像を使って要素名を指定し、設定値に設定したテキストを入力します。
- XPathを正しく指定しても、テスト実行時にエラー「要素が見つかりません」になってしまう場合は、本動作をお試しください。
例) XPath指定時とテスト実行時（何かしらのアクション後）で、XPathが変わる仕様のサイトなど - 実際の挙動は、XPathで要素を指定するWebアプリ標準動作「入力操作」＞「テキストを入力する」と同様です。
- XPathの代わりとなる「要素画像パス」の設定方法は、以下のチュートリアルをご覧ください。
■画像認識動作をしよう
https://service.valtes.co.jp/t-dash/function/tutorial/behaviordefinitions_vol_005/ - 使用する画像は、可能な限り鮮明で、同等サイズのものを推奨します。
- AnyTest連携(※1)では使用できません。
| 画面名(設定値1) | 画面定義で設定した画面名を入力する |
| 要素名(設定値2) | 入画面定義で設定した要素名を入力する ※画面定義にて、要素画像パスが入力されていること |
| 設定値(設定値3) | 入力したいテキストを入力する |
※1
AnyTestは、クラウド上でモバイル端末を遠隔操作することで、アプリケーションの動作検証を実施することができる弊社のサービスです。
■ AnyTestの詳細（サービスサイト）：モバイル端末実機確認ツールAnyTest
