分析レポートを確認しよう

はじめに

分析レポートは、テストの実行結果を集計し、確認できる機能です。
最新の実行状況やメンテナンス状況に加え、成功率や品質の安定性の推移を時系列で確認でき、品質改善やリリース判断に役立ちます

本ページでは、分析レポートの確認方法について説明します。

ゴール

分析レポートの表示方法と各分析項目の見方を理解できること

前提

テストスイートまたはテストランを実行済みであること

【参考チュートリアル】
　　・テストスイート画面からテストを実行しよう【公開予定】
　　・テストラン画面からテストを実行しよう【公開予定】

詳細

分析レポートを表示する

サイドメニューの「分析レポート」をクリックすると、分析レポート画面が表示されます。

分析レポートの構成と見方

分析レポート画面の右上にある更新アイコンをクリックすると、分析結果を再取得し、表示内容を最新の状態に更新できます。
情報を取得した日時は、更新アイコンの右隣に表示されます。

分析レポートでは、以下の4つの項目を確認できます。

最新実行の集計
絞り込み条件
タイムライン
最新実行一覧

分析レポートの構成と見方 > 最新実行の集計

最新実行の集計では、分析対象となる実行結果の集計情報を確認できます。

No.	項目	説明
①	対象数	分析対象となるテストスイートおよびテストランの種類数
②	総実行数	実行したテストケース数の合計
③	総成功数	成功したテストケース数の合計
④	総失敗数	失敗したテストケース数の合計
⑤	総スキップ数	スキップしたテストケース数の合計
⑥	総実行時間	実行時間の合計（分）

対象数は、一度も実行したことがないテストスイートまたはテストランを始めて実行した場合に増加します。
同じテストスイートやテストランを再実行しても、対象数は増加しません。

分析レポートの構成と見方 > 絞り込み条件

分析レポートは、条件を指定して表示内容を絞り込むことができます。

名前検索
- テストラン名またはテストスイート名を入力すると、名称に一致する実行結果を表示
最新実行終了からの日数
- 7日・30日・90日・全期間のボタンをクリックすると、ワンクリックで表示期間を切り替え
- 任意の日数を入力し、「適用」をクリックすると、指定した日数で絞り込み
実行種別
- 「テストラン実行」または「テストスイート実行」を選択すると、対象の実行結果のみ表示

実行率幅（％）
- 実行率が指定した範囲内にある実行結果を表示
- 0～100の範囲で入力すると、自動で条件が適用され、「適用」ボタンが青色に変化
- 青色になった「適用」ボタンをクリックすると、入力した条件を解除
成功率幅（％）
- 成功率が指定した範囲内にある実行結果を表示
- 0～100の範囲で入力すると、自動で条件が適用され、「適用」ボタンが青色に変化
- 青色になった「適用」ボタンをクリックすると、入力した条件を解除

成功率傾向
- 「減」または「増」をクリックすると、成功率の傾向に応じた実行結果に絞り込み
実行時間
- 「正常範囲」または「範囲外」を選択すると、実行時間に応じた実行結果に絞り込み
- 正常範囲：過去5回分の成功した実行結果の最小値～最大値の範囲内にある実行結果
- 範囲外：正常範囲を外れた実行結果。実行時間が極端に短い、または長い場合の確認に利用
条件をリセット
- 「条件をリセット」をクリックすると、設定した絞り込み条件を一括解除

分析レポートの構成と見方 > タイムライン

タイムラインでは、テストスイートおよびテストランごとに、成功率と実行率の推移を時系列で確認できます。

成功率
- 成功率を色で表示
- 青：100％、緑：80％以上、オレンジ：50％以上、赤：50％未満
実行率
- 実行率を記号で表示
- ■：100％、○：80％以上、◦：50％以上、◎：50％未満

タイムライン上の記号にマウスカーソルを合わせると、対象の記号が強調表示され、ツールチップで以下の情報を確認できます。

テストラン名またはテストスイート名
実行日
成功率
実行率

また、記号をクリックすると、対象の実行レポートを表示できます。
実行レポートの詳細は、「実行レポートを確認しよう【公開予定】」をご覧ください。

表示期間の変更やズーム機能を活用することで、長期間の傾向を確認したり、特定期間を詳しく分析したりできます。

表示範囲は、開始日時・終了日時を直接入力するか、カレンダーから選択して指定できます。
指定した期間は、画面上部の表示期間に反映されます。
また、タイムライン上で左右にドラッグして表示範囲を変更することもできます。

ズーム機能では、以下の操作で表示範囲を拡大・縮小できます。

－：表示範囲を拡大
＋：表示範囲を縮小
リセット：ズーム倍率を初期状態に戻す
すべて表示：指定した表示範囲内のデータ全体が表示されるように調整

タイムライン内を上下にスクロールすると、画面に表示されていないテストラン・テストスイートを確認できます。また、タイムライン上のテストラン名またはテストスイート名をクリックすると、対象の詳細分析画面が表示されます。
詳細は、「詳細分析画面を表示する」をご覧ください。

分析レポートの構成と見方 > 最新実行一覧

最新実行一覧では、テストスイートまたはテストランごとの最新実行結果を確認できます。

各カードでは、最新実行の状況を確認できるほか、以下の操作ができます。

カードをクリックすると、対象の詳細分析画面が表示されます。
対象のトグルボタンをON／OFFにすると、分析対象に含めるかどうかを切り替えられます。
「レポート表示」をクリックすると、対象の実行レポートが表示されます。

実行レポートの詳細は、「実行レポートを確認しよう【公開予定】」をご覧ください。

各カードでは、以下の情報を確認できます。

No.	項目	説明
⑦	最新実行終了からの日数	最新実行終了日から本日までの日数
⑧	実行ケース数	分子（左側の数字）は実行したテストケース数分母（右側の数字）は定義したテストケース数
⑨	成功率	成功したテストケース数 ÷ 実行したテストケース数 × 100で算出した成功率
⑩	成功率傾向	最新実行の成功率と、直近最大５回の平均成功率との差分
⑪	実行時間	最新実行の所要時間

各項目のラベルは、以下の条件で表示されます。

⑦最新実行からの日数
最新実行からの日数に応じて、以下ラベルが表示されます。

ラベル	条件（最新実行からの日数）
健全（実行）	１日以内
良好（最近実行）	2～5日
要確認（間隔長め）	6～10日
要対応（長期未実行）	11日以上

⑧実行ケース数
実行率に応じて、以下のラベルが表示されます。
実行率は、「実行したテストケース数 ÷ 定義したテストケース数 × 100」で算出されます。

ラベル	条件（実行率）
健全（完全実行）	100％
良好（実行済多数）	80～99％
要確認（不足）	40～79％
要対応（未実行多数）	0～39％

⑨成功率
成功率に応じてラベルが表示されます。

ラベル	条件（成功率）
健全（成功）	100％
注意（一部失敗）	90～99％
要確認（失敗増）	70～89％
要対応（失敗多数）	0～69％

⑩成功率傾向
成功率の傾向に応じて、以下のラベルが表示されます。
傾向値は、「最新成功率 − 直近最大5回の平均成功率」で算出されます。

ラベル	条件（傾向値）	意味
向上（改善傾向）	＋2pt以上	成功率向上
健全（変更なし）	±0ptかつ成功率100％	成功率100％維持
安定（若干改善）	0～＋2pt未満	成功率わずかに向上
要確認（低下傾向）	－5pt～－0.1pt	成功率やや低下
要対応（顕著低下）	－5pt以下	成功率大きく低下

⑪実行時間
最新実行の所要時間を「正常範囲」と比較し、実行時間に応じて以下のラベルが表示されます。
「正常範囲」は、過去5回分の成功した実行結果の最小値から最大値までの範囲です。

ラベル	条件（実行時間）	意味
健全（想定内）	正常範囲内	通常通り
要確認（省略の可能性）	最小値より短い	通常より短くなっており、処理が省略されている可能性あり
要確認（遅延傾向）	最大値より長く最大値の1.5倍より短い	通常より長くなっている
要対応（重大遅延）	最大値の1.5倍より長い	大幅に長くなっている

最新実行一覧では、以下の条件で表示する実行結果を絞り込めます。

実行種別：テストラン実行・テストスイート実行
分析対象：対象・対象外

詳細分析画面を表示する

詳細分析画面では、テストの実行状況や成功率の推移などを詳しく確認できます。

詳細分析画面の種類

詳細分析画面には、以下の2種類があります。

テストランを選択した場合：テストラン詳細分析画面
テストスイートを選択した場合：テストスイート詳細分析画面

詳細分析画面の表示方法

各詳細分析画面は、以下のルートから表示できます。

表示ルート	テストラン詳細分析画面	テストスイート詳細分析画面
タイムライン	〇	〇
最新実行一覧	〇	〇
テストラン詳細分析画面のテストスイート一覧	―	〇
テストラン詳細分析画面の成功率ヒートマップ	―	〇

〇：表示可能　―：対象外

各ルートから詳細分析画面を表示する操作方法について、順番に説明します。

【共通】タイムラインから詳細分析画面を表示する

操作場所： 分析レポート＞タイムライン

タイムラインの左側に表示されているテストラン名またはテストスイート名をクリックすると、対象の詳細分析画面が表示されます。

【共通】最新実行一覧から詳細分析画面を表示する

操作場所： 分析レポート＞最新実行一覧

最新実行一覧に表示されているテストランまたはテストスイートのカードをクリックすると、対象の詳細分析画面が表示されます。

【スイートへの遷移】テストスイート一覧から詳細分析画面を表示する

操作場所： テストラン詳細分析画面＞テストスイート一覧

テストスイート一覧の各行をクリックすると、対象のテストスイート詳細分析画面が表示されます。

【スイートへの遷移】成功率ヒートマップ（テストスイート）から詳細分析画面を表示する

操作場所： テストラン詳細分析画面＞成功率ヒートマップ（テストスイート）

成功率ヒートマップ（テストスイート）の各ブロックをクリックすると、対象のテストスイート詳細分析画面が表示されます。

詳細分析画面の分析項目一覧

詳細分析画面では、実行結果をさまざまな観点から分析できます。
テストラン・テストスイートの各詳細分析画面で表示される分析項目は、以下のとおりです。

分析項目	テストラン詳細分析画面	テストスイート詳細分析画面
集計	○	○
期間切替	○	○
品質の推移	○	○
実行履歴	○	○
テストスイート一覧	○	－
成功率ヒートマップ（テストスイート）	○	－
活動の推移	○	－
メンテナンスKPI	－	○
ケースメンテナンス活動推移	－	○
画面メンテナンス活動推移	－	○
品質安定性推移	－	○
失敗理由の内訳	－	○

○：表示される　－：表示されない

各分析項目の詳細については、表内の項目名をクリックしてご確認ください。

なお、各項目の見出し右側にある「？」アイコンにマウスオーバーすると、補足情報を確認できます。
詳しくは「『？』アイコンから説明を確認する」をご覧ください。

【共通】集計

集計では、テストケース数や成功数、実行時間などの累計情報を確認できます。

No.	項目	説明
⑫	総テストケース数	定義されているテストケースの総数
⑬	総成功数累計	過去の実行で成功したテストケース数の累計
⑭	総実行数累計	過去に実行したテストケース数の累計
⑮	総実行時間累計	過去の実行時間の累計
⑯	最新実行終了からの日数	最新の実行が終了してからの経過日数

【共通】期間切替

期間切替では、詳細分析画面に表示するデータの集計期間を切り替えることができます。

期間切替は、以下の分析項目に反映されます。

テストラン詳細分析画面：5）品質の推移～7）実行履歴
テストスイート詳細分析画面：3）品質の推移～9）実行履歴

なお、「集計」の累積値、およびテストラン詳細分析画面の「テストスイート一覧」「成功率ヒートマップ（テストスイート）」には反映されません。

「7日」「30日」「90日」「全期間」のいずれかをクリックすると、表示期間を切り替えることができます。

任意の日数で表示する場合は、「カスタム日数」に日数を入力し、「適用」をクリックします。

また、グラフの横軸（表示期間）を2～10個の区間に分割して表示することもできます。
分割数を変更する場合は、「分割数」に値を入力し、「適用」をクリックします。
設定できる分割数の最大値は、表示期間や実行データの存在範囲に応じて変化します。

短期間では直近の変化を確認し、長期間では全体の傾向を確認できます。

【共通】品質の推移

品質の推移では、総合成功率の推移を時系列で確認できます。
総合成功率は、実行率 × 成功率 ÷ 100 で算出されます。

グラフは、期間切替で指定した期間を複数の区間に分けて集計した総合成功率の推移を表示します。
各データ点は各区間の集計値を表し、横軸の日付は各区間の最終日を表示します。

グラフの推移から、品質の改善・悪化の傾向を把握できます。

【共通】実行履歴

実行履歴では、テストランまたはテストスイートの実行履歴を一覧で確認できます。

No.	項目	説明
㉑	実行方法／実行種別	テストラン詳細分析画面では「実行方法」、テストスイート詳細分析画面では「実行種別」として表示されます。
㉒	実行日時	テストを実行した日時
㉓	実行時間	開始時刻から完了時刻までの時間
㉔	実行率	実行したテストケース数 ÷ 定義したテストケース数 × 100 で算出した実行率
㉕	成功率	成功したテストケース数 ÷（成功したテストケース数＋失敗したテストケース数）× 100 で算出した成功率
㉖	実行ケース数	成功したテストケース数と失敗したテストケース数とスキップしたテストケース数の合計
㉗	成功数	成功したテストケース数
㉘	失敗数	失敗したテストケース数
㉙	スキップ数	スキップしたテストケース数
㉚	レポート	対象の実行レポートを表示

「レポート表示」または各行をクリックすると、対象の実行レポートを表示できます。
実行レポートについては、「実行レポートを確認しよう【公開予定】」をご覧ください。

【ランのみ】テストスイート一覧

テストスイート一覧では、テストランに含まれるテストスイートごとに、ケース数や成功数、失敗数、スキップ数、テスト結果（ステータス）の割合を確認できます。

各行をクリックすると、対象のテストスイート詳細分析画面を表示できます。

また、各項目名をクリックすると、一覧を昇順・降順に並び替えることができます。
クリックした項目名に「▼」が表示され、以降はクリックするたびに並び順が切り替わります。

【ランのみ】成功率ヒートマップ（テストスイート）

成功率ヒートマップでは、テストスイートごとの成功率をヒートマップ形式で確認できます。

色は成功率、面積はテストケース数を表します。
これにより、テストケース数が多く成功率が低いテストスイートを視覚的に把握できます。
成功率は色分けされ、青：100%、緑：80%以上、橙：50%以上、赤：50%未満で表示されます。

対象のテストスイートのブロックをクリックすると、テストスイート詳細分析画面を表示できます。

テストスイートのブロックにマウスオーバーすると、ツールチップで以下の情報を確認できます。

テストスイート名
成功率
配下のテストケース数

【ランのみ】活動の推移

活動の推移では、期間内のテスト実行回数や実行時間などの集計情報と、累積実行時間の推移を確認できます。

No.	項目	説明
⑰	期間成功数累計	期間内に成功したテストケース数の合計
⑱	期間実行数累計	期間内に実行したテストケース数の合計
⑲	期間実行時間累計	期間内に実行した時間の合計
⑳	期間実行回数	期間内に実行したテストランの回数

グラフは、期間切替で指定した期間を複数の区間に分けて集計した累積実行時間の推移を表示します。
各データ点は各区間の集計値を表し、横軸の日付は各区間の最終日を表示します。

活動量の推移を確認することで、テスト実行の状況や実施量の変化を把握できます。
実行時間が増えている場合は、必要に応じて実行内容や対象範囲を確認してください。

【スイートのみ】メンテナンスKPI

メンテナンスKPIでは、テストケースの保守状況を示す指標を確認できます。

No.	項目	説明
㉛	最終更新日からの経過日数	最終更新日から本日までの日数
㉜	期間内未実行率	指定期間内に実行されていないテストケースの割合
㉝	期間内無変更ケース率	指定期間内に変更されていないテストケースの割合
㉞	変更後成功率	指定期間内に追加・修正されたテストケースのうち、成功したテストケースの割合

最終更新日からの経過日数や期間内の実行・更新状況、変更後の成功率を確認することで、テストケースのメンテナンス状況や品質維持の状態を把握できます。

未実行率が高い場合は、テストの実行状況を確認してください。
無変更ケース率が高い場合は、テストケースの更新が必要か確認してください。
また、変更後成功率が低い場合は、変更内容やテストケースの安定性を確認してください。

【スイートのみ】ケースメンテナンス活動推移

ケースメンテナンス活動推移では、テストケースの追加・修正・削除状況を時系列で確認できます。

No.	項目	説明
㉟	ケースメンテナンス回数	期間内に追加・修正・削除したテストケースのメンテナンス回数
㊱	修正ケース数	期間内に修正したテストケースの数
㊲	追加・削除ケース数	期間内に追加・削除したテストケースの数

各グラフの推移を確認することで、テストケースの変更が集中している時期を把握できます。

追加・削除ケース数では、追加したケース数を青色、削除したケース数を赤色で表示します。
追加したケース数は0を基準に上方向、削除したケース数は0を基準に下方向へ表示されます。

各グラフは、期間切替で指定した期間を複数の区間に分けて集計した結果を表示します。
各棒の値は各区間の集計値を表し、横軸の日付は各区間の中央日付を表示します。

メンテナンス回数が多いケース一覧（上位10件）

メンテナンス回数が多いテストケースを、回数の多い順に最大10件表示します。
変更が繰り返されているテストケースを確認することで、見直しが必要なテストケースの把握に役立ちます。

長期間成功していないケース一覧（上位10件）

7日以上成功していないテストケースを、失敗開始日からの日数が長い順に最大10件表示します。
長期間成功していないテストケースを確認することで、優先的に確認が必要なテストケースを把握できます。
なお、一度も失敗していないテストケースは表示対象外です。

【スイートのみ】画面メンテナンス活動推移

画面メンテナンス活動推移では、要素の追加・修正・削除状況を時系列で確認できます。

No.	項目	説明
㊳	要素メンテナンス回数	期間内に追加・修正・削除した要素のメンテナンス回数
㊴	修正要素数	期間内に修正した要素の数
㊵	追加・削除要素数	期間内に追加・削除した要素の数

各グラフの推移を確認することで、要素の変更が集中している時期を把握できます。

追加・削除要素数では、追加した要素数を青色、削除した要素数を赤色で表示します。
追加した要素数は0を基準に上方向、削除した要素数は0を基準に下方向へ表示されます。

要素メンテナンス回数が多い画面一覧（上位10件）

要素のメンテナンス回数が多い画面を、回数の多い順に最大10件表示します。

変更が繰り返されている画面を確認することで、見直しが必要な要素の把握に役立ちます。

【スイートのみ】品質安定性推移

品質安定性推移では、テストケースの品質安定性を時系列で確認できます。

No.	項目	説明
㊶	不安定ケース数	成功・失敗の切り替わりが、編集を挟まずに1回以上、または編集の有無にかかわらず2回以上発生したテストケース数
㊷	不安定再発率	一度安定したテストケースが、再び不安定な状態になった割合（%）

不安定ケース数や不安定再発率の推移を確認することで、品質が安定しているか、不安定な状態が続いていないかを把握できます。

各グラフは、期間切替で指定した期間を複数の区間に分けて集計した結果を表示します。
各棒の値やデータ点は各区間の集計値を表し、横軸の日付は各区間の中央日付を表示します。

【スイートのみ】失敗理由の内訳

失敗理由の内訳では、テスト実行時に発生した失敗理由をカテゴリ別に確認できます。

円グラフでは失敗理由ごとの割合を、一覧では各エラー種別と該当ケース数を確認できます。

円グラフまたは一覧のエラー種別にマウスオーバーすると、対応する項目が強調表示され、失敗理由と該当ケース数を対応付けて確認できます。

エラー種別は以下の11種類に分類されます。

項目	説明
手順設定不備	テスト手順の設定の問題
設定値不備	パラメータや設定値の問題
画像不備	登録した画像と実際の画面が一致しない（画像認識／画像マッチングの失敗）
要素未検出エラー	指定した要素が見つからない
ブラウザエラー	ブラウザ操作の問題
アプリ起動エラー	対象アプリの起動失敗
モバイル端末エラー	モバイル端末の問題
通信エラー	ネットワーク接続の問題
タイムアウトエラー	処理時間の超過
期待値不一致	期待した結果と実際の結果が一致しない（検証の失敗）
その他	上記以外のエラー

『？』アイコンから説明を確認する

各見出しの右側にある「？」アイコンにマウスオーバーすると、それぞれの項目に関する補足情報が表示されます。

また、補足情報内の項目名がリンクになっている場合、リンクをクリックすると、対象項目の算出方法を図解した画面が表示されます。

カテゴリ: 新T-DASH

タグ: テスト結果