バルテスが主催するカンファレンスイベント「VALTES QUALITY DAY ～DX/AI時代における品質向上の価値～」が、2024年5月29日に開催された。
本セッションでは、「テスト自動化による品質保証の高次化」と題してTISの胡居悦朗氏と、バルテスの畠山塁が対談を実施。TISのクレジットカード部門における品質確保、特にテストの自動化に焦点を当て、その取り組みや品質向上について語り合った。
登壇者紹介
バルテス株式会社 エンタープライズ品質サービス事業部 金融ソリューション部 副部長 畠山 塁
T-DASHの特長がテスト自動化導入・定着における課題を解決
国内大手のシステムインテグレーターであるTISにおいて、ペイメントサービス事業部はキャッシュレスに代表されるような「市場の生活に寄与するサービス」などを展開する部署となる。
胡居氏が所属するペイメントサービス第2部では金融／信販系やクレジットカード業務を取り扱う企業が顧客の中心となっており、エンドユーザーや顧客企業が利用するWebサイトの開発から保守までを幅広く行っている。また、通常開発と並行して組織変革の施策なども担っており、その一環として「テストの自動化」にも取り組んできた。テストの自動化を推進するに至った背景について胡居氏は「ペイメントサービス第2部のお客様は、その多くがクレジットカードなどのサービスを提供しており“品質に対する要求が高い”ことが特徴です。そのため、我々は入念なテストや点検を行うことで、安心して利用してもらえるサービスの提供に日々励んでいます」と語った。
しかし、テストのための人手は案件の規模が大きくなるほど増加する傾向にあり、人手が増えればミスや漏れが生じるリスクも増大するというジレンマがあった。胡居氏自身も、人的ミスによりテストをやり直す場面を「何度も経験してきた」と吐露する。加えて、昨今は業界全体でエンジニアが不足しているため、人手に頼る現在のやり方では近い将来限界が訪れる。このような背景から、胡居氏は「機械でテストを行っても、きちんと品質を確保できるような新しい取り組み」の模索を行っていた。
テストの自動化のメリットとして、胡居氏は代表的な3つを挙げた。1つ目は、人間が別の作業に時間を使えるようになる「人的時間削減」である。2つ目は、機械実行ならではの特徴である“正確性”や“定型化”にともない、人が見るべき（あるいは判断すべき）ポイントを限定化・明確化できることで得られる「検証効率の向上」。そして3つ目は、何度実行してもミスなく同じ操作を期待できる「再現性の高さ」である。
「テスト工程では、テストデータの入れ直しやアプリの修正などによって何度もテストをやり直す場面がありますが、人の手で作業を行う場合はどうしてもその回数分だけ、ミスや漏れが発生するリスクを抱えることになります。しかしながら、機械実行であればそのリスクを削減することができます」と胡居氏は補足する。
一方で、テスト自動化には使い続けるという点で課題が起きやすく「従来から進めていたテスト自動化の取り組みでは、なかなか定着までに至らないという悩みがありました」と胡居氏は語る。
例えば、ブラウザベースで動くWebアプリケーションの自動テストでは、Seleniumと呼ばれるライブラリ言語を用いて自動スクリプトを生成してテストを自動化するという取り組みがあった。しかしこのケースでは、2つの大きな問題が生じた。1つは、“テストの実施者”と“自動化のエンジニア”という目的の異なる2者がいたために認識の齟齬や勘違いが発生してテストが上手くできなかったという問題。そしてもう1つは、労力の観点でテストケース本体側の見直しが発生する度に、自動化スクリプト側も見直し実装修正を行わなければならないという問題である。
この2つの問題により、一度は仕組みを作ったものの「形骸化につながってしまった」ばかりか、本来の目的である「品質確保のためのテストをきちんと実行できない」という結果になってしまったという。「自動化を試みたものの、定着には至りませんでした」と胡居氏は振り返る。
このような状況に頭を悩ませていたときに出会ったのが、バルテスのテスト自動化ツール「T-DASH」であった。
T-DASHについて胡居氏がまず注目したのは、日本語でテストケースが記述でき、同時に自動化スクリプトが自動生成されること、またスクリプト部分が自動生成されるため、テスト実施側でのメンテナンスが不要という特徴だ。この2点については「まさに画期的」と高く評し、先ほど触れた定着化の妨げとなっている課題が「これで一気に解消される」と付け足した。さらに、その他の特徴として「主要ブラウザの動作保証」「操作結果確認のためのエビデンスキャプチャが自動取得される機能」も挙げた。
これらの特長に魅力を感じ、ペイメントサービス第2部におけるT-DASH導入の検討を開始。あるプロジェクトで試験導入した際に“手動テスト”と“T-DASH”を比較したところ、「テスト実行＋エビデンス作成」の工程では手動テストが「33人日（1ケース：15分）」だったのに対してT-DASHは「4人日（1ケース：2分）」という結果に。さらに、最終的には「テストにかかる体力の40%削減が見込める」という成果を得ることができた。手動テストでの、ミスや漏れによるやり直しも含めて平均的に時間が増えている課題も、T-DASHの導入で改善され、「より高い生産性の効果につながっている」と胡居氏は補足する。
バルテスは、2022年12月からテスト自動化導入支援をスタート。導入に当たっては実現可能性の調査を含んだソリューションとして提供しており、まずはSTEP1の「調査・検討」として「フィージビリティ・スタディ」（自動化の実現可能性調査）を実施。バルテスの畠山によれば、ペイメントサービス第2部の総合結果はA～Eの5段階評価で上から2番目の「B」で、「対象システム（Web）の自動化適合性は高い」「採算性を高めるためには、多くの実行が必要」という評価だったという。
これを踏まえて、バルテスはSTEP2の「導入」でT-DASHによる自動化の実装を、STEP3の「運用」で分析・メンテナンスを支援した。胡居氏の重視していた「時間・工数の制約の中、人に頼らないやり方へ」「ヒューマンエラーを極力少なくし、品質を向上させる」といった点で成果が出ており、畠山は「その効果がTIS内でも注目され、自動化の広がりを見せている」との印象を語った。
T-DASHの特長や実際に使ってみた感想を踏まえると、ブラウザベースのWebアプリを新規開発しているシステム開発会社はもちろんだが、「（開発のない）事業会社でも活用できる可能性はある」と胡居氏は提案する。例えば、ブラウザを使った業務処理に機械作業を導入したり、委託した開発会社からの納品物の確認（UAT等）に自動テストを導入したりすれば負荷を軽減できることから、T-DASHは「幅広く有効活用できるツールである」と評価した。
最後に、胡居氏はペイメントサービス第2部の今後の取り組みとして2つのテーマを紹介した。1つは「テストの自動化スコープの拡張」で、ここまでに紹介したブラウザを用いるアプリケーションのテスト自動化は引き続き継続する一方で、今後はモバイルアプリケーション領域でのテスト自動化にも挑戦していく。もう1つは「テスト専門部隊による横断的なテスト推進」で、こちらではプロジェクト横断でテストを担える専門部隊を組成し、すべての顧客に均一かつ高水準な品質確保の実現を目指していく考えだ。そして胡居氏は、これらについても「バルテスの知見やアドバイスを取り入れながら具体化していきたい」との姿勢を示した。
小さく始まった取り組みが全社的な広がりに発展
セッションの後半は、胡居氏と畠山がパネルディスカッションを実施。始めに畠山から「新しい取り組みの導入に、ハードルや障壁はありましたか？」と問うと、胡居氏は苦笑しながら「ありましたね」と回答。新しい取り組みの場合、得てして「実績はあるのか？」「根拠はあるのか？」と聞かれることが多いため、それらが何もない状況でも興味を持って話を聞いてもらうことが「最初にクリアしなければならないハードルだった」と続けた。
そして、その解決策の1つとなったのが、偶然にも胡居氏自身が直接マネジメントするプロジェクトがあったことである。さらに胡居氏は、そのプロジェクトがまさにテストを始めようとしていたときにT-DASHの存在を知ったという「タイミングの良さ」や、バルテスのフィージビリティ・スタディによる実績作りを「上長が後押ししてくれた」ことにも触れ、それらが「取り組みを進める大きな一歩につながった」と説明した。
これに対して畠山が「小さなプロジェクトから始めたテスト自動化を、さらに大きく推進していくにあたりどのようにして社内を巻き込んでいったのか？」を問うと、胡居氏は、すでに紹介した手動テストとT-DASHの比較を改めて引き合いに出し、「まずは比較分析と根拠づくりに全力投球することが重要」とした。
さらに、それらを踏まえて次に考えたのが、T-DASHを「どうしたら社内に広めることができるか」だったという。これに対して胡居氏は、数ある要素のなかから「導入のしやすさ」にフォーカスし、導入までのプロセスやT-DASHの使い方に関する「社内向けのガイドライン」を策定。このガイドラインとこれまでの実績を携えて社内プレゼンを行ったところ、同じような課題に悩んでいた多くの部門が採用するに至ったほか、現在は社外のグループ会社にも話が広がっているという。これに加えて、社内の開発基盤を担当する部門からも声がかかったそうで、最終的に「活動内容を全社的に発信できるところまで発展している」と胸を張った。
最後に畠山は、胡居氏が今後の取り組みとして挙げた「横断的なテスト推進」について、その取り組みの背景や今後の展望などを聞いた。
ペイメントサービス第2部では開発とテストがそれぞれのプロジェクトごとに分かれている現状にあるが、胡居氏の狙いは「試験・点検をまとめて行うような部隊を組成することで、社内ナレッジのさらなる集約化・効率化をはかれる」ことや、「設定する品質基準を均一化するとともに、その基準をさらに押し上げることで全体の底上げにつなげる」ことにあるという。そこで、今後はそれらを目指すために「ガイドラインの策定」「テストの計画書のフォーマット定義」「テストの基本設計のやり方」などのナレッジの共有化を進め、「一本の“品質の柱”を構築できるような活動にしていきたい」と抱負を述べた。
VALTES QUALITY DAYでは品質向上に力を入れる各社をゲストに迎え、その取り組みを伺った。各セッションのレポートは特設サイトに掲載している。
（所属・役職は2024年5月時点のものです）
