企業概要：Haymarket Media Group
Haymarket Media Groupは、ロンドンに本社を置く国際的なメディア企業です。6カ国で70以上の市場をリードするブランドを展開し、印刷、ウェブ、モバイル、ライブメディアを通じてコンテンツを制作しています。また、同社はSales Cloudを利用するSalesforceの顧客でもあり、Salesforceのリグレッションテスト（回帰テスト）を実施しています。
同社の実装範囲には、リードの変換、商談管理、取引先および連絡先の作成といった一般的な機能領域が含まれます。また、ページレイアウト、入力規則、Visualforceページ、APEXといったシンプルかつ複雑な要素を組み合わせて使用しています。同社は、Salesforceのリグレッションテストプロセスを改善するためにProvarを導入しました。
Haymarket Media Groupの課題
Haymarket社にとって、Salesforceのリグレッションテストは時間のかかるプロセスでした。手動テストでは通常3人のテスターが2週間を要し、アプリケーション全体のテストを完了させるのに計240時間を費やしていました。これはSalesforceのリリースや社内の機能変更のたびに繰り返す必要があり、多大なコストとなっていました。
また、Haymarket社が使っているシステムの中には、外部の会社（サードパーティ）が作って管理しているアプリケーションも含まれていました。場合によっては、サードパーティが事前の警告なしにアプリケーションを変更することがあり、それが同社のプロセスに悪影響を及ぼす可能性がありました。こうした計画外の変更から生じる問題を検知することは困難であり、ビジネスに影響を与えるリスクを高めていました。
全体として、Haymarket社はSalesforceのリグレッションテストにかかる時間とコストを削減し、問題の特定と対処をより迅速に行えるようになることを望んでいました。
Salesforceリグレッションテストにおけるソリューション
Haymarket社は、Salesforceのリグレッションテストをスピードアップさせることを期待してProvarを選択しました。
Provarはノーコードのテスト自動化ツールです。Salesforceと密接に統合されているため、Salesforce固有ではないフィールド、オブジェクト、その他の主要なメタデータをインテリジェントにマッピングし、効率的な自動化の実装を可能にします。環境の軽微な変更にも柔軟に対応できるため、メンテナンスの手間が軽減され、拡張性が向上します。
Haymarket社はProvarのセットアップが容易であることを実感し、短期間で広範なテストケースライブラリを構築することができました。ツールのドラッグ＆ドロップインターフェースにより、ブラウザ上でテストケースを迅速に作成・更新でき、プログラミング知識を必要としないため、メンテナンスも容易でした。Haymarketは最初の3ヶ月間で約150のテストケースを作成しました。
また、新しい問題を迅速に特定・対処できるよう、毎日の実行レポートも設定しました。チームのDevOps戦略の一環として、Salesforceのリグレッションテストパック全体を毎晩自動的に実行し、翌朝その結果をメールでチームに送信して確認するようにしました。これはProvarのANTスクリプトジェネレーターを使用して迅速に設定され、Jenkinsなどの一般的な継続的インテグレーション（CI）ツールを介して実行できるようになりました。これにより、前回のテスト実行以降に新しい問題が発生していないかを毎朝すぐに確認できるため、チームにとって大きなメリットとなりました。問題の特定と解決が容易になり、アプリケーションの安定性に対する信頼が高まりました。
Salesforceリグレッションテストの結果
・テスト時間を「2週間」から「わずか5時間」へ
これまで3人の担当者がつきっきりで240時間（実働10日間）かけていた全テストが、わずか5時間で完了。実行スピードが98%向上しました。
・「約6人分」の労働力に匹敵する工数削減
年間を通じた工数削減を換算すると、フルタイム従業員5.8人分の仕事量に相当します。これまでテストに忙殺されていた約6人分の「人の手」を、よりクリエイティブな業務へと解放することに成功しました。
・完全自動化による「人の介入ゼロ」を実現
夜間に自動でテストが走るため、人間が立ち会う必要は一切ありません。朝、メールを確認するだけで全テストの結果を把握できる究極の効率化を実現しました。
HaymarketはProvarを使用することで、Salesforceのリグレッションテストの時間と労力を大幅に削減しました。Provarを通じて、Salesforceのリグレッションテスト時間は240時間からわずか5時間へと短縮されました。これは全体で98%の削減にあたります。テストパック全体が自動的に実行されるようにスケジュールされ、人の介入を必要としなくなったため、テストの労力においてはさらに大きな削減が実現しました。これにより、テストチームはより創造的で探索的なテストに集中できるようになりました。
Provarを使用することで、チームはより迅速かつ自信を持って問題を検知できるようになりました。JenkinsとANTを通じて設定されたテストスケジュールと日次の実行レポートにより、Haymarketのチームはリグレッションテスト結果のレポートに毎日アクセスできるようになりました。これにより、新たな問題を迅速かつ積極的に検出することができました。
Provarには非常に満足しています。セットアップと使用が簡単であると感じましたし、導入以来、Salesforceのリグレッションテスト時間は大幅に短縮されました。特にProvarの毎日の実行レポートは効果的で、毎朝メールを開くだけでリグレッションテストの全結果を確認できます。問題を迅速に検知し、対応する能力が格段に向上しました。
Haymarket社 Rob Burns氏
技術的ソリューション
使いやすさ
Provarはノーコードツールであり、ブラウザ上で直接テストを構築できます。Provarの「ポイント＆クリック」で操作できるテストビルダー・ツール（Test Builder）を使えば、ブラウザ上でテストの作成や編集が可能です。これにより、テストケースの作成とデバッグを迅速かつ簡単に行うことができます。
環境管理
Provarでは、各環境固有の詳細設定を「環境変数」として中央管理し、テスターが環境を選択した際に自動的にアクセスする仕組みになっています。これにより、わずか数クリックで、複数の異なる環境にまたがってテストケースを実行することが可能です。
メンテナンス性
従来のテスト自動化ではプログラミングスキルが必要であり、フィールドロケータ（項目の配置情報）などの技術的な情報をソースコードに直接書き込む（ハードコーディングする）必要がありました。ProvarはSalesforceのメタデータと統合されているため、フィールドロケータを自動的に提案してくれます。これにより、ページレイアウトなどの外観上の変更があっても、テストが予期せず壊れることがなくなり、メンテナンスにかかる時間と労力が大幅に削減されます。また、作成したテストケースを他のテストから呼び出すこともできるため、テストスイート全体の再利用性と安定性が向上します。
実行レポートを直接受信トレイへ
Provarは、ANT（Javaベースのビルドツール）を介してテストを実行するために必要なすべての設定を生成する機能を備えています。これらはJenkinsなどの一般的な継続的インテグレーション（CI）ツールと統合できます。テスト結果は毎日メールで送信されるため、テスターは新しい問題を迅速かつ確実に見つけることができます。
統合テスト
今回のテストシナリオにおいて不可欠だったのは、Salesforceから生成される各PDFドキュメント内のすべてのパラメータが正しくテストされているかを確認することでした。これらのPDFはメールの添付ファイルとして送信されたり、特定のVisualforceページに埋め込まれたりしていました。Provarは「Gmailコネクタ」を活用し、正規表現（regex）APIを使用して値をチェックすることで、この検証プロセスをより迅速かつシンプルに実現しました。
Provarのソリューションに関する詳細や導入のご相談は、こちらからお気軽にお問い合わせください。