100項を超える回帰テスト2日で完了させたProvarDX導入方法

ENGIE × Provar 導入概要

顧客名：ENGIE Energie Services Nederland
ウェブサイト：https://www.engie.nl
業界：公益事業およびエネルギー事業
Salesforceユーザー数：100名以上
QAチーム規模：フルタイムメンバー 2名
テスト対象のシステム：Salesforce Marketing Cloud、Sales Cloud、Service Cloud、Vlocity、およびサードパーティ製アプリケーション（SAP CRM、各種Webポータル）との統合機能
Provarでのテスト構成：DevOpsパイプライン上で実行される50以上のテストケース、および100以上のリグレッション（回帰）テスト
テスト実行環境：スクラッチ組織（Scratch orgs）、統合サンドボックス、受入サンドボックス

ProvarとProvarDX™の導入により、DevOpsプロセスの迅速化とSalesforce環境における極めて高い品質基準の維持を両立することができました。

ENGIE Energie シニア・テストコンサルタントTeun Usleeber氏

ENGIE Energieについて

ENGIE Energie Servicesは、持続可能な社会への変革を牽引するサービス・エネルギー企業です。
オランダを拠点とするENGIEは、テクニカルサービスの市場リーダーであるENGIE Servicesと、ENGIE Energieの2つの部門で構成されています。革新的な技術ソリューション、持続可能な地域一体開発、エネルギー効率に優れたスマートビルディング・ソリューション、そしてグリーンエネルギー（風力・太陽光発電、TES（熱エネルギー貯蔵）、グリーンガス、地熱、水素）の安定的な生成・供給を通じて、社会の変化や住環境・労働環境における現代的な課題に対して責任を持って取り組んでいます。

使用テクノロジー

Salesforce Marketing Cloud、Salesforce Sales Cloud、Salesforce Service Cloud、Vlocity、およびSAP CRMや各種Webポータルを含むサードパーティ製アプリケーションとの統合機能

ENGIE Energieは、グリーンリカバリーにおける牽引する中核企業であり、ヨーロッパ全土の数百万人もの人々へ、再生可能エネルギーやクリーンエネルギーのソリューション、およびサービスを提供する重要な役割を担っています。

また、コミュニティの人々の生活を向上させるという継続的なコミットメントの一環として、人材、インフラ、そしてテクノロジーへの投資を積極的に行い、多くの先進企業と同様に、ENGIE Energieもまた、そのミッションの遂行および顧客関係管理（CRM）戦略を支える基盤として、Salesforce（Marketing Cloud、Sales Cloud、Service Cloud）やVlocityなどのSalesforceネイティブアプリケーションを活用しています。

さらに、ENGIE Energie Servicesでは、社内メンバーのワークフロー最適化や、戦略的なビジネス目標を達成するためのサードパーティ製アプリケーションとの連携を目的として、これらのプラットフォームのカスタマイズを定期的に実施しています。

The Challenge: 手動のリグレッションテスト、ユーザーストーリー検証が限界に、積極的なDevOpsのリリースを阻害。

ソフトウェアのカスタマイズは不可欠である一方、システムにリスクをもたらす要因にもなり得ます。

当初、QAチームは新規および既存の機能が期待通りに動作することを確認するため、手動によるリグレッションテストとユーザーストーリー検証を採用していました。

しかし、ENGIE Energieの事業規模と顧客基盤が加速度的に拡大するにつれ、チームはこの変化に対応するための新たな選択肢を模索し始めます。DevOps手法を導入したものの、膨大な時間を要する手動テストが大きな障壁となり、定期的なリリーススケジュール内では、エンドツーエンド（E2E）のテストシナリオを網羅しきれないという課題に直面しました。
そうして、SalesforceやVlocity、そして連携する基幹業務アプリケーションのセキュリティと信頼性を維持しつつ、既存のソリューションを迅速に強化できる、拡張性の高いテスト自動化ソリューションが必要であるという事が明確になったのです。

The Solution: ProvarDX テスト自動化

厳格なベンダー選定プロセスを経て、ENGIE Energieは“ProvarDX™”の導入を決定し、それ以来、目覚ましい成果を上げています。リグレッションテストとユーザーストーリー検証の大幅な迅速化を実現。同時に、社内におけるイノベーションのペースも加速させています。

以前は、100項目を超えるリグレッションテストを手動で実行するのに4、5日を要していましたが、Provarの導入後、同様のテストボリュームをわずか2日間で完了できるようになり、必要な工数を半減させました。さらに、そのプロセスの多くは自動化されているため、QAチームはその時間を他の価値あるタスクに充てることが可能になっています。

また、Provarの支援により、すべてのユーザーストーリーをクリーンなスクラッチ組織でテストできる先進的なDevOps環境を構築。ビルド時に主要なテストケースを自動実行できる体制を整えました。Salesforce DXとProvarDX™を戦略的に併用することで、リリースサイクルは大幅に効率化され、俊敏性が向上したのです。

ProvarDX™は、高パフォーマンスなアジャイル開発を実現するエンドツーエンドのエコシステム「Salesforce DX」と連携し、テストの作成・管理プロセスを簡素化するよう設計されています。開発チームは、CI/CD（継続的インテグレーション／継続的デリバリー）パイプラインへのデプロイ前に、スクラッチ組織でリリース内容を検証できます。これにより、リリースサイクル全体を通じて発生する「一時的な組織（スクラッチ組織）を複数テストする」という特有の課題を、ProvarDX™が設計段階から解決しています。

テスト自動化にProvarを採用した結果、ENGIE Energieはリリースサイクルの短縮を実現しました。さらに重要な成果として、迅速なイノベーションを尊ぶ企業文化が定着。社内外のクライアントに対し、成功に不可欠なソリューションとサービスを遅滞なく提供できる体制を確立しています。

ProvarDX導入事例：ENGIE Energieによる活用実績

ENGIE Energieのシニア・テストコンサルタントであるTeun Usleeber氏は、同社におけるProvarの選定および導入プロジェクトを統括しました。

ITセクターにおいて18年以上のキャリアを持つ同氏は、現在ENGIE Energieで多岐にわたるプロジェクトの指揮を執っています。その範囲は、B2C顧客向けにエネルギー消費量を可視化するAndroid・iOSアプリのテストや、B2B顧客向けにエネルギー使用状況を提供する「EnSights」ポータルの検証、さらには全社的なSalesforceプラットフォームのテストマネジメントにまで及びます。

Provarは非常に完成度の高いソリューションです。Salesforce専用に設計されていますが、その性能はSalesforceの枠に留まりません。UIコネクション機能を活用することで、各種WebポータルやSAPのユーザーインターフェースに対してもテストを実行できています。さらに、Webサービスコールのテストが可能な点も大きな魅力です。

ENGIE Energie シニア・テストコンサルタントTeun Usleeber氏

※ProvarDXについて
ProvarDXは、Salesforce向けの自動テストツールであるProvar Automationの機能の一つで、Salesforce CLI (コマンドラインインターフェース) のプラグインとして提供されます。Salesforce開発チームがテスト自動化をCI/CD (継続的インテグレーション/継続的デリバリー) パイプラインにシームレスに統合できるように設計されています。

Unify Consulting社がテスト自動化網羅率70％で品質改善、テスト速度を9倍に加速した方法

Unify Consultingは、既存の枠組みを超え、その先にある新たな発見を追求するマネジメント・コンサルティング・ファームです。あらゆる課題に対してオーダーメイドのアプローチを採用し、従来の型にはまらない独自のビジネスモデルを展開しています。同社チームは、お客様との『共創』を通じて組織の潜在能力を最大限に引き出すとともに、お客様の描く未来の実現に深くコミットしています。

会社概要

Unify Consultingは15年の歴史を持ち、約400名の精鋭コンサルタントを擁する企業です。テスト自動化を担う品質エンジニアリング（QE）チームは、Colin Willis (QA Lead)、Hannah Hopkins (QA Engineer)、Elkana Munganga (QA Engineer)、Rick Martin (Solutions Director) を中心に構成されています。

主要なクライアントの一つとは6年来の強固な提携関係にあり、相互の信頼と尊重を基盤とした協力体制を確立していました。ある時、設定変更によってベンダーの機密情報が漏洩しかける事態が発生し、危機を未然に防いだものの、クライアントの戦略転換の必要性が浮き彫りとなりました。将来的なリスクを確実に回避するため、Unify Consultingはテスト自動化ソリューションの導入を提案。Provarのパートナーでもある同社は、テスト自動化を通じてクライアントのDevOps品質向上を支援することに尽力し、このニーズが生じた際も、即座に最適な解決策を提示することができました。

急成長中のクライアントにとって、100%手動のテスト戦略が抱える課題とは

テスト自動化の恩恵を受ける以前、Unify Consultingはクライアントに対し、すべての検証作業を手動で行っていました。そのプロセスは、Microsoft Excelで作成された管理表を用い、多種多様な環境を人の手で操作しながら、一つひとつ細心の注意を払ってテストを遂行するというものでした。小規模なプロジェクトであれば手動テストも有効ですが、100%手動というアプローチは極めて膨大な時間を要し、大規模な運用においては現実的ではなく、テスト網羅率を著しく制限する要因となっていました。

特にこのクライアントは、約900名以上のSalesforceユーザーと数千社の外部ベンダーを抱え、開発者向けに個別のステージング環境や本番環境を運用していたため、テストの複雑性は増す一方でした。多様なユーザー層が存在し、かつ月に最大4回という迅速なデプロイが行われる中で、加速するリリースサイクルと複雑化する環境に対応するため、圧倒的な機動力を持つ堅牢なソリューションが求められていました。

さらに、ユーザーが利用するブラウザ（Web・モバイル）やプラットフォーム（Google Chrome、Firefox、Safariなど）も多岐にわたり、すべてのテストを各環境で再現する必要がありました。優れた「テストの再利用性」を備えたソリューションがなければ、この工程は退屈かつ困難な作業とならざるを得ませんでした。

Unify Consultingは、採用すべきテスト自動化ソリューションには、包括性と迅速性、そして進化し続けるプラットフォームへの追従性が不可欠であると考えていました。そして、その厳しい要件を完遂できる唯一の選択肢こそが、Provar Automationであると確信したのです。

Provar Automationへの移行

Unify Consultingは、別のクライアントがテスト自動化プラットフォームとしてProvarを採用し成功を収めた実績を目の当たりにし、その有用性を確信しました。自社のクライアントが抱える課題を解決する最適解として、Provarの導入を提案。数ヶ月にわたる綿密な概念実証（PoC）が実施され、Colin Willis（QA Lead）もその評価に深く関わりました。PoCを通じて導入のメリットは明らかになりましたが、プロジェクトが劇的な加速を見せたのは、その1ヶ月後にHannah Hopkins（QA Engineer）とElkana Munganga（QA Engineer）がチームに加わってからのことでした。その結果、2022年10月のプロジェクト開始からわずか3ヶ月後の2023年1月には、Provar Automationの完全導入を成し遂げています。

この移行における重要なステップとなったのが、テネシー州ナッシュビルにあるProvarオフィスで実施された、1週間にわたるパートナー向けイネーブルメント・トレーニングでした。この実践的なトレーニングを通じて、Unify ConsultingのチームはProvar Automationをクライアントのテストワークフローへ円滑に統合するために必要なスキルを習得しました。さらに、認定資格や「Provar Essentials」、「Provar Automation: Best Practices」といったUniversity of Provarが提供する無料の学習コンテンツを積極的に活用することで、チームの専門知識をより一層確固たるものにしました。

ナッシュビルでの1週間にわたるトレーニングは、非常に素晴らしいスタートとなりました。さらに、University of Provarの各コースで学びを深めることができたからこそ、Provar Automationの導入を成功へと導くことができたのだと実感しています。

Unify Consulting　QAリード　Colin Willis 氏

Provar Automationがもたらした再利用性、スピード、信頼性、そして正確性

Unify Consultingでは、現在もクライアントの業務ニーズの一部において手動テストを継続していますが、それは「開発者が迅速に検証を行い、その結果をリグレッション（回帰）テストスイートへと反映させる」という、手動が理にかなっている領域に限定されています。

同社はすでに、既存テストの半分以上を自動化することに成功しました。Provar Automationは、手動テストと自動テストのプロセスをシームレスに連携させることで、双方の利点を最大限に引き出す「ハイブリッドな検証環境」を実現しています。

Provar Automationの導入後、リリース時のテストカバー率は20%から70%へと跳ね上がりました。これは驚異的な成果であり、あらゆる領域を漏れなく網羅できているという確信に繋がっています。

Unify Consulting　QAリード　Colin Willis 氏

チームはUniversity of Provarの受講を通じて、関連するテストケースをグループ化する最適な手法を習得しました。これが大幅な工数削減に繋がり、非常に大きな効果を発揮しています。

University of Provarでの実践的な学びの後、関連するテストをグループ化した結果、興味深いことが起こりました。自動テストの総数は以前より少なくなったにもかかわらず、手動テスト時代よりもはるかに広範なビジネス領域をカバーできるようになったのです。Provar Automationの再利用性は、私たちが品質を担保する上で、今や欠かせない強力な武器となっています。

Unify Consulting　QAリード　Colin Willis 氏

3種類のプロファイルと4つの異なる環境にわたる運用において、Provar Automationは迅速かつ効果的なテスト実行の要となりました。ここで特筆すべき効率化の要因は、必要となるテスト項目数そのものを削減できたことです。結果として、テストの実行速度は全体で従来の9倍へと加速しました。これほど複雑かつ堅牢なシステム環境において、これほどの高速化を成し遂げるのは決して容易なことではありません。

機能拡張が続き、リグレッションテストの項目数が増大し続ける中でも、Unify ConsultingのチームはProvar Automationによってデプロイの迅速化を実現しました。直感的なユーザーインターフェースとローコード・アプローチを備えたこのソリューションは、操作の容易さと効率性の両面において、従来の手動テストプロセスを遥かに凌駕しています。

スプレッドシートを見ながら一つひとつ手動でテストステップを進める作業に比べれば、Provar Automationの使い勝手は格段に優れています。以前のような煩わしさから解放されたのは、本当に大きな変化です。非常に使いやすいな設計で、特にローコードでの作業のため、スムーズに、より直感的に操作が出来るようなりました。これは、プログラミングの経験がある者にとっても非常に魅力的なポイントだと思います。

Unify Consulting　QAエンジニア　Hannah Hopkins 氏

Provar Automationの直感的なインターフェースは、あらゆるスキルレベルのユーザーに対応しており、どのような習熟度のメンバーであってもスムーズに導入・活用することが可能です。また、Unify Consultingは本ソリューションを活用することで、残存する手動テストから得られた知見も含めた、包括的な分析レポートの生成を実現しました。これにより、テストケースに関するデータはより多角的かつ価値あるものへと進化を遂げています。

Elkana Munganga（QA Engineer）は、Provar Automationがもたらした広範なメリットを、ある具体的なユースケースを挙げて次のように総括しています。

手動テストのみで運用していた頃は、特定のフィールドの検証において常に課題に直面しており、効果的なテストを行うこと自体が困難な状況でした。しかし、Provar Automationを導入してからは、エラーを素早く見つけることができ、その精度も飛躍的に向上しました。現在では、検出されるエラー自体が最小限に抑えられています。以前とは比較にならないほどテストの再現性が高まったことも、非常に大きな成果です。私たちのテストプロセス全体が、今やかつてないほどの信頼性と正確性を備えています。

Unify Consulting　QAエンジニア　Elkana Munganga 氏

未来に向けて

Unify Consultingは、これまでの成功をさらに確固たるものにするため、Provar Automationとのさらなる連携強化を計画しており、今後の展開に大きな期待を寄せています。Provar Automationの優れた適応力と強固なサポート体制は、同社のさらなる飛躍を支える大きな力となるでしょう。

また、同社は今回の導入で得られた多大な恩恵を背景に、Provar Automationの活用をより多くのお客様へと広げていく方針です。これにより、テスト自動化の領域において、先見性と革新性を兼ね備えたパートナーであるという評価を、より確固たるものにしていく構えです。

これまで目覚ましい成果を上げてきたこの少数精鋭のチームに対し、心からの敬意を表します。彼らが切り拓く新たな未来に、今後も目が離せません。

Provar導入後の主な成果

テスト工数：55% 削減（手動テストとの比較）
実行速度：9倍に向上（複雑な環境下での高速化）
網羅率：20% → 70% （テストカバー範囲の大幅拡大）

通信業界のための、拡張性を持ち合わせたSalesforceとVlocityのテスト

SalesforceとVlocityによる通信業界向け自動テスト入門

同社は北欧地域に本社を位置し、ヨーロッパ全域の顧客にサービスを提供する大手通信会社では、2,000万人以上の加入者を擁するデジタルエコシステムにおいて、SalesforceとVlocityが中心的な役割を果たしています。

Vlocity（現 Salesforce Industries）とは
Vlocityとは、Salesforceに、各業界のプロのノウハウを最初から詰め込んだ『業界特化型パッケージ』です。通常のSalesforceはどんな業種でも使える反面、自分たちに合わせて作り込む（カスタマイズ）必要があります。Vlocityは、通信・保険・エネルギーといった特定の業界向けに「よく使う機能」や「専用のデータ構造」が最初からセットされているため、ゼロから作る手間を省いて素早く導入できるのが最大の特徴です。

The Challenge: 迅速かつスケーラブルな回帰テスト

ヨーロッパ全域の顧客にサービスを提供する大手電気通信事業者として、既存アプリケーションを滞りなく稼働させ続けることは必須でした。

しかし、回帰テストを手作業で行うには時間がかかりすぎるという問題があり、また、Seleniumなどの従来の自動テストツールを利用しても、テストがちょっとした変更で壊れやすくなったり、メンテナンスの負荷が増大したりするという課題がありました。そこで自動テストによってこの課題を解決できるかどうかを検討するため、SogetiおよびProvarに協力を求めました。

※Capgemini Groupの一員であるSogetiは、世界100拠点以上でグローバルに事業を展開し、お客様やパートナーと綿密に連携し、クライアントやパートナーと緊密に連携しながら、テクノロジーの可能性を最大限に引き出しています。AIと自動化を駆使し、デジタルアシュアランス、Salesforceテスト、クラウド、サイバーセキュリティといった分野で、革新的で未来志向のソリューションをオーダーメイドで提供しています。実践的で「価値創造」を重視するアプローチと、テクノロジーへの情熱を持つSogetiは、組織がデジタル化を迅速に実現できるよう支援しています。

The Technology: Sales Cloud と Vlocity社 CPQ

SalesforceのSales Cloud上にカスタムプラットフォームを構築し、このプラットフォームで、標準のSales Cloud機能、Vlocity CPQ、およびVisualforceページを活用しており、顧客情報の集約、やり取りの記録、日常業務の自動化を通じて、チームメンバーの営業プロセスを簡素化し、スムーズかつスピーディに業務をすすめる事を可能にしていたため、大規模なリリース時における一連の回帰テストの自動化と、SalesforceおよびVlocity社製品のアップグレードをサポートできるSalesforceテストソリューションを必要としていました。

The Solution: Provarによる Salesforce および Vlocity社のテスト自動化

同社とSogeti は、リリーススケジュールを迅速化し、社内のイノベーションをより高速かつ確実にサポートするために Provar を選択しました。その結果、わずか数か月でProvar を正常に導入し、Sales Cloud とVlocity CPQ のテスト要件を満たすことができました。Provar を導入する前は、2名の専任テスターが100以上のテストケースのテストを完了させるために、3週間を必要としていました。

Provar 社との提携により、実現可能にした事

● 2つの環境にわたる一連の回帰テストを自動化することで、効果的、メンテナンス不要、かつコスト効率に優れたSalesforceテストを実現。
● Seleniumと比較して、Provarを使用した自動テストケース開発の労力を50％削減
● 手動テストのアプローチと比較して、テストサイクル時間を75％削減。
● 複数の環境にわたるテスト範囲の拡大による品質の向上。
● 読みやすく解釈しやすいテストレポートを通じて、ステークホルダーのテスト結果に対する認知度を向上。

Provarとの協業は大変喜ばしいものでした。Provarのおかげで、私たちは顧客のSales CloudおよびVlocity社のニーズを満たす、迅速かつ信頼性の高いテストスイートを構築することができました。

SOGETI、テスト自動化コンサルタント、YOGESH JADHAV氏