メンテナンスコストを88%削減し、生産性を12倍向上させる方法

Salesforceは、世界をリードするCRM (Customer Relationship Management) プラットフォームです。
より多くの見込み顧客を見つけ、より多くの取引を成立させて、優れたサービスの提供を支援することで、Salesforceを活用する企業と顧客との関係性をより豊かにできるように設計されています。
たとえば、Salesforceは企業内のチーム連携を促進するために、営業、サービス、マーケティング、コマース、ITの各組織に存在する顧客情報を、単一ビューで統合する、包括的な製品スイートを提供しています。これにより、企業は顧客と従業員とが同じように迅速かつ緊密な関係性を築くことを可能にしています。

【1】 SalesforceとProvar：品質パートナーシップ

Provarは、Salesforceに特化したテストソリューションを設計することで、Salesforceの価値を最大化する目的に設立されました。ユーザーのあらゆる段階で品質を提供するという、この継続的なミッションは、Salesforceとの強力なパートナーシップにより支えられています。Provarのソリューションは、市場で用いられるのみならず、Salesforce.comでも使用されているのです。

Provarは、そのさまざまな取り組みのなかで、長年Salesforceと提携してきました。たとえば、ProvarはSalesforceプレスリリースに早期にアクセスできます。これにより、Salesforceの新しいリリースに対して、ソリューションを常に最新の状態に保つことができています。

Provarのユーザーはストレスなく、安心してツールを使い続けることができます。Salesforceアップデートの際には、最新のProvarソリューションを用いることで、「急いでテストしなければならない」というプレッシャーから解放されます。
尚、こうしたパッケージの強固さを示す一例として、両社の提携をさらに主導する目的で、2022年9月にProvarはSalesforceのエグゼクティブであるIvan Harris氏を最高技術責任者として迎え入れました。

さて、Salesforce.comで、Provarを使用している部門のひとつは、ビジネステクノロジーチームです。同チームは、Provarのソリューションをワークフローに導入し、80,000人以上のユーザーを対象とする社内人事アプリケーション向けのテストをサポートしました。膨大なデータを最大限に活用するため生じる課題を、Provar Automationを導入したのです。

【2】 既存ツールに対する信頼性の欠如、増加するQA需要

Salesforceビジネステクノロジーチームのソフトウェアエンジニアリング・シニアマネージャーBen Kim氏、およびテクニカルスタッフのMohit Kumar氏は、多くのQA (Quality Assurance) チームと同様のストレスを抱えていました。彼らはテスト自動化ツールとしてSeleniumを使っていましたが、Seleniumの信頼性が低い一方、QA需要が増加しているという状況に直面していたのです。

特に要求の高いQAニーズは、以下のようなものです。
機能リリースが増加しており、テスト効率化の必要性が高まっているが、人的リソースに依存する手動テストはスケールしづらい。とは言え、Seleniumの自動化スクリプトは脆弱であり、回帰テストのたびに高いメンテナンスコストを支払うことになる。QA需要の増加に対応し、かつ信頼性が高く、迅速に実装が可能なテスト自動化ソリューションがほしい。こうしたニーズの中で、Provar Automationを試行することとなりました。

【3】 Provar Automationによる成果

「いくつかの調査を行った結果、Provarの有効性がはっきりしました。自動化、特に、Seleniumに関して抱えていた最大の問題のひとつは、自動化シナリオのメンテナンス負荷の高さでした。私たちは、実に30～40%の時間を、Seleniumのスクリプト保守に費やしていました。Provarが、このコストを大幅に削減し、問題を解消してくれたことは、本当に大きな成功だったと言えます」
このようにBen Kim氏は述べます。
Provar Automationを導入したあと、Salesforceのビジネステクノロジーチームが手にした成果は、非常に大きなものでした。ソリューションの学習とオンボーディング、自動化実装を含む、最初の6ヶ月間で、Salesforceチームは以下を獲得できました。

1. QAスプリントごとのFTE (Full-Time Equivalent) 当たりのテストメンテナンス工数が88%削減

   2つの専用QE (Quality Engineer) を利用して、Seleniumのスクリプト保守にひとり当たり平均80時間・2スプリントのメンテナンス作業を行っていました。
   Provar Automationを使うことで、ひとり当たり・スプリント当たりの平均時間が10時間にまで短縮されました。

2. 自動化実装のスピードが12倍に増加

   Provar Automationを1週間使って開発したのと同じ数のスクリプトをSeleniumで実装するには、12週間を要しました。
   また、この12週間の作業範囲は、UIテストに限定されていましたが、Provar AutomationではUIテスト・APIテスト両方を実装することができました。

「私たちが多くの労力を支払って開発したスクリプトは、次の回帰テストのタイミングで失敗し、スクリプトを作成するために費やしたすべての努力が無駄になる。こうしたことをたくさん経験してきました。だから私たちはProvar Automationを導入し、オンボーディングし、そしてその結果にはとても驚かされたものです。スクリプトに向き合う時間が大幅に短縮されたこと、ひとりの人間で3ヶ月間かかっていた作業が、1週間で完了できるようになったこと、これらは信じられない成果だと考えます」　- Mohit Kumar氏

報告された成果とメリットには、ソフトウェアリリースの迅速化、より多くのアプリケーションにまたがるインサイト、End to Endの相互運用性、テストエンジニアの満足度向上、開発者のモチベート、チームのアジリティ改善などが含まれていました。
Salesforceのビジネステクノロジーチームは、最も重要なビジネス成果として、以下の4つの要素を挙げています。

1. 自動化の信頼性
2. QAの高い需要に応えるための対応力の増加
3. スクラムチームへの好影響
4. より迅速に自動化を実現する能力

Provar Automationの機能は、これらを充たしました。
チームはSeleniumと手動テストの組み合わせで、週に24時間の工数を支払っていましたが、これは8時間に短縮されました。ROIは明確であり、チームはイノベーションにより多くの時間を費やすことで、顧客に対して、高い品質を提供し続けられるようになります。

【4】 未来に向けて

Provarチームと同様、Salesforceチームもテストの重要性を理解しています。
これは、あれば便利というものではなく、可能なかぎり最高のエクスペリエンスをユーザーへ保証するためには、不可欠といってよいものであるからです。彼らは、テストにより多くのリソースを投入しています。そして今後もProvarとの提携を継続することで、この取り組みを推進することができます。SalesforceとProvarは、顧客の品質向上を支援するSalesforceに特化したProvarのアプローチ、Salesforceテストの自動化、Provarが長年に渡り培ってきた専門知識によって、さらに豊かな未来が築かれることを期待しています。
これは、品質を軸に設計されたパートナーシップです。

　✓生産性が12倍に向上し、ひとりのQEが1週間で自動化スクリプトを開発
　✓QAスプリントごとのFTE当たりのテストメンテナンスコストを88%削減
　✓6ヶ月かからずに、完全に自動化されたV2MOM回帰スイート
　✓ひとりで3ヶ月間要していた作業を1週間で完了
　✓V2MOM回帰スイートの実行速度が3倍に高速化

　事例紹介PDF