会社概要
100年以上前、同社は「信頼性」「誠実さ」「サービス」という3つの柱を基盤に、生命保険会社として設立されました。この堅固な土台の上に発展を重ね、現在では世界中で1,700万人を超える顧客に金融サービスを提供する、業界を代表するグローバル企業へと成長しています。現在はフォーチュン500企業にも名を連ね、幅広い金融サービスとソリューションを展開しています。
同社は、「生命保険」「年金」「退職後の資産設計サービス」「団体保障」という4つの主要事業領域に注力し、お客様のライフスタイルを支え、維持し、さらに豊かにすること、そしてより良いリタイアメントの実現を目指しています。
・設立年：1905年
・従業員数：9,000名以上
・フォーチュン500ランキング（2021年）：収益で上位180位以内、資産規模で上位25位以内
・業種：金融サービス
・Salesforce組織数：5組織（最大の組織では100プロファイル、1,300ユーザー、46の固有ユーザー／組織接続設定）
・Salesforceユーザー数：2,000名（うち最大の組織に1,300名）
・QAチーム：Provarライセンス5本を保有
・Provarテスト数：合計4,000件（最大の組織で1,600件）
・Provarでテストを実施している環境：QAサンドボックス、開発サンドボックス、スモークテスト環境
Salesforceの重要性
多くのフォーチュン500企業と同様に、同社もSalesforceを事業成功の重要な基盤として活用しています。各組織は事業部門ごとの業務特性に合わせてカスタマイズされており、最大の組織では、社内外の販売担当者がアドバイザー向け保険商品を販売する際の取引管理を支援することを主な目的としています。また、顧客のリタイアメント（退職後の資産設計）情報を分析し、プランスポンサーに助言を行うリタイアメントコンサルタント向けのSalesforce組織も運用しています。さらに、法的保護に関する要件を扱う「団体保障（グループプロテクション）」専用のSalesforceインスタンスも活用しています。
私たちのSalesforce組織を常に期待どおりに稼働させることは、当社の成功だけでなく、世界中のお客様の財務的な安心にも直結する、極めて重要なことです。私たちはそれを決して軽んじてはいません。
品質保証アナリスト
当初は営業業務の支援を目的として設計されたこのプラットフォームですが、現在では企業全体のさまざまな活動を支えるまでに拡張されています。
同社ではSalesforceを活用し、顧客体験の最適化をはじめ、カスタマーサービス、マーケティングオートメーション、分析業務など、幅広い業務プロセスを支援しています。
現在、同社では2,000名を超えるチームメンバーがSalesforceを日々活用し、業務の効率化、顧客からの問い合わせ対応、見積情報の記録、商談機会の追跡などに取り組んでいます。これらの活動は、財務、営業、マーケティング、オペレーションといった多岐にわたる部門に広がっています。
機能不全がもたらすリスク
同社は、Salesforceの優れた使いやすさ（アプリケーションの容易なカスタマイズや社内業務の効率化など）によって多くの利点を享受していましたが、2017年の時点で、これほど複雑なアプリケーションを手動テストだけで十分に検証することは現実的でないと認識しました。
新しいリリースに不具合を抱えたまま本番環境へデプロイしてしまうリスクは、同社に深刻な影響を及ぼしかねません。特に、業務プロセスの不具合が契約に基づく金融サービスの提供に影響を与えた場合、法的リスクが発生する可能性があります。さらに、ソフトウェアの欠陥は従業員の生産性低下、営業サイクルの長期化、顧客離脱の増加といった問題も引き起こすおそれがあります。
また、カスタマイズ機能や社内開発アプリケーションのテストに加えて、Salesforceでは年3回の大型リリースが行われるため、それらが既存機能に影響を及ぼす可能性もありました。世界で1,700万人以上の顧客を支える同社にとって、こうしたリスクを軽減し、Salesforceへの投資を確実に守るための、より効果的な手段が必要とされていました。
手動テストにおける課題
2017年までは、QAチームは不具合の検出と修正をすべて手動テストに頼っていました。しかし、同社の業務の複雑さやSalesforceの高度な活用状況を踏まえると、手動テストだけではリスクが大きすぎることが明らかになっていました。
課題1：膨大な業務範囲
グローバル規模の事業を支えるため、同社では5つのSalesforce組織（org）を運用しており、2,000名を超える従業員がそれぞれの組織を利用しています。さらに複雑さを増しているのが、ユーザーが複数のブラウザ環境でSalesforceを使用している点や、権限レベルが多岐にわたる点です。たとえば、最大のSalesforce組織では100種類のプロファイル、1,300名のユーザー、46のSalesforce接続設定が存在します。加えて、QAチームは定期的に3つの環境（QAサンドボックス、開発サンドボックス、スモークチェック用サンドボックス）でテストを実施する必要がありました。
では、このことがテストの複雑さにどのような影響を及ぼすのでしょうか。
仮に100の新機能をテストする必要がある場合、組み合わせの総数は容易に数万件に達し、たとえ大規模なQAチームであっても現実的に対応することは困難です。テストすべきシナリオの組み合わせ数を考慮すると、少人数のチームだけで手動テストにより十分なカバレッジを確保することは、現実的に不可能でした。
手動テストに頼っていた頃は、影響を受けるすべてのプロファイルをテストすることができませんでした。たとえば、ある変更が10のプロファイルに影響する場合でも、全てを網羅してテストするだけの時間的余裕がなかったんです。そのため、最も重要なものを優先し、リスクの高い部分だけをテストせざるを得ませんでした。
しかしProvarを導入してからは、一度テストケースを作成すれば、それを複製して変数を調整するだけで、すべてのパターンを効率的にテストできるようになりました。品質保証アナリスト
課題2：把握しきれない依存関係
Salesforceの大型リリースによって導入される変更のテストに加え、同社では5つのSalesforce組織それぞれに対して、新しいカスタム機能や独自の拡張機能を頻繁に追加していました。
このことが、QAチームにさらなる複雑さと負荷をもたらしていました。というのも、開発チームは各組織ごとに非常にタイトなリリーススケジュールを設定していたためです。QAチームは本番リリース前にすべてのカスタマイズを十分にテストする必要がある一方で、リリースの遅延を防ぐためには変化のスピードにも対応し続けなければなりませんでした。
課題3：高度にカスタマイズされたSalesforce組織
Salesforceの大きな利点のひとつは、アプリケーションを容易に変更・調整できる柔軟性にあります。しかし、その利便性は同時にリスクも伴います。特に、組織内のすべての依存関係を十分に考慮せずにワークフローを変更すると、意図せず他のワークフローへ影響を及ぼしてしまう可能性があります。
手動テストでは、担当者が「変更がありそうだ」と考える部分しか検証できず、組織全体に及ぶ潜在的な影響範囲を網羅することはできません。
課題4：設計の複雑さ
AuraやLightning Web Components（LWC）といった最新技術の急速な採用に加え、ダイナミックフォームやアコーディオンなどの複雑なコンポーネントが増えたことで、アプリケーション設計はますます複雑化していました。その結果、手動テストだけに依存する体制では、これら高度な機能のテスト範囲を正確にカバーすることが難しくなっていました。
課題5：時間を要する手動作業
チームの規模が比較的小さく、テストに割ける時間にも限りがあったため、同社が実施できる手動テストは月あたり約400件にとどまっていました。
最初の試み
組織内でSalesforceの重要性が高まる一方、手動テストには限界があることから、チームは一時的にSeleniumによるテスト自動化へ移行しました。しかし、その成果は限定的なものでした。当初は約400件のテストを構築しましたが、チームによる社内の変更や、Salesforce側での外部的な更新によって既存のリグレッションテストが頻繁に壊れ、そのたびに膨大なメンテナンス作業が発生していました。
数か月をかけてSeleniumテストのライブラリを整備したものの、大型リリースのたびに既存テストの修正に数週間を費やさざるを得ませんでした。
手動テストからSeleniumに切り替えた後、すぐにそれが持続可能な方法ではないと気づきました。
最初の大規模なSalesforceリリースの後には、テストのメンテナンスに非常に多くの時間を割かざるを得ず、すぐに別の方法を検討する必要があると悟ったのです。しかしProvarでは、リリースを重ねてもテストがそのまま動作し続けます。品質保証リーダー
また、Seleniumの使用にはコーディングスキルが求められるため、チーム全体で必要なテストカバレッジを確保することも難しくなっていました。
こうしたメンテナンス負荷の大きさや、Seleniumを使うためにチーム全員の開発スキルを拡充する必要があることを踏まえ、チームはこのままでは目標とするテストカバレッジを達成できないと判断しました。
Provar Automationへの切り替え
Provar Automationは、最初から際立っていました。
クリック操作で簡単にテストを作成できる仕組みにより、開発経験のないメンバーでも、エンジニアでも同じようにテストを構築できます。経験レベルに関わらず、チームの誰もがテストケースを作成できる——それこそが、私たちがProvar Automationを選んだ最大の理由です。品質保証リーダー
Seleniumの短期間の導入を経て、同社は新たな解決策を模索し、テスト自動化ソリューションの調査とベンダー評価プロセスを開始しました。DreamforceでProvarのデモを見た後、同社はProvarのプリセールスチームと連携し、自社のニーズに合わせた詳細な評価を実施しました。
複数の候補を検討した結果、チームは最終的に Provar Automation を採用することを決定。その主な理由は2つありました。1つ目は、Provar AutomationがSalesforceの基盤データモデルと連携して動作できるため、テストメンテナンスを大幅に削減できること。2つ目は、ローコードソリューションとしての使いやすさです。
「壊れない」Salesforceテストで再作業の連鎖を断ち切る
Provar Automationを選んだ理由のひとつは、テストが将来を見据えて設計されている点です。
Salesforceの基盤データモデルと連携して動作するため、Seleniumのような他のツールで必要となる膨大なテストメンテナンスから解放されました。さらに、テストの再利用性が高く、変更にも強くなりました。品質保証リーダー
Salesforceでテスト自動化を行う際、QAチームが直面する最も一般的な課題のひとつが「テストの破損」です。これはさまざまな要因で発生しますが、その中でも特に頻繁に起きるのがSalesforceの新バージョンリリースによる影響です。リリースでは、ユーザーインターフェースのフレームワーク（Visualforce、Aura、Lightning Web Componentsなど）や、HTML・JavaScript・CSSの変更を伴うレンダリング処理の更新など、多岐にわたる改修が行われます。さらに、レイアウトの更新やAPIバージョンの変更が含まれる場合もあります。
こうした変更は、ユーザー体験やプラットフォームのパフォーマンス、利便性を高めるために設計されていますが、Seleniumのような静的なテストフレームワークを利用しているQAチームにとっては課題となります。なぜなら、ハードコードされたテスト（すべての要素の動作を厳密に定義したテスト）は、UIや機能が変化した新しい環境で実行すると動作しなくなるためです。その結果、チームは自動化の拡大ではなく、既存テストの修正に何週間も費やす「再作業のスパイラル」に陥りがちでした。
一方で、Provar Automation のテストはSalesforceの基盤データモデルと連携して動作するよう設計されているため、はるかに堅牢です。Provar Automationの Test Builder を使えば、フィールドやボタンをクリックするだけで、テストに必要なすべての情報が自動的に追加されます。
Provar Automationが他のツールと異なるのは、テストを後日実行した際に、作成当時のSalesforce環境を記憶し、その後の変更を理解して自動的に適応できる点です。
その結果として得られるのは――リリースを重ねても動き続けるテスト です。
ローコードによるテスト自動化
ベンダーを評価する中で、同社が特に注目した機能のひとつが Provar AutomationのTest Builder でした。
これは、テスター自身が直感的にテストケースを作成できるソリューションです。Test Builderを使えば、自然でシンプルな操作でテストを構築しながら、その場で作成・デバッグを進めることができます。リアルタイムで完全に設定済みのテストステップを生成する直感的でわかりやすい設計により、コーディング経験のないテスターでも、わずか数分でテストケースの作成を始めることが可能です。
Provar Automationでのスクリプト作成は非常にスピーディです。シンプルなポイント＆クリックの操作で直感的に進められます。
品質保証アナリスト
Provar Automationの活用方法
Provarの Jumpstart Implementationトレーニング を修了した後、チームはこれまでのSeleniumで構築した400件を大きく上回る、4,000件のテストライブラリ を構築することに成功しました。これらのテストは主に機能回帰テストとヘルスチェックに焦点を当てており、わずか10名ほどのチームが2年足らずでこの成果を達成したことは特筆に値します。
Provar Automationの導入により、チームはスプリント内自動化（in-sprint automation） を実現。さらにProvar Automationを GitLab と連携させることで、バグの迅速な検出・修正が可能になり、5つのSalesforce組織すべてでリリーススケジュールの加速を実現しました。各スプリントでは通常5〜10件のストーリーを対象に、自動化作業を計画的に進めています。
アジャイル開発手法と組み合わせることで、Provar Automationは同社の高度にカスタマイズされたSalesforce環境におけるソフトウェア開発ライフサイクルの円滑化に大きく貢献しています。これにより、より高い信頼性をもって、欠陥の少ないリリースを継続的に実現できるようになりました。
Provar Automationで特に役立っている機能ですか？ すべてです。どれも有用ですね。たとえば、Excelからフィールドを取り込んでピックリストの値を検証するのがとても簡単になりました。さらに、さまざまなSQLサーバーや他のWebサービスとも接続できるようになり、OAuth接続を使って一部のセキュリティ要件にも対応しています。
品質保証アナリスト
導入後の成果
Provar Automation への切り替えにより、同社はSalesforceの新たなカスタマイズをこれまで以上に迅速にリリースできる体制を確立しました。その結果、エンドユーザーおよび顧客満足度の向上、リスクの軽減、そして各リリースの品質向上を継続的に実現しています。
現在、同社はユースケース全体の約90％をカバーできており、リリースを重ねるごとにコードカバレッジの範囲をさらに拡大しています。
またQAチームは、テストの再利用可能なコンポーネントを活用することで、テストプロセスの複雑さを大幅に簡素化しました。変数を容易に変更して複数の環境でテストを実行できるほか、2,000名を超えるユーザーに付与されたさまざまな権限レベルも正確に再現できるようになりました。
さらに大きな成果として、大幅な工数削減を実現。これにより、スプリント内自動化の導入や回帰テストライブラリの拡充が可能となりました。以前は手動テストのみで約400件のユースケースを検証するのに1か月を要していましたが、現在では4,000件のテストを短期間で実行できるようになっています。
Provar Automationは、当社のSalesforce基盤を守るうえで最も確かな投資のひとつです。そしてそれは同時に、お客様への投資でもあります。当社の文化は“世界水準のカスタマーサービス”を提供することを中心に築かれており、その実現のためには、24時間365日途切れることなく稼働するシステムが欠かせません。
品質保証リーダー