"Customer Observability" の対象となりうるものは何かを考えてみる

こんにちは！人給基幹プロダクト開発本部 CRE部チーフの a-know（井上）です。普段は岡山県倉敷市の自宅からフルリモートで働いています。

SmartHR CRE の目指すところのうちの一つとして、「Customer Observability の獲得」というものを設定しています。この "Customer Observability" という言葉を初めて目にする方もいるかもしれません。この言葉については、例えば「CRE（Observability）」というSmartHRのロールについて説明しているページで、以下のように語っています。

CRE（Observability）

「私たちが、お客様のことをどれだけ正確に把握しているか？」ということに関する "信頼性"（Customer Observability）に貢献することを担うロールです。「SmartHR が把握している顧客像」に対する信頼性の獲得と向上を主眼に、データの収集と活用の推進をリードする、というのがその概要となりますが、具体的な業務としては以下の通りです。

SmartHR の CRE チームに興味をお持ちの方へ - https://tech.smarthr.jp/entry/cre-matome より

また、CRE（Observability）ロールの求人票にも、以下のような記載をしています。

「お客様の課題があらかじめ的確に把握されていること」「お客様の状況がいち早く正確に把握できること」に関するケイパビリティのことを私たちは独自に "Customer Observability" と据えて、獲得と向上に向けた活動に着手しています。

CRE（Observability）採用情報 - https://open.talentio.com/r/1/c/smarthr/pages/113443

求人票にもあるように、"Customer Observability" は私たち SmartHR CRE による独自の表現ではあるのですが、私たちが目指しているものを端的に表す表現として結構しっくり来ているため、CRE 立ち上げ以来ずっとこの表現を使ってきました。

そんななか、先日とある方から「Customer Observability には、そもそもどういうものがあるのでしょうか？」という質問をいただいて、その具体例について、たしかにこれまでにまとまった形でアウトプットしたことがなかったな、ということに気がついたため、今回このブログ記事を書いています。

ちなみに "Observability" というキーワードは SRE の文脈でよく用いられるものかと思いますが、こちらについてはこのエントリ内では "Product Observability" とすることで、"Customer Observability" と区別したいと思います。（あくまで便宜上です）

どのようなものが "Customer Observability" の対象となりうると考えているのか

個人的にどのようなものが "Customer Observability" の対象となりうると考えているのか？をざっと書き出してみますと、以下のようなものはいずれも Customer Observability の対象となりうるのではないか、と考えています（実現可否は別とします）。

カスタマーサクセス文脈でいうヘルススコア（後述します）のようなもの
- 顧客ごとのロイヤルティが観測できるのであれば、それでも良い
- 例えば以下のような事柄を把握できると良い
  - 新機能や日々のアップデートを担当者がどれくらい追跡できているか
  - 解約に関するページを閲覧していないか
セルフサービススコア（後述します）のようなもの
- どれくらい独力で問題を解決できているか、あるいは、製品の利用に対してどれくらい苦労をさせてしまっているか
プロダクト側が定めるマイルストーンに対して、顧客がどの程度までクリアしているか
提供している機能を、こちらの意図通りに・正しく利用できているか
ある業務を行うのに要していた所要時間がどのように変化・推移したか
顧客の感情や意図を把握できるもの（後述します）
- どの機能に対して不満を覚えているのか・満足しているのか
  - 「利用において感じている快適さ」のようなものもここに分類されそう
- 解約/乗り換えやダウングレードを検討しはじめているか否か
- 製品に対する要望の有無やその強さ、頻度
- 現在一番関心を抱いている事柄は何か
- こんなこともできそう！
  - 電話やビデオ会議での発言内容や声のトーンを判別してのポジ/ネガ分類
  - 「ある設定をしたいと思っているユーザーが、なかなか目的の画面にたどり着けない」といったことを察知する
顧客側の人事異動と、それによる意思決定者・キーマンの変化を事前察知
顧客企業側での大きなプレスリリース（特に、プロダクトの利用に影響があるようなもの）の事前察知
NPS（Net Promoter Score）の回答における自由記述からインサイトを得る（定性分析）
Sentry のアラートと顧客との紐付け
- それによるスコアリングも
お問い合わせ（カスタマーサポートへの）と顧客との紐付け
- それによるスコアリングも
各顧客に対して、これまでどのような働きかけ（メール・商談・セミナー etc.）をしてきたかが、その結果も含めて追跡・評価できる（≒ トレーサビリティ）
個別の顧客に対する可観測性だけでなく、全体もしくは一定の集団に対するトレンドや、類似パターンによるクラスタリング
などなど

……一気に書きすぎてしまったかもしれません。これらのうちのいくつかについて補足してみたいと思います。

カスタマーサクセス文脈でいうヘルススコアのようなもの

ヘルススコアとは、一言でいうと「ある顧客が、自社サービスを使い続けてくれる（＝健康な状態である）かを数値化した指標」のことです。人間が健康診断で血圧や体温を測って健康状態を推し量るように、顧客の状態を、さまざまなデータをもとに「良好」か「解約しそう」かを効率よく判断するために使われるものです。

私もこれまでの経歴のなかで、実際にCSM（カスタマーサクセスマネージャー）としてカスタマーサクセス業務にあたっていたことがあります。そのなかでヘルススコアを設計し運用していたこともありました。ヘルススコアは、例えば以下のようなかんじで設計します（あくまでイメージです）。

ログイン頻度
- 毎日: 20点
- 1か月以上ログインなし: 0点
同僚ユーザーの招待有無
- 複数人招待をし、権限設定が行われている: 20点
- 複数人招待しているが、権限設定が行われていない: 10点
- 1人のみ招待している: 5点
- 招待が行われておらず、初期設定ユーザーのみ: 0点
機能の利用頻度
- 毎日: 20点
- 1か月以上利用なし: 0点
応用・発展的機能の設定有無
- 設定が5項目以上あり: 20点
- 設定が1項目以上あり: 10点
- 設定なし: 0点
サービスからの通知に対するリアクション有無
- 通知後1日以内にアクセスあり: 20点
- 通知後3日以内にアクセスあり: 5点
- 通知が既読にならない: 0点

これらの項目が全て良好な状態な顧客のヘルススコアは「100点」、その真逆の顧客は「0点」となります。数値が低いほど製品の利用が定着していない（＝解約リスクが高い）とみなして、その顧客に働きかけることになります。

ヘルススコアの利点のひとつとして「顧客の数が非常に多い場合でも、その状態を俯瞰して確認できること」が挙げられます。一方で難しいポイントとしては、「顧客の状態をヘルススコアで精度高く表せるように設計する必要があること」、「製品のアップデートや状況の変化に応じてアップデートし続けなければならないこと」があるように思います。自分がCSMだったときのことを思い出してみても、「目の前のお客様が、製品に対してどのように感じておられるか」は、いくつかのデータを見ただけで正しく把握できるものではなく、様々な要素が複雑に作用し合った結果として生まれるものです。ましてや、様々な技術の発展によりシステムの利用の仕方に多様性が生まれている現代においては、言わずもがなでしょう。（GUI, CUI, API, RPA, AIによる自動化などなど……）

そうしたこともあり、いまのところ SmartHR CRE としては、「ヘルススコアを提供する」のではなく、「ヘルススコアを構成し得る様々な要素を、できるだけ多く、誰でも把握できるようにする」ことをまず達成したいと考えています。上記でいうところの「様々な要素」のできるだけ多くを、効率的かつ正確に確認できる仕組みを提供することで、個々のCSMの判断材料を増やしてもらえるようにする、という考え方です。

セルフサービススコアのようなもの

セルフサービススコアとは、端的に言うと、「顧客が自分ひとりの力で、どれだけスムーズに問題を解決できているか」を表す指標のことです。

以下の記事は2021年と少し前ものですが、株式会社はてなさんの CRE がこのセルフサービススコアに向き合った以下の記事がとても素晴らしいので、ぜひ合わせて読んでみていただきたいです。

developer.hatenastaff.com

何かサービスを利用していて「よくわからないな……」となったとき、「カスタマーサポートに問い合わせたい」とすぐに考える方は稀なのではないかと思います。問い合わせる前に、ググってみたり、ヘルプページを参照するなどして問題が解消できるなら、そうしたい、できることならその場で速やかに問題解決したい、と考える方が大多数なはずです。そのような前提に立脚し、それがどの程度製品として達成できているかを表すのが、このセルフサービススコアになります。

ある顧客がどれだけ独力で問題解決できているか、もしくはできていないかは、特に後者の状態にあるお客様に対してプロアクティブに支援を提供するにあたって大きな情報になります。この業界において CRE というと、「お問い合わせに対して、いかに良く対応するか」の議論になりがちです。もちろんそれも重要なことですが、「お問い合わせをしてくださるお客様はそもそも稀であること」、「お問い合わせという行為がそもそも苦痛を伴うものであること」を思い出し、そこに対してアプローチをしていくためには、このような情報を把握してアクセスできるようにすることが非常に重要であると考えています。

顧客の感情や意図を把握できるもの

私はCSMのほか、プリセールス・セールスエンジニアとしての業務にあたっていた経験もあります。そのような役割としてお客様とお話をし、その経過や結果を Salesforce などに記録するわけですが、「テキストに落とし込む段階で、とても多くの情報が失われているよな……」と常日頃感じていました。「とても多くの情報」というのは、お客様側の担当者の表情やテンションだったり、全体的な空気感や温度感だったり、極めてアナログでその場にいるからこそわかるような情報です。

その後、全ての商談を動画として残す、という方針の職場に移ったときには「これはひとつの解かもしれないなぁ」と感じたことをよく覚えています。例えばあるお客様の担当を他の担当者から引き継いだときには、過去の商談の録画を2,3本確認することで、「そのお客様が当社の製品に対してどのように感じているか」といったことなどが手に取るようにわかったからです。

ただこの方法には致命的な弱点があります。それは「確認する録画に記録されている時間だけ、所要時間が必要となる」ことです。極めて当たり前のことなのですが、自身が担当する顧客数が一桁台であればまだしも、何十社ともなると、この方法を取りたくても（物理的に）取ることができません。（加えて、ストレージ容量とコストの関係もあり、全ての商談を記録として永年残し続けるのも難しいことが多いかと思います。）

そのようなことをずっと頭の片隅で考えていたのですが、令和の現代には "AI" という超強力な武器があります。これは未だ構想の段階を出ていないアイデアなのですが、これまで商談に出席したり、その様子の録画を確認しなければわからなかったような情報を効率的に抽出し、誰でもアクセスできるようにすることによって、これもまたサービス担当者（セールスやカスタマーサクセス）の活動や意思決定を強力に支援できるものになるはず、と考えています。

なぜ Customer Observability の獲得が重要だと考えているか

この調子で上記のリスト全てについて語っていくとキリがないので、それはいったんここまでにして（どうしてもこれが気になる！という方は、ぜひざっくばらんにお話しましょう！）、最後に「なぜ私たちは Customer Observability の獲得が重要だと考えているのか」についてお伝えすることで、このエントリを締めくくりたいと思います。

その理由には大小いくつかあるのですが、一番大きいものとしては「お客様に直接相対するメンバーの従業員体験を良いものにしたい」ということがあります。

上述のとおり、一定の規模以上のサービスのセールスやカスタマーサクセスを担当するとなると、一人あたりの担当社数も数十社にのぼることは珍しくありません。理想としては、自分が受け持つお客様の利用状況などを毎日把握して、よからぬシグナルを感じ取った場合には先んじてコンタクトを取り、障害物を取り除いてあげたい。もちろん、1年に1回やってくる契約更新（1年契約の場合）についても、余裕を持ってご説明をし、よりお客様の業務負荷の低減に繋がるような良い提案を作るということもしたい。これは別に違和感のない "理想像" かと思うのですが、問題はこれを、自身の受け持つ数十社に対して実行していかなければならない、ということです。そんなときに担当者が使えるツールやアクセスできるデータがいまいちなものであれば、欲しい情報を取得するのにも時間は掛かりますし、場合によってはそれがそもそも正確ではない可能性だってあります。結果、担当者は業務に疲弊し、それはお客様対応の質や量にも少なからず影響します。これこそが、SmartHR の CRE が Customer Observability の獲得を重要だと考えている理由になります。

私は以前から、「プロダクトとは、いわゆる製品そのものだけではない。その製品をお客様の元に届け、またそこから価値を得ていただくために提供しているサービス・サポートなども含めた、その全てがプロダクトである」という考え方を大事にしています（先日の Fukuoka CRE Lounge でもそのようなLT登壇をしました）。ここまで書いたようなことは、まさしく「サービス担当者により提供されるサービス」をスコープとした顧客信頼性（Customer Reliability）の維持向上のための取り組みであり、SmartHR CRE が担うべき領域であると考えています。

少し前までは、エンジニアチームが管理する各サーバーの状態を知るためには、それぞれのサーバーに ssh をしていくつかのコマンド（ top とか df とか free とか……）を叩いたり、ログファイルを tail -f して確認したり……ということを実施することも日常茶飯事だった、という方もおられるのではないかと思うのですが、現在はどうかというと、Product Observability を担う Datadog のような便利なツールやサービスが当たり前のように使えて、よほどのことではない限りこれを見れば十分・必要な情報はそこに揃っている……というかんじになって来ているのではないかと思います。かたや、ビジネスサイドはどうか？というと、もちろん高度な取り組みをしている現場もたくさんあるかと思いますが、効率化可能な余地、エンジニアでいうところの「サーバーに ssh して状態を確認する」に相当する作業もまだあるように思います（これは私自身が前職までの経験で感じていることです）。

AIの発展により、サービス・アプリケーションが持つ単純な機能は簡単に真似をされてしまう時代です。一方で、上で定義したような "プロダクト" としての質や顧客体験は、一朝一夕で模倣できるようなものではないはずです。SmartHR の CRE は今後の SmartHR の差別化要因・魅力的品質の一部を担う鍵として内外から認識されるように、今後も活動していきたいと考えています。