はじめに
最近、開発チームのDEVOPSの文脈で開発チームの生産性を示すFour Keysより大きな概念が出てきた。
大きな組織の生産性や組織力を計測し、組織力を向上させながら目標に向かうことを目的としたEvidence-Based Managementというものです。
今回は先輩にお薦めされたScrum.orgのホワイトペーパーを読みながら理解を深める。
www.scrum.org
感想
前書き
ここでは、一般的に組織(自分の解釈では何かのプロダクトやサービスを提供する企業や団体)の管理者や経営者などは抱えているチームのパフォーマンスを知りたいという欲求から計画(プロジェクト)に対しての評価を行っているが、実際に評価を行う対象は顧客に対して提供した価値(アウトカム)で評価計測するべきであると述べている。
私の感想としては、計画に対しての評価も重要だとは思う。直接顧客の反応を知ることができる組織ばかりでもないから。だが、そのような構造的な問題がないのであれば顧客に提供した価値で測ることは完全に同意するし、計測方法を教えてほしいと思った。
価値を計測する
ここでは、EBMの範囲内での価値の定義をしている。以下の二つの価値である。
1. 「現在の価値(CV: Current Value)」: 顧客が今まさに体験している価値
2. 「未実現の価値(UV: Unrealized Value)」: 顧客が体験したいがまだ体験していない価値
次に、価値の計測方法に触れている。
まず、あまり良くない例としてNPSを挙げていた。(NPSは顧客に10点満点でサービス評価をしてもらって、9-10だと非常に高く評価してもらっていて、7-8なら良い方、6以下は普通か無関心かといった顧客からの愛着や信頼を計測する手法)
NPSの問題点として、評価が不正確であったり計測の頻度の問題、回答と行動の乖離などがあるとしていた。
価値を計測する一つの方法として、プロダクトにFBの仕組みを取り入れ顧客の行動を計測することを挙げている。
また、スクラムチームであれば上記の計測をスプリントゴールに組み込むことでスプリントやスプリントゴールの達成状況を計測可能にしていくことができるといっている。
計測手段のグラデーションについても述べており、「提供機能を誰が使ったか」〜「提供機能によって顧客のゴールが達成できたか」など考え方次第で様々考えられるとのこと。
同時に計測頻度にも言及している。スクラムチームが新機能をリリースできる頻度によって、価値の測定頻度が変わるため、なるべく新鮮な評価をもとに開発するためにも提供スピードの向上した方がいいといっている。
EBMでの価値の定義は必ずといっていいほど、どの資料にも書かれている。この節で説明しているNPSとかプロダクトから計測できる価値の例は現在の価値(CV)の方なのかな。未来の価値(UV)の例はよくわからなかった。
価値を測るためにプロダクトに計測機構を備えると良いということだが、計測する方法も様々あるのでピンポイントで計測したい価値を表す計測内容を考える力も必要だなと思った。自分が今思いつくものだったら、PV数とかABテストとかリードタイムとか応答速度とかがあるけど、手札増やさねば...
## 価値提供のパフォーマンスを計測する
ここでは、前書きと同様に計画通りに実行できたか、アウトプットができたかなどの計測に注目している組織の問題点に触れている。顧客に対して価値のあるものを提供できているかという問いについては考えられていないという問題点についてである。
次に、前節で述べた価値を計測する手法を使うと現在の価値が計測できるという前提のもと、計測するとチームのパフォーマンスについて以下のような把握ができることを示している。
1. CVが上昇傾向なら、チームのパフォーマンスは上昇傾向である。傾きも鋭角であれば急速に向上している。
2. CVが横ばいなら、パフォーマンスも横ばいと考えられる。パフォーマンスやゴール設定の自問自答が必要。
3. CVが下降傾向なら、顧客の満足度低下の理由を考えるべき。ニーズの変化やプロダクトの品質を疑い理由を考えるべき。
また、CVと未実現の価値(UV)の関係も説明している。UVはCVの補完的な傾向があり、自分のイメージとしては100点を満点とすると「100点-CV=UV」のような関係だと述べられている。なので上のCVのパフォーマンスの評価を裏返すとそのままUVの考察ができる。
この節でやっとUVとはどのような位置付けか分かった気がする。ただポテンシャルをどのように見積もるかっていうのはマネージャーの感とかによるのかなと思ったりする。いや、市場規模とかユーザー数とかを分母にして計算するって感じなのかな。わからん...
提供スピードを計測する
提供スピードの定義をEBMでは「市場に出すまでの時間(T2M: Time to Market)」と定義している。
まず組織で提供スピードに関心を持つべき理由の整理から始めている。それは、「チームが新しい機能をより迅速に提供し、その価値を計測し、FBをもとに適用ができるから」と述べている。
T2Mの計測はスタートはアイディア出しから始まり、FBの収集で終わる。提供スピード(開発〜顧客利用)のみの指標を用いない理由は、顧客に価値を届けるすべての作業を考慮しないことも良くないし、価値が届けられているか計測しないと意味のあるスピードの計測ができない。
アイディア出し〜FBを計測するモチベーションの一つとして「提供するもののほとんどは無駄である可能性が高い」ということが挙げられていた。
私はEBMを齧った程度だったのでT2Mへの解像度が一気に上がった説明だった。
プロダクトを市場に出すまでのスピードは速いほど競争優位性をもつから当然スピードが速い方が良いよねというのは誰でも思うことだけど、それに加えてアイディア出しとかFBの時間も含めて速い方が良いし、最初から最後まで計測対象だよねという考えはデータを意味あるものとする上で非常に重要な考え方だと思った。
「提供するもののほとんどは無駄である可能性が高い」というフレーズはどの資料を見ても書いてあるので、作者は結構トラウマでもある感じなのかなと勝手に察した。
チームの効果性を計測する
前節はスピードをを計測して早く提供できることの重要性について述べていたが、本節では現在の価値(CV)を向上させているかという効果を計測する重要性についても述べている。EBMでは「イノベーションの能力(A2I: Ability to Innovate)」と呼んでいる。
主に、顧客体験を向上させる時間がどれだけあるかという指標だ。直接的な価値を生む開発や企画以外の会議やマルチタスクといった無駄がどれだけ存在するかを知って、価値のある時間を増やすことを目的に計測するのだと自分は理解した。
チームのパフォーマンスを向上させる
チームのパフォーマンスを向上させるためにはどうするべきかという話をしていた。
これまで出てきたディシジョンツリーを使って、CV、UV、T2M、A2Iのどれに注視して取り組むべきかを決めると良いとの話だった。
忘れないでおきたいのは、あくまでも戦略的ゴールを達成するために現在の価値(未実現の価値の減少)を向上させることである。それを確かなものとするためにA2IやT2Mが十分な状態か確認し、改善するといった順番で顧客に対するアウトカムを生み出すループを組み立ていくことだ。
まとめ
これまでは多くの組織で、提供スピードを向上させることでアウトプットの回数を増やし市場に適応しようとしていたらしいが、本記事では提供スピードの向上がもたらすのは顧客の所感を計測可能にする頻度を高めることにあると考えている。
EBMでは学習スピードを高めることで価値を効果的に積み上げることでチームが中間ゴールや、戦略的ゴール向かって前進できると述べられている。
まとめ
本記事でも、具体的な指標についてはあまり触れられておらず、4つあった指標(CV、UV、T2M、A2I)のどれも抽象的な概念でしか語られていなかった。
ただ、このような指標は組織によって変わってくることが常だと思うので組織やチームで自律的に考えることが必要なのだろうと感じた。
一度チームで概念さえ共有できれば、建設的に話を進めることができそうだ。