KARTEでは、効果測定の一つとしてリフトアップ(ゴール回数、ゴール金額)という指標を使用しています。KARTEでのリフトアップとは、”接客をした人” のコンバージョンから “接客をしなかった人” のコンバージョンを差し引いた “接客による純粋な効果”を表しています。またサイト全体での効果は、各接客サービスのリフトアップの単純な足しあわせです。

なお、リフトアップは未接客を含めたABテストを設定した接客サービスでしか算出できないため、効果検証ができていない接客サービスについては未接客を含めたABテストの実施をお勧めしています。

以下にリフトアップの計算方法の詳細と理由、よくある質問についてご説明します。

リフトアップの考え方

リフトアップとは、上記の通り接客をした場合と仮に接客をしなかった場合( = 未接客)に想定される成果の差分を意味します。未接客を計測することで「接客をしなかったと仮定した場合の想定される成果」を算出することができます。リフトアップの計算は、具体的には下記のとおりです。

(接客したユーザーグループのゴール率・ゴール単価 – 未接客のユーザーグループのゴール率・ゴール単価) × 接客回数

接客サービス毎にこの計算を行うことで、各接客サービスで設定されたゴール(回数、金額)をどれだけ上積みしたかを算出しています。

Q. 未接客・接客ありの振り分けはどのように決まる?

接客あり・未接客のグループ分けは、ユーザーの属性や条件などを考慮せず完全にランダムに行っているため、対象ユーザーや配信条件等がリフトアップの正確さに影響をあたえることはありません。

Q.「接客をしなかったと仮定した場合の想定される成果」は常に正しい?

「接客をしなかったと仮定した場合の想定される成果」は実際には存在しない想定上の値であるため、常に正確な数字とは言い切れません。
この不確実さは配信数が増えるに従い軽減され正確な評価に近づいていくため、この正確さを管理画面上では「信頼度」として低(データが不足しています)・中(もう少しデータが必要)・高(確定)に分けて表示しています。

Q. 他の配信の影響を受ける?

また、他の接客は、配信した時・配信しなかった時の両方に均等に配信しており、その効果は配信した時・配信しなかった時両方の効果に反映されるため、上記の計算の結果には影響を与えません。
従って、各接客のリフトアップには他の接客の効果は含まれないと考えられます。

サイト全体のリフトアップの考え方

前述したとおり、各接客のリフトアップには他の接客の効果は含まれないため、KARTEのすべての接客がサイト全体に及ぼした効果を、各接客のリフトアップを足し合わせた数値で算出することができます。
仮に全ての接客サービスで未配信を含めたABテストをしている場合、各接客サービスのリフトアップを足し合わせた数値が、サイトに対してKARTEが貢献したリフトアップと考えることができます。

Q. 各接客サービスのリフトアップには他の接客サービスの効果が含まれるのでは?

KARTEでのリフトアップ数値は、重複を除いて計算をしています。また、KARTEでは、基本的にはかけ合せると効果が下がるケースが大半と仮定しています。そのため、効果を少なく見積もる場合もあります。
重複を除いた具体的な計算は、下記をご確認ください。ただし、リフトアップの合計金額には統計的優位性を確保していない分(信頼度低〜中)についても加えているため、ノイズが含まれる場合もあります。

例1: 50%を未配信とし、かけ合わせると線形状に増える接客サービスの場合

例2: 50%を未配信とし、かけ合わせると線形状に増える接客サービスの場合

例1・例2いずれも、接客サービスをA, B, C, D…と複数配信しても考え方は同じです。

広告などKARTE以外の施策の影響

KARTEのリフトアップは、KARTE以外の施策の影響を受けずにKARTEの接客による効果のみを計算していると考えられます。

例えば、広告によって流入してきたユーザーと自然流入によるユーザーがいた場合、その両方が接客あり・未接客の両方に均等に配分されるため、広告流入による効果良し悪しは接客あり・未接客の両方に影響を与え、リフトアップの数値の正確さには影響を与えません。

最後に、KARTEは広告とは性質が異なり、ショットでの売り上げ増加ではなくよい施策を見つけ、それを継続することでリフトアップを積み上げることが可能です。
複数の施策を組み合わせることで、ユーザー単価を積み上げることも可能です。