Let's dig into cohort analysis
열심히 마케팅 캠페인을 기획하고 운영까지 했는데 효과를 알 수 없어서 답답했던 적은 없으세요? 나름 캠페인 결과를 분석한다고 했는데 어떤 결론도 내지 못해서 난감했던 적은 없으신가요? 잘 보이지 않던 캠페인의 성과를 더 명확하게 확인할 수 있게 도와주는 코호트 분석에 대해 알아봅시다.
안녕하세요, Dano입니다. 이번 시간에는 사용자 행동의 변화를 측정하고 그 원인을 분석할 때 도움을 주는 코호트 분석에 대해 알아봅시다. 대부분은 코호트란 단어를 처음 들으셨거나 듣기는 했는데 정확하게 무슨 뜻인지 모르실 겁니다. 자, 복잡한 이야기는 다 빼고 바로, 예시를 가지고 시작합시다.
지난 시간에 사례로 다뤘던 번화가의 화장품 매장으로 다시 돌아가 봅시다. 아직 안 보신 분은 화면 왼쪽 상단의 i 마크를 참조하세요. 그 사장님한테 다시 연락이 왔습니다. "지난달에 AA라는 해외 화장품 브랜드랑 팝업 스토어를 열었어요. 행사는 잘 끝났고 저번에 배운 퍼널 분석으로 제가 분석을 해 봤는데... 음... 잘 모르겠어요... 좀 도와주세요."
그러면서 사장님이 표 하나를 보여 주셨습니다. 10월, 11월 데이터를 정리한 표인데요, 한번 같이 살펴보시죠. 앞에는 지난 시간에 배운 대로 유동인구부터 구매고객으로 이어지는 퍼널 데이터가 있고 그다음은 매출과 객단가가 나와 있네요. 나름 배운 대로 잘하셨어요. 물어보니까 11월 3주차에 팝업 스토어를 열었다고 합니다. 그런데 팝업 스토어가 11월 매출에 얼마나 기여했는지, 다른 지표들에 어떤 영향을 미쳤는지 이 데이터만으로는 알기가 어렵습니다. 10월 매출이 11월 매출보다 상대적으로 높기는 한데 11월 매출이 팝업 스토어 때문에 떨어졌다고 할 만한 별다른 근거도 없고, 객단가는 오히려 11월이 10월보다 높아서 어떤 결론을 내기가 어렵습니다. 그렇지 않나요?
많은 스타트업들에서 흔히 보는 광경입니다. 이렇게 합리적 추측조차 불가능한 수준의 데이터를 놓고 갑론을박을 하곤 합니다. 의미 있는 결론이 나올 리가 없겠죠? 게다가 이런 자료를 바탕으로 만든 가설은 근거가 없는 소설에 불과합니다. 그러면 우리는 어떻게 해야 할까요?
자 확인을 해 보니까, 팝업 스토어는 11월 세 번째 주에 일주일 동안 열었다고 합니다. 그리고 매장에 유동인구와 내방객 수를 세는 디지털 솔루션을 도입해서 우리가 원하는 과거 기간의 유동인구와 내방객의 수를 얻을 수 있다고 합니다. 그러면, 방법이 보입니다. 즉 캠페인을 열었던 기간의 데이터와 다른 데이터를 구해서 직접 비교해 보는 겁니다.
주 단위로 데이터를 비교하면 팝업 스토어 운영 기간의 데이터, 즉 11월 세 번째 주의 데이터와 다른 주들의 데이터를 비교할 수 있습니다. 비교할 데이터로는 팝업 스토어를 운영하기 바로 전 주인 11월 두 번째 주와 그 다음 주인 11월 네 번째 주의 데이터를 사용하고, 추가로 한 달 전의 같은 주인 10월 세 번째 주의 데이터와도 비교해 봅시다. 즉 팝업 스토어를 운영할 때 방문한 고객들의 데이터를 3개의 다른 고객군들의 데이터와 비교해서 어떤 차이가 있는지를 알아 보는 겁니다.
이렇게 수집된 주 차별 데이터를 이용해서 아까 봤던 표를 업데이트했습니다. 그리고 비교군과 상대적인 비교를 할 수 있도록 컬럼 몇 개를 추가했습니다. 자 이제 같이 살펴보시죠.
먼저 퍼널에서 내방객 기준 구매 전환율을 봅시다. 팝업 스토어를 운영했던 주의 구매 전환율은 다른 주의 전환율이 10 ~ 11%인데 비해서 15%로 꽤 높다는 것을 알 수 있습니다. 매출은 지난달 매출인 10월 3주 차보다는 늘었고 직전이나 직후의 매출과 비슷한 수준이라는 것을 알 수 있습니다. 그런데 평균 객단가를 보면 팝업 스토어를 운영한 주의 평균 객단가가 비교군의 절반 정도라는 것을 확인할 수 있습니다.
팝업 스토어를 운영했던 주의 데이터를 비교군과 비교했을 때의 시사점을 간단히 정리해 봤습니다.
- 내방객의 수가 늘었다. (11월 2주 차 대비 60% 가량 증가했습니다.)
- 내방객 기준 구매 전환율이 15%에 이른다. (비교군은 10 ~ 11%대입니다.)
- 매출 금액은 큰 변화를 파악하기 어렵다. (그렇죠?)
- 평균 객단가는 절반 수준이다. (11월 2주 차 대비 약 48% 수준에 불과합니다.)
아까 사장님이 보여줬던 표, 10월, 11월, 두 개의 월 데이터를 비교했을 때보다 훨씬 더 많은 사실을 알 수 있지 않나요? 우리가 보고자 하는 데이터를 명확하게 구분해서 분석하니까 기존에는 알 수 없었던 정보를 추가로 얻을 수 있었습니다. 이런 정보들을 바탕으로 새로운 가설을 세워서 팝업 스토어의 성과나 의미를 분석할 수 있겠죠? 오늘은 여기까지만 하고 코호트 이야기로 다시 돌아가겠습니다.
우리가 방금 한 게 바로 코호트 분석입니다. 뭔가 특별한 걸 하지 않았습니다. 그렇죠? 자, 이제 어떻게 했는지 다시 한번 살펴봅시다.
먼저 팝업 스토어를 운영했을 때의 데이터를 찾아봤습니다. 일주일 동안 운영했기 때문에 7일간의 데이터를 모았고 그에 맞게 비교할 데이터들도 일주일간의 데이터로 준비했습니다. 즉 11월 2번째 주, 3번째 주, 4번째 주의 데이터를 구했고 거기에 추가로 월의 특정 기간마다 반복되는 외부효과가 있을 수 있으므로 지난달 같은 주의 데이터인 10월 3번째 주의 데이터를 포함했습니다. 이 데이터들은 '특정 주에 매장을 방문한 사용자군'의 행동 데이터입니다. 이 사용자군에 대해서 지난 시간에 배운 퍼널 분석을 했고 매출과 객단가를 분석했습니다. 한 달 단위로 뭉뚱그려서 볼 때보다 훨씬 더 구체적이고 명확하게 우리가 구하고자 하는 팝업스토어의 효과를 알아볼 수 있었습니다.
코호트는 '동일 기간에 동일한 이벤트를 경험한 사람들'의 집합입니다. 여기서 동일한 기간과 동일한 경험이라는 두 가지 조건이 모두 충족되어야 합니다.
'성서 초등학교 졸업생'은 코호트일까요? 아닐까요? 이 학교의 30년 전 졸업생과 작년 졸업생은 동일한 기간에 학교를 다니지 않았습니다. 그러면 '성서 초등학교 2002년 졸업생'은 어떨까요? 코호트라고 부르기에 적합합니다. 해당 그룹은 입학 때부터 2002년 졸업할 때까지 동일한 기간에 동일한 경험을 했을 가능성이 큽니다. 다만 여기서 잊지 말아야 할 점은 우리가 해당 연도의 졸업생과 다른 연도의 졸업생들을 비교하고자 할 때만, 코호트로서의 의미가 있다는 점입니다. 즉 코호트는 반드시 비교를 전제로 합니다. 연도로 코호트를 구분한다는 건 연도로 비교했을 때 우리가 원하는 데이터를 구할 수 있다는 말이고 월로 코호트를 구분한다는 건 월 단위로 비교하겠다는 말입니다.
그리고 코호트에 속한 사람들은 동일한 경험을 공유해야 합니다. 이 전제가 맞지 않으면 코호트 분석의 의미가 사라집니다. 예를 들면, 팝업 스토어를 운영한 7일 동안, 앞의 2일은 준비가 덜 돼서 서비스가 엉망이었다고 가정해 봅시다. 그래서 고객들의 불만이 아주 높았고 구매율도 낮았던 반면, 나머지 5일은 문제를 해결해서 잘 운영했다면 앞의 2일간의 데이터는 버리고 뒤의 5일간의 데이터로 코호트를 만들어서 분석해야 합니다. 그냥 통으로 7일짜리 코호트를 만들어서, 분석해서는 안 되겠죠?
코호트로 비교를 할 때 두가지 방법이 있습니다. 하나는 기간으로 비교하는 방법입니다. 팝업 스토어의 예처럼 서로 다른 기간의 코호트끼리 비교하는 것이죠. 11월 3주 차 고객군과 4주 차 고객군을 비교하는 것. 가장 흔히 사용하는 방법입니다.
또 다른 하나는 같은 기간에 서로 다른 경험을 한 사람들끼리 비교하는 것입니다. 예를 들어 화장품 매장에 앞문과 뒷문이 있고 '앞문으로 들어온 고객군'과 '뒷문으로 들어온 고객군'이 상당히 다른 수준의 경험을 한다고 가정해 봅시다. 처음 접하는 판매대의 상품 구성이 다르거나 한쪽에만 체험존이 있는 경우를 생각해 볼 수 있습니다. 이 때 각각의 고객군을 코호트로 만들어서 '11월 3주 차에 앞문으로 들어온 고객군'과 '11월 3주 차에 뒷문으로 들어온 고객군'을 서로 비교할 수 있겠죠?
혹시 세그먼트라는 말을 들어 보셨나요? 세그먼트는 말 그대로 고객을 나눴다는 말입니다. 예를 들어, 구매 고객 중에 신용카드로 결제한 고객을 찾고 싶다면, 전체 구매 고객 중에서, 신용카드로 결제한 사람과 그렇지 않은 사람을 나누면 됩니다. 물론 우리가 관심 있는 것은 신용카드로 결제한 고객들이지만 항상 전체를 어떤 기준으로 나눠서 우리가 원하는 집합을 구한다고 생각하시는 게 좋습니다. 그러면 '신용카드로 결제한 고객'이라는 세그먼트와 '신용카드로 결제하지 않은 고객'이라는 세그먼트, 이렇게 2개의 세그먼트를 얻게 됩니다. 50만 원 이상 구매한 고객에 대해 알아보고 싶다면, 마찬가지로 전체 구매 고객 중에서 50만 원 이상 구매한 고객과 나머지 고객을 나눈다는 것을 의미합니다.
온라인 서비스에서는 어떤 국가의 접속자들이 우리 서비스를 이용하는지 분석할 때 접속 국가별로 세그먼트를 나눕니다. 접속 국가와 같은 속성은 '동일한 경험'이 아니므로 코호트를 나누는 기준이 될 수 없습니다. 성별이나 나이도 그렇죠. 그래서 이런 인구통계학 데이터는 세그먼트를 나누는 속성으로 많이 사용합니다.
저는 머릿속에서, 코호트는 '동일한 기간에 동일한 경험을 한 사람들끼리 묶었구나'라고 생각하고 세그먼트는 전체 고객을 '특정 기준으로 나눴구나'라고 생각합니다. 여러분들도 여러분들만의 방법을 찾아서 구분해 보세요.
코호트를 만든 다음 해당 코호트를 세그먼트로 나눌 수도 있습니다. 팝업 스토어를 방문했던 코호트를 결제 방법으로 구분한다면 먼저 구매 여부로 나누고 그다음에 현금, 신용카드, 기타 등 결제 방법에 따라 3가지로 나눌 수 있습니다. 즉 먼저 '비구매 고객 vs 구매 고객'으로 나누고 그다음 구매 고객을 3개의 세그먼트로 나눠서 총 4개의 세그먼트가 만들어집니다. 이렇게 추가로 나눈 세그먼트들의 객단가를 살펴보거나 재구매율을 비교해 보면 구매 고객에 대해서 더 많은 정보를 얻을 수 있을 겁니다.
반대로 세그먼트를 정의한 다음 그 세그먼트를 코호트로 나눌 수도 있습니다. 예를 들어 지난달 전체 고객 중에 신용카드로 결제한 사람들을 골라서 '신용카드 결제 고객'이라는 세그먼트를 정의합니다. 그런 다음 해당 세그먼트를 11월 주 차별 코호트로 나눠서 분석합니다. 이렇게 하면 11월에 신용카드로 결제한 고객 중 특정 주차에 방문해서 구매한 사람들의 결제 금액이나 구매 건수 등을 비교해 볼 수 있습니다.
코호트와 세그먼트, 이 둘을 구분하지 않고 섞어서 사용하는 이상한(?) 솔루션들도 있으니 참고하세요. 원칙적으로 코호트는 동일한 기간에 동일한 이벤트를 경험한 사람들의 집합이고 세그먼트는 하나 이상의 속성을 공유한 사람들의 집합입니다. 굳이 말하자면 세그먼트가 좀 더 넓은 의미로, 코호트가 더 좁은 의미로 사용된다고 할 수 있습니다.
코호트 분석은 뭉뚱그려서 볼 때는 보이지 않던 데이터를 보다 명확하게 볼 수 있게 도와줍니다. 마치 현미경의 해상도를 높이는 것과 같습니다. 해상도가 높아질수록 더 정확한 분석이 가능하겠죠? 다만 코호트를 세분화하면 할수록 데이터의 수집량도 많아지고 그만큼 분석도 어려워집니다. 그래서 필요에 맞는 적당한 해상도를 선택하는 것이 중요합니다. 제 몸무게의 변화를 측정하려고 하는데 최소 단위가 100kg인 화물차용 저울을 사용하거나 요리할 때 사용하는 미니 저울을 사용해서는 안 되겠죠?
이미 발생한 이벤트의 효과를 사후에 분석하려고 하면 우리가 원하는 데이터를 구하지 못해서 코호트 분석을 할 수 없을 수도 있습니다. 만약 팝업 스토어의 사례에서 유동인구와 내방객의 수를 디지털 솔루션으로 수집하고 있지 않았다면 우리는 퍼널 분석을 하지 못했을 겁니다. 즉 어떤 이벤트의 효과를 측정하고자 한다면 미리 어떤 데이터를 어떤 해상도로 수집해야 하는지를 사전에 정하고 이벤트를 진행해야 합니다.
또는 시간 단위 코호트로 퍼널 분석을 하고자 하는데 유동인구와 내방객의 수를 일 단위로만 집계하고 내방객 기록 데이터를 모두 지워 버렸다면 시간 단위 코호트 분석은 할 수 없을 겁니다. 그래서 당장은 필요 없어 보이는 데이터라고 하더라도 미래의 분석을 위해 일정 기간은 보관하고 있어야 합니다.
코호트 분석은 특정 사용자군의 행동이 다른 비교군에 비해 어떻게 다른지 파악하기 위해 사용합니다.
첫 번째, 우리가 관찰하고자 하는 단위 기간을 코호트로 정하고 변화를 모니터링하기 위해 사용합니다. 예를 들어, 주별 코호트를 만들어서 매장의 성과를 꾸준히 측정하고 있다면 주 단위로 어떤 변화가 발생하는 경우 쉽게 파악할 수 있습니다. 주 단위 코호트에서 이상 징후를 발견한 경우 추가적인 분석을 위해 일 단위 코호트로 더 자세히 들여다볼 수 있겠죠? 주의해야 할 점은 월 단위로 모니터링을 하는 경우 일 단위의 변화는 감지하기 어렵다는 점입니다. 적정한 해상도를 선택해서 모니터링해야 합니다. 모니터링을 하다가 특정 코호트의 구매 전환율이 급격하게 떨어지는 현상을 감지한다면 그 원인을 찾아서 문제를 해결할 수 있습니다. 이렇게 코호트 분석은 변화를 감지해서 문제를 해결할 수 있게 도와줍니다.
두 번째, 특정 사용자군에 대해서 특정 기간 특정한 경험을 주고 그들의 행동이 다른 비교군에 비해 어떻게 달라지는지를 알아보는 방법입니다. 화장품 매장의 사례처럼 팝업 스토어를 경험하도록 하게 하고 그 고객들이 다른 비교군들에 비해 어떻게 다른 구매 행태를 보이는지 분석하는 겁니다. 이 실험을 통해서 우리가 설계한 경험과 긍정적인 결과 간의 상관관계가 존재하는지를 알아보고 싶은 거죠. 만약 좋은 결과가 나왔다면 팝업 스토어를 다시 진행할 수 있겠죠?
캠페인의 성과 측정을 위해 코호트 분석을 이용할 때 흔히 하는 실수들에 대해서 살펴봅시다.
만약 팝업 스토어 행사를 진행하면서 기존에 취급하던 상품도 같이 판매하고 게다가 할인 쿠폰을 나눠주는 행사까지 동시에 진행한다면 어떨까요? 이렇게 2개 이상의 캠페인을 동시에 진행하면 코호트 분석만으로는 각각의 캠페인의 성과를 정확하게 측정할 수 없습니다. 다른 분석 도구가 없고 코호트 분석만을 사용해야 하는 상황이라면 한 번에 하나의 캠페인만을 실행해야 합니다. 초기 스타트업에서 중요한 것은 당장의 매출이나 신규 사용자 획득이 아니라, 실험을 통한 학습이라는 점을 명심해야 합니다. 원인을 제대로 파악하지 못한 채 진행하는 실험은 아무런 의미가 없습니다.
또 다른 흔한 실수는 캠페인이 끝나자마자 결과 분석 보고서를 작성하고 회의 한번 하고 마무리 짓는 겁니다. 모든 회사의 경영진들이 캠페인 결과를 당장 보고 싶어 합니다. 이해는 가지만 조심해야 할 점이 하나 있습니다. 코호트 분석을 통해서 얻은 결과가, 해당 캠페인 때문이 아니라 외부효과 때문일 수 있기 때문입니다. 그래서 해당 캠페인이 끝나자마자 바로 보고서를 작성하는 건 지극히 위험합니다. 반드시 그다음 코호트가 완성될 때까지 기다려서 해당 코호트와 비교한 후 결론을 내야 합니다. 팝업 스토어의 사례에서는 11월 4주 차 코호트와 비교해야 하는 거죠. 더 길게 보면 그다음 달의 3주 차 코호트인 12월 3주 차 코호트와도 비교해 봐야 합니다. 즉 충분한 비교군을 확보해서 캠페인의 성과를 평가해야 합니다. 팝업 스토어 행사가 끝나고 11월 3주 차 코호트가 완성되면 예비 보고서를 작성하고, 11월 4주 차 코호트가 완성되면 결과 보고서를 작성하고, 12월 3주 차 코호트가 완성되면 결과 보고서를 리뷰하고 최종 보고서를 작성하는 방식입니다. 공식적인 보고서 형태가 아니라 메모 수준의 노트라도 좋으니 단계별로 작성하고 수정하는 습관을 들이시기 바랍니다.
만약 11월 4주 차에 또 다른 캠페인을 바로 시작한다면 어떻게 될까요? 비교군 하나가 사라지는 겁니다. 바로 이어서 캠페인을 진행하기보다는 기존 캠페인의 비교군을 충분히 확보해서 기존 캠페인의 성과를 명확하게 분석하는 것을 권장합니다. 이 분석 결과를 바탕으로 새로운 캠페인을 기획하고 진행한다면 더할 나위 없겠지만, 만약 일정이 촉박하고 기존 캠페인의 분석 결과가 새로운 캠페인의 기획에 큰 영향을 미치지 않는다면 11월 4주 차 비교군만 확보하고 바로 12월 1주 차에 새로운 캠페인을 시작할 수도 있습니다.
알쏭달쏭 퀴즈 하나, 남성/여성, 이렇게 2가지로 성별을 나눈다고 할 때 이 조건만으로 코호트를 만들 수 있는 경우는 어떤 경우일까요? 코호트와 세그먼트의 개념을 잘 이해하셨다면 해답을 찾을 수 있을 겁니다. 힌트를 하나 드리자면 동일한 경험에 주목하세요. 아마 답은 하나가 아닐 겁니다.
여러분들은 코호트 분석을 어떻게 사용하고 계신가요? 아직 코호트 분석을 사용하고 있지 않다면 어떤 캠페인의 성과를 측정할 때 코호트 분석을 사용해야겠다는 생각이 드시나요? 이 질문에 대한 자신의 생각을 코멘트로 달아 주세요.
이 영상이 도움이 되셨다면 좋아요와 구독 버튼을 눌러 주세요. 제가 다음 영상을 준비하는데 커다란 힘이 됩니다.
이 영상의 스크립트와 자료는 깃헙를 통해서 크리에이티브 커먼즈 라이센스로 공유하고 있으니 참고해 주세요. 링크는 영상 아래의 description에 있습니다.
궁금하신 점이 있다면 언제나 코멘트로 남겨 주세요.
그럼 다음 시간에 뵐게요.