[세션] 분석적 사고력 훈련 2회차 - 가설을 테스트 가능한 형태로 변형하기

2회차: 가설을 세우고 테스트 가능한 형태로 변형하기

 

팀장: "오늘따라 이탈률이 10%나 높네요. 원인이 뭘까요?"

- 가설1: 음 날씨가 흐려서? -> NO actionable

- 가설2: 요즘 앱이 느려져서 -> NO specific

- 가설3: 경쟁사 앱이 더 좋아서 -> NO specific

 

좋은 가설은 검증이 가능하고, 행동으로 이어져야 함!!!

 

좋은 가설의 3가지 조건 : RSA

✔️ Relevant (비즈니스 목표와 관련 있는가?)

• 조직의 핵심 목표(KPI, OKR) 달성에 중요한가?

✔️ Specific (구체적인가?)

• 누가, 무엇을, 어떻게 했는지 명확하고 측정 가능해야 함

✔️ Actionable (실행 가능한가?)

• 세운 가설이 맞거나 아닐 때 우리가 다음에 해야할 행동이 명확해야 함

관련성이 없으면, 리소스를 낭비하게 됨

"우리 앱의 '설정 > 개인정보 처리방침' 페이지 아이콘을 🧒 에서 🔐 로 바꾸면, 해당 페이지 진입률이 최대 20% 증가할 것 이다."  ➡️  '개인정보 처리방침' 진입률은 우리의 비즈니스 목표와는 관련이 없음 ❌ 

- 가설이 Specific하고 Actionable 하거나 검증에 성공하더라도,,,
- 비즈니스 임팩트가 거의 없는 우선순위가 낮은 가설이다.

---

가설 고쳐 쓰기

before 가설
"새로운 UI 디자인은 사용자 경험을 향상 시킬 것이다."

 

이렇게 고쳐볼 것(RSA 고려해서)

after 가설
"메인 페이지의 '구매하기' CTA 버튼 색상을 파란색에서 주황색으로 바꾸면, 신규 방문 유저의 구매 전환율이 기존(파란색)안 보다 유의미하게 높을 것이다."

---

가설 검증 하기

이제 증명!! "이 변화(원인)로 이 결과(효과)가 나타났다"

- 가장 기본 : 대조군(A) vs 실험군(B) 비교

 

Gold Standard : A/B 테스트 (RCTs)

사용자를 랜덤으로 A/B 그룹에 나눠서 Bias(편향)없이 인과관계를 증명

i.e. 모델, UI, 프로모션, 로직 등 거의 모든 것

만약 A/B 테스트를 못한다면?
1. 물리적/윤리적으로 불가능한 경우 (즉, 일부러 또는 고의로 상황을 적용할 수 없는 경우)
예. "흡연이 건강에 미치는 영향" | "심각한 버그가 이탈률에 미치는 영향"

2. 이미 '원해서 선택'한 경우(Self-Selection Bias)
예. "우리 서비스 유로 멤버십의 구매 증진 효과
     ✔️ 원해서 가입한 사람은 원래 구매의향이 높고, 서비스 충성도가 높은 사람 ( 편향이 커짐 )

 

Alternative: 인과 추론(Casual Inference)

이미 관찰된 데이터만으로 공정한 비교를 할 수 있도록 보정하는 기법

예시. Propensity Score Matching (PSM)
"멤버십 가입료가 증가했다" 라고 가정할 때
: 원래 성향이 거의 똑같은 '유료 가입자들'과 '무료 유저들'를 찍지어 비교(20대여성, 가입시기 비슷, 방문횟수 비슷)
-> 구매력 비교

- 정책 시행 전후 변화량 비교
- 특정 cut-off 바로 양옆에 있는 그룹 비교
- 여러 비교군을 조합하여 control 그룹 생성

 

 

🤔 주니어가 가장 많이 하는 실수

: EDA(탐색적 데이터 분석)의 함정

상황	함정1. 섣부른 interpretation	함정2. 잘못된 action
EDA를 통해 엄청난 인사이트를 발견함 구독자 중 1020대 비율이 4050대 보다 월등히 높음	와 10-20대가 우리 서비스를 더 좋아한다는 뜻이네	10-20대 에게 마케팅 예산을 집중해야 한다.

 

👿 Devil's Advocate(악마의 변호인)

" 이거는 상관관계이지, 인과관계가 아니다!!!"

 

🚨 반박 논리

- 애초에 우리 앱 전체 사용자 중 10-20대가 대부분인 건 아닐지?

- 혹시 1020대가 그냥 모바일 총 사용 시간 자체가 길어서 광고에 노출이 많아서 구독이 높은 건 아닐지?

- 서비스를 좋아해서가 아니라 광고에 더 민감해서(다른 원인) 광고를 피하려고 구독한건 아닌지?

- 1020대는 부모님 카드로 결제해서, 실제 사용자가 아닌 결제명의 기준으로 잘못 집계된 건 아닌지?

 

EDA: 분석가의 접근법

EDA에서 발견한 인사이트는 "답"이 아니라 "새로운 질문" 이다!!

올바른 접근: 새로운 질문!!! 이를 바탕으로 즉시 검증 가능한 RSA 가설을 만든다.

(예시)

"1020대 신규 유저 구독 전환을 가속화하기 위해, 기존에 없는 첫 달 50% 할인 프로모션을 주면 프로모션을 받지 않은 1020대보다 구독 전환율이 유의미하게 높을 것이다."

---

✍️ 2회차 정리
1. RAS 프레임워크로 생각
2. 가설은 A/B테스트가 이상적이나, 없을 경우 인과추론 해보기
3. Devil's Advocate (반박논리) -> 새로운 질문하기!

 

* twyman's law? 분석인사이트가 너무 좋게나오면 한번씩 의심해보는 게 좋음

 

 

다음 세션 

3회차 : 문제의 원인 찾는 방법 학습