그룹 과제 (케이스 스터디)

Mode Analytics Training [Validating A/B Test Results] 읽기

• 문제 상황 이해하기
• 문서 안에서 우리가 모르는 개념이 있다면 공유하고 학습 방법 고민하기

우리가 이해한 문제 정의

• Yammer의 "Publisher" 모듈 -메시지 발송 영역- 의 개선된 기능을 릴리즈하기 전, 신규 기능을 테스트하기 위해 A/B 테스트를 진행. 프로덕트 팀은 6월 한 달 간 테스트를 진행했고, 이 기간 동안 control group에게는 기존 기능을, test group은 신규 기능을 노출시켰다.
• 테스트 종료 후 메시지 발송 기능 사용 추이를 관찰해보니, test group은 control group에 비해 메시지 발송기능을 50% 더 사용했다. 일반적으로 user behavior의 이런 극단적인 변화는 정상으로 보지 않는다. 자, 이 결과가 과연 정상적인지 검증해볼까?

우리가 몰라서 논의 하에 합의본 부분

최종 테이블 칼럼 이해

A/B 테스트 대상 유저군의 정의

• treated user는 실제 A/B 테스트 대상이 된 모든 유저를 의미한다. control group과 test group을 포괄하는 의미. 기능의 사용 여부와 관계 없이, 실제로 기존 기능과 신규 기능이 노출된 유저들의 총합인 것이다. 다만 control group과 test group의 유저 수가 2:1의 비율이기 때문에, 테스트 데이터이기 때문인 것인지, A/B 테스트의 관행적인 방식인 것인지에 대한 의문이 있었다.

rate_difference? rate_lift?

• rate_difference와 rate_lift 모두 control group 대비 test group의 변화량을 판단하기 위한 값. rate_difference는 단순히 두 그룹의 차이를 보기 위한 값(몇 %p 차이인지?)이고, rate_lift는 증감율을 나타내는 값이다. 즉, control group에 비해 test group의 평균이 얼마나 증가 또는 감소했는지를 알려준다.

  -- rate_lift: control group을 기준으로 한 test group의 변화율
  ROUND((c.average - c.control_average)/c.control_average,4) AS rate_lift
  
  --rate_difference: control group과 test group의 차
  ROUND(c.average - c.control_average,4) AS rate_difference,
  

다른 지표를 확인해보자 & 로그인 이슈의 가능성

• 이슈가 있는지 파악할 수 있는 다른 지표 하나: Yammer의 핵심 지표인 로그인 빈도 지표 단순히 test group의 로그인 지표만 상승했다면 '메시지 발송 지표와 연관이 있다고 볼 수 있을까?'라고 의아해 했겠지만, 놀랍게도 Yammer 분석가는 로그인 일수(days)의 상승 여부도 함께 봤다. 로그인 일수의 변화가 없는데 로그인 지표만 상승한 경우 버그로 인한 잦은 로그인/아웃의 가능성이 있을 것이다. 그러나 이번에는 로그인 일수가 같이 상승해 로그인 지표가 건강하게 개선되었음을 증명해주었다.

이렇게 하면 낫지 않았을까?

• 3-1 그래프, 그렇게 그렸어야했니?