Mode Analytics Training [Validating A/B Test Results] 읽기
control group
에게는 기존 기능을, test group
은 신규 기능을 노출시켰다.test group
은 control group
에 비해 메시지 발송기능을 50% 더 사용했다. 일반적으로 user behavior의 이런 극단적인 변화는 정상으로 보지 않는다. 자, 이 결과가 과연 정상적인지 검증해볼까?control group
과 test group
을 포괄하는 의미. 기능의 사용 여부와 관계 없이, 실제로 기존 기능과 신규 기능이 노출된 유저들의 총합인 것이다. 다만 control group
과 test group
의 유저 수가 2:1의 비율이기 때문에, 테스트 데이터이기 때문인 것인지, A/B 테스트의 관행적인 방식인 것인지에 대한 의문이 있었다.rate_difference와 rate_lift 모두 control group 대비 test group의 변화량을 판단하기 위한 값. rate_difference는 단순히 두 그룹의 차이를 보기 위한 값(몇 %p 차이인지?)이고, rate_lift는 증감율을 나타내는 값이다. 즉, control group
에 비해 test group
의 평균이 얼마나 증가 또는 감소했는지를 알려준다.
-- rate_lift: control group을 기준으로 한 test group의 변화율
ROUND((c.average - c.control_average)/c.control_average,4) AS rate_lift
--rate_difference: control group과 test group의 차
ROUND(c.average - c.control_average,4) AS rate_difference,
test group
의 로그인 지표만 상승했다면 '메시지 발송 지표와 연관이 있다고 볼 수 있을까?'라고 의아해 했겠지만, 놀랍게도 Yammer 분석가는 로그인 일수(days)의 상승 여부도 함께 봤다. 로그인 일수의 변화가 없는데 로그인 지표만 상승한 경우 버그로 인한 잦은 로그인/아웃의 가능성이 있을 것이다. 그러나 이번에는 로그인 일수가 같이 상승해 로그인 지표가 건강하게 개선되었음을 증명해주었다.