1) 문제 상황 파악

🙋🏻‍♀️ Yammer의 핵심 기능인 "Publisher" 기능을 개선하기 위해 A/B 테스트를 했다!

<aside> 💡 기간 : 6월 1일 ~ 6월 30일 대상 : Control group(=대조군)에게는 Old version, Test group(=실험군)에게는 New version

</aside>

<aside> 💡 결과 : 7월 1일에 확인해보니, Test group(=실험군)에서 메세지 포스팅이 50% 이상 높다 결론 : 유의미하나, 모든 신규 사용자가 Control group(=대조군)에 있다는 실험적 한계가 있다

</aside>

2) Yammer 주니어들의 쿼리 이해

• 1단계 [ex] 테이블

  experiment 테이블에서 publisher_update가 발생했을 때 user id, experiment group(control / test), 발생 시기 출력

• 2단계 [a] 테이블

  실험 종류, 실험군 종류, 실험 참가 시점, ID, 사용자 활성화 시기, send message 수 (AS metric) 출력

• 3단계 [b] 테이블

  [a] 테이블의 실험군 종류 별로 유저 수와 send message 수, 평균, 합계, 표준편차, 분산 출력

  user = 2014년 6월 ~ 7월에 engagement가 발생한 사용자

• 4단계 [c] 테이블

  [b] 테이블에서 Control group(=대조군)일 때의 값 재출력

  → Contorl group과 Test group을 구분하기 위해서

• 5단계 [최종] 테이블

  각 그룹의 [b] 테이블에서 출력한 값 + 실험군 별 평균값 차이(rate difference), rate difference/control group의 send message 평균(=rate lift), send message의 표준편차, t 값, p 값

3) 쿼리 이해를 위한 통계 Background

🤔 의문 1. 결과 측정 방식이 잘못 되었을 가능성은 없을까?

• t test란?
• p_value란?
• t test한 score로 p_value를 구했는데, 왜 z test score 분포를 참고했을까?

✔️ 결론 : Yammer 주니어가 동시에 사용한 t_stat와 p_value를 통계적으로 신뢰할 수 없다

🤔 의문 2. 정말 랜덤하게 그룹을 나누었을까?