🙋🏽‍♂️ 문제상황

메시지 Publisher을 개선하고자 A/B 테스트를 진행하였을 때 Treatment Group(새로운 버전에 노출된 그룹)이 Control Group(기존 버전에 노출된 그룹)보다 50% 더 높은 메시지 포스팅 수를 보인다.

• 쿼리
• 결과

🥰 들어가기 전에

1. 분석목적

Yammer의 포스팅 기능 개선안 A/B 테스트 결과는 믿을만한 것인가?

[고려해야할 사항들]

• 실험설계에 오류는 없었을까?
  • 비교집단 설정의 객관성
  • 외생변수의 존재
  • 통계처리방식의 타당성 (two-tailed t-test)
  • 가설검증 지표의 적절성
• 결과분석에 오류는 없었을까?
  • 목적에 부합하는 쿼리작성
  • 결과데이터의 적절한 해석

[최종결과]

• 믿을만하다 → 최종배포
• 믿을만하지 않다 → 기획 kill or 실험재설계

2. 실험설계

<aside> 👉 Student's T (t-test): 실험군과 대조군의 결과를 비교하여 유의미한 차이가 있는지 검증할 때 쓰는 방법이다

1. one-tailed: H1 가설이 어느 한 쪽의 평균이 크다 ( H1: u1-u2 >0)
2. two-tailed: H1 가설이 평균에 차이가 있다 (H1: u1-u2 not equal to 0)

</aside>