The problem

<aside> ✅ 이해해야 할 핵심키워드

• student t-test
• a two-tailed test와 the one-tailed test

</aside>

• A/B test를 통해 새로운 publisher가 개선됐는지 확인하기
• new publisher를 통해 메세지 평균 수가 그룹간 달랐는지?
  • student t-test 로 접근
  • a two-tailed test이용(어느 그룹이 어떤 결과를 낼지 몰라서)
  • the one-tailed test가 더 낫다는 주장도 있음
• the product team에서 이 A/B test에 대한 리뷰를 부탁한 상황

The data

• Experiments: control group과 treatment group나누기 위한 테이블
• Normal distribution: 정규분포표 역할 테이블
• 나머지는 이 전과 똑같은 것 같네요 ◠‿◠(행복)

주의해야 할 점

• 측정하는 것(여기서는 posting rates) 자체가 새로운 기능 성공의 지표가 아닐 수 있음
• A/B test의 통계치가 잘못 계산 될 가능성
• 특정 변수때문에 유저가 다르게 treated될 가능성(랜덤성 보장이 안됨)
• 상호작용 효과가 있을 가능성

The result

1-1 Average login

• 유저당 평균 로그인 횟수도 역시 test의 성공을 나타내주는 지표다
• 평균 로그인 수 증가 → 메세지를 더 많이 보낸다, 로그인을 더 많이 한다.
• 야머에선 로그인 빈도를 핵심 가치 지표로 사용