<aside> 💡 1. 쿼리에 대한 의문점 ① 쿼리의 INTERVAL 5 MINUTE엔 문제가 없을까? →30초일 때는 큰 차이가 있지만, 1분과 5분, 1일 간격 사이에는 큰 차이가 발견되지 않음 ② 쿼리에 COUNT할 때 DISTINCT가 없어 중복집계 가능성이 있지 않을까? → 오픈율 측정시 중복집계 가능성 (한사람이 2번 본 것을 2명이 봤다고 오해 가능)

2. 데이터에 대한 의문점 ① 5분 내에 열었을 때 어떤 메일을 연 것인지 알 수 없다는 문제 ② Open및 Click through에서 Digest와 Reengagement mail을 구분하지 않아 정확한 분석 어려움

※yammer 분석가의 가정을 따라 분석한 결과 3. digest의 click_rate 하락비율이 눈에 띔 → digest mail내에 링크가 잘못 첨부 되었거나, yammer로 잘 안이어졌거나 등 이슈 가능성 존재

</aside>

• 동료의 분석
• 동료의 쿼리

기존 분석 검토

• 그래프를 통해 Digest Email의 클릭율이 다른 곳에 비해 현저히 낮은 것을 확인
• 이전 테이블의 결론과 연관지어 모바일 앱의 Digest Email 클릭율이 낮아진 것을 알 수 있다.
• 용어를 알아보기 쉽게 쿼리 바꿔봄
  • 코드 정리
• mail 수신 - open - click은 연속적인 흐름

문제제기

1. 5분이라는 설정에 문제는 없을까?

   • 쿼리에서는 이메일이 보내진 후 5분 이내로 열어야 이메일을 연 것으로 간주함

   

   

   

   

   (위 그래프부터 이메일 오픈 5분 이내, 30초 이내, 1분 이내, 1일 이내)

   • 30초일 때는 큰 차이가 있지만, 1분과 5분, 1일 간격 사이에는 큰 차이가 발견되지 않음

   • 분석가의 INTERVAL 5 MINUTE 설정 자체에는 문제가 없다.

   • 현재 데이터 자체에서는 오픈율, 클릭률 설정 자체의 문제가 있는 것으로는 보이지 않는다.

     → 그러나 INTERVAL을 5분으로 설정한 것과 1일로 설정한 것의 클릭률이 소숫점 단위까지 동일한데, 이는 현실세계에서 불가능한 일이다. 가짜 데이터라서 가능한 일일 수도.

   • 그래프에서 Digest Email 자체의 오픈율과 클릭률은 Reengagement 이메일에 비하면 현저히 낮은 편

   • 클릭 건수 역시 오픈 건수에 비하면 현저히 적다 (클릭 건수: 9010 / 오픈 건수: 20459)

   • 5분 내에 열었을 때, 직전에 보내진 이메일을 연 것인지 훨씬 전에 보내진 것을 열었는지 알 수 없다.

   • 5분 내에 Digest email과 Reengagement email이 비슷한 시점으로 왔을 때 실제로 무엇을 열어봤는지 알 수 없다. (오픈율과 CTR을 전체 집계하므로)

   • 같은 이메일을 2번 이상 열거나 클릭할 때 중복집계가 될 수 있다.

     • 쿼리에 DISTINCT가 없음 - 오픈율 측정시 중복집계 가능성 (한사람이 2번 본 것을 2명이 봤다고 오해 가능)

2. email을 open하는데 문제가 있는 것일까?

   

   Open rate 차트 : x축 week, y축 open rate

   • 28일 이후 보면 open 자체에는 큰 문제 없어보인다.

3. open까지 큰 문제가 없었다면 메일 내에 첨부된 링크의 문제인 것일까?

   

   Click rate 차트 : x축 week, y축 click rate

   • 특히 digest의 click_rate 하락비율이 눈에 띈다.