<aside> 💡 [발견한 문제]

• 이메일 클릭률 감소와 Weekly_active_user 감소에는 상관관계가 있다.
• long-time user에게 6월 30일 이후 reengagement 이메일 발송량이 0건이다.

• long-time user: 10 weeks 이전 가입자

[문제 정의 및 검토 요청] 문제 정의 1. 링크 클릭 했는데 집계되지 않는 상황 - 이메일 본문 내에 삽입 된 링크가 잘 연결되는지 확인 - 링크 내에 트래킹 코드가 정상적으로 심어져 있는지 확인 문제 정의 2. 이메일 오픈 후 링크 연결까지 Action이 이루어지지 않는 상황 - 이메일 내용이나 형식에 변경으로 인한 링크 클릭율 하락인지 확인 문제 정의 3. 6월 30일 이후 reengagement 이메일이 발송되지 않은 상황 - reengagement 이메일 발송 대상에서 제외 되었는지 확인 - reengagement 이메일 발송 대상이라면, 자동 발송 시스템에 문제가 있는것인지, 발송은 되고 있으나 트래킹이 안되고 있는것인지 확인

</aside>

• 동료의 분석
• 동료의 쿼리

기존 분석 검토

• 그래프 상에서 이메일 CT가 약 200 떨어짐. 지금까지 이어진 하락 수치와 비슷하므로 이슈의 위치를 정확히 찾아낸 것으로 보인다. CT에서 프로그램으로 진입하는 경로가 손상되었을 기술적 이슈의 가능성이 있어보인다.

발견한 문제

이메일 클릭률과 active 유저의 상관관계

• Reengagement 이메일은 전체 발송의 약 5~6% 차지하며 두가지 이메일 모두 발송량이 꾸준이 증가하는 추세

  

• 이메일 오픈율에는 문제 없지만, 오픈 후 클릭율이 8월 4일 기점으로 이전기간 대비 약 15% 감소 (48% → 32%)

  

• 클릭률이 기존 추세와 동일했다면, weekly_active_user가 어땠을 지 예측해보기

  • email 보정값 추가
  • 이메일 클릭 보정값 - 이메일 클릭 실제값 : (email_opens(8월4일 이후) * email_click_rate(이전기간)%) - (email_clicks (8월 4일 이후))

  

→ 이메일 클릭률이 떨어진 것과 active 유저가 감소한것은 상관관계가 있다. (인과관계는 확인 필요함)

• 이메일 클릭을 어떤 기준으로 트래킹 한걸까?
  • email 링크에 클릭 이벤트를 걸었을까? email 에서 사이트에 로그인한 걸 클릭으로 집계했을까?
• 문제를 예측해보면...
  1. 이메일 클릭율이 감소한 것이 원인 8월 4일 이후 발송된 이메일에 트래킹이 작동하지 않거나, 링크 랜딩이 잘못 되는 등 연결 이슈가 있어 보임
  2. active 감소가 클릭율 감소의 원인 해당 기간에 다른 이유로 인해 이메일 확인 후 직접적 클릭을 통한 접속은 안했을 가능성 (가능성 낮아보임)
  3. 이메일 클릭 형식의 변경 가능성 (테스트)

새롭게 뜯어보기

View Query In Mode

1. email_clickthrough의 링크는 digest메일에 들어있는 링크일까? reengagement mail에 들어있는 링크일까?

   

   Short-time user의 Weekly event counts 그래프 : x축 week , y축 건수

   • 원래 쿼리를 돌려봤을 때와, short time user만 따로 봤을 때도 마찬가지로 clickthrough는 확실히 digest email보다 reengagement email과 결을 같이 함

     → reengagement mail에 digest mail보다 clickthrough할 수 있는 링크가 더 많이 담겨있을 가능성이 있다.

2. long-time user vs short-time user

   • 진짜 long-time user가 메일을 덜 열었을까? 링크를 덜 탔을까?

   

   Long-time user의 Weekly event counts 그래프 : x축 week , y축 건수 (event count)

   

   Short-time user의 Weekly event counts 그래프 : x축 week , y축 건수 (event count)

   → long-time user나 short-time user 모두 7월 28일부터 click through와 mail open 발생 수가 감소한다. 즉, 사용기간 상관없이 7월 28일에는 메일을 통한 마케팅이 부진했을 가능성이 있다.

   → click through의 경우 short-time user의 발생 건수가 잠깐 하락했다가 다시 증가한다. 하지만 long-time user의 click through 발생수는 하락세가 유지되는 경향을 확인할 수 있다.

   • 그럼 digest email이나 engagement email이 덜 간 것 아닐까?

   

   Long-time user의 Weekly event counts 그래프 : x축 week , y축 건수 (event count)

   → reengagement email이 6월 30일부터 0으로 집계되고 있다. 확인이 필요한 부분.

   

   Short-time user의 Weekly event counts 그래프 : x축 week , y축 건수 (event count)

   → 7월 28일을 기점으로 reengagement email의 event 발생 수가 줄기는 했지만 digest email 발생수의 변화량에 비하면 큰 감소는 아니다.

   정리하자면...

   • long-time user에게 7월 28일 약 한 달 전부터 reengagement mail이 가지 않은 것으로 확인된다. 왜 click through rate가 한달 후에 줄었는지, reengagement mail이 가지 않은 것이 click through rate가 감소한 원인인지는 알 수 없다.
   • long-time user의 click through rate가 하락하는 것이 digest email의 문제는 아닌 것으로 추정.