Percent of Sessions with Search Runs and Autocompletes

• 동료의 분석 내용: 유저는 매주 세션 내에서 Autocomplete(자동완성)을 약 25%, Search Run(검색 결과 페이지로 이동)을 약 8%의 비중으로 이용한다.

• 쿼리 해석:
  • 첫 번째 그래프
  • 두 번째 그래프
• 동료의 분석은: (1) 타당하다 각 주간 세션 별로 자동완성 갯수와 전체 검색 갯수를 카운트해 격차를 본 뒤, 인게이지먼트 내 차지하는 비중을 보기 위해 다시 쿼리를 돌렸다. 검색 기능 개선의 필요성을 확인하려면 먼저 전체 인게이지먼트 중 검색이 실제로 어느 정도의 비중을 차지하는지, 개선에 의미가 있을 정도로 유저가 사용하는지 봐야 한다는 점에서 타당하다. 전체 활동 중 총 33%, 1/3의 수준이라면 무시할 수 없는 수준이라고 본다.
• 동료의 분석은: (2) 조금 아쉽다 두 번째 그래프는 비율을 비교하려는 의도이기 때문에, 기간 내 큰 차이를 보이지 않았다면 기간 없이 원형 그래프로 표현했어도 좋을 것 같다. 기간을 보여주려는 분명한 의도가 있다면 누적 바 그래프도 비율을 보여줄 수 있다.

Number of Sessions with Autocompletes & Runs (희경)

• 동료의 분석 내용

  • 자동완성은 보통 세션당 1-2번 사용된다.

    

  • 사용자가 전체 검색(full search)을 할 때, 보통 한 세션 내에서 여러 번의 검색을 한다. 전체 검색이 더 적게 사용되는 것을 고려할 때, 이는 검색 결과가 별로 좋지 않거나 검색을 좋아해서 항상 검색하는 매우 적은 사용자가 있음을 시사.

    

• 쿼리 해석:

  • 첫번째 그래프
  • 두번째 그래프

• 동료의 분석은: 타당하다 조금 아쉽다

  1. 앞서 그래프에서 자동완성과 전체검색의 비율에서 차이를 보인다. 그러므로 한 세션 내 자동완성과 전체 검색의 개수를 따로 카운트 해서 둘의 차이를 살펴볼 수 있다.
  2. 동료의 쿼리에서 오류나 문제가 발견되지 않았으며, 데이터를 추출한 과정 역시 타당한 것으로 평가된다.
  3. 자동완성은 1회가 가장 많고 2회부터 1/2 이하로 줄어드는 반면, 전체 검색은 2-3회도 1회와 비슷하거나 많은 수준이다. 이를 바탕으로 자동완성은 제대로 기능하는 반면 전체 검색의 기능이 떨어지는 편이라는 동료의 분석은 타당하다. 하지만, 소수의 사용자가 검색을 좋아하고 항상 할 것이라는 분석에는 근거가 빈약하다.

  (제안)

  한 세션 내에서 자동완성과 전체검색이 함께 나타나는지 확인한다면, 어느 쪽에 문제가 있는지 더 명확히 드러날 것이다.

Clicks per Session With at Least One Search Run Average Clicks per Session by Searches per Session

• 동료의 분석 내용:

  (1) 검색 기능이 잘 작동하지 않는 것이 분명하다. 검색 세션에서, 사용자는 거의 결과를 클릭하지 않는다.

  

  (2) 평균적으로 세션에서 더 많은 검색을 해도 더 많은 수의 클릭으로 이어지지 않는다.

  

• 쿼리 해석:

  • 첫 번째 그래프
  • 두 번째 그래프

• 동료의 분석은:

  (1) 타당하다

  검색 기능이 작동한 이후(runs>0)의 클릭 수를 추출해 각각의 클릭 수당 몇 개의 세션이 해당하는지 확인한 쿼리이다. 검색 기능이 고객이 필요로하는 정보를 제공한다면 유효 클릭이 있어야 하나, 현실은 0회 클릭이 가장 많다. 따라서 검색 기능이 잘 작동하지 않는다고 분석한 동료의 분석은 타당하다.

  (2) 조금 아쉽다

  Number of Sessions with Runs 그래프와 함께 다른 형태의 그래프로 시각화했어야 했다. 극소수의 케이스를 일반적인 케이스처럼 보여줘서 오해할 소지가 있다.

  

  

  • 시각화

Clicks by Search Result

• 동료의 분석 내용:

  검색 결과를 클릭했을 때, 검색 결과 순서에 상관없이 비슷하게 클릭하는 것으로 보아 검색 결과 순서가 별로 좋지 않은 것으로 보인다. 검색이 잘 작동했다면 상단의 2-3개의 결과로 클릭이 집중되어야 한다.

  

• 쿼리 해석

  -- 클릭이 발생한 이벤트 중 실제 어떤 결과를 클릭했는지 집계
  SELECT TRIM('search_click_result_' FROM event_name)::INT AS search_result,
         COUNT(*) AS clicks
    FROM tutorial.yammer_events
   WHERE event_name LIKE 'search_click_%'
   GROUP BY 1
   ORDER BY 1
  

• 동료의 분석은: 조금 아쉽다

• 검색 결과 페이지에서 세션 별로 처음 클릭한 페이지가 몇 번째 였는지 보면 이 질문에 대해 더 잘 알 수 있지 않았을까?

• 몇번째 게시물에서 원하는 결과를 찾았는지 어떻게 알 수 있을까?

Sessions with Search Runs Autocompletes in Month after Users' First Search

• 동료의 분석 내용: 'search_run' 이벤트 발생한 User 보다, 'search_autocomplete' 이벤트 발생한 User가 처음 이벤트 발생 후 한달이내 같은 이벤트를 더 많이 발생시킴

  → search_autocomplete 이 더 활발히 사용되고 있음

  (1) full search를 한 사람은 다음달에 full search안함

  

  (2) autocomplete검색 한 사람은 다음달에 높은 비율로 autocomplete 계속 사용함

  

• 쿼리 해석:

  • 첫 번째 그래프, 쿼리 인덴트 정리
  • 두 번째 그래프, 첫번째와 동일 & 'search_run' → 'search_autocomplete'

  서브쿼리 정리

• 동료의 분석은: 타당하다 조금 아쉽다

  autocomplete는 a higher rate로 쓰인다고 했는데, 절대적 수치의 그래프만 있을 뿐 비교할 대상 or 비율 수치가 없다. 아래의 데이터를 함께 보여주었으면 한다.

  1. 처음 'search_run' or 'search_autocomplete' 이벤트 발생 후 한달이내에 같은 이벤트를 0회 발생시킨 세션 수
  2. 0회를 추가한 그래프에서 각각 전체 대상자 중 차지하는 비율 (%)