다루는 작업은 네 가지뿐입니다. 주제 클러스터 설계, 키워드 의도 매핑, 콘텐츠 갭 감사, 내부 링크 구조 정비. 네 작업 모두 기준선과 표본 크기를 먼저 정의한 뒤 시작합니다. 평균이 아닌 분위수로 보고합니다.
독자 여정의 분기점에서 어떤 링크가 회수율이 높은지 회귀로 봅니다. 분기점별 클릭률 회귀 모델로 정렬한 뒤, 상위 다섯 자리를 그 분기의 작업 목록에 올립니다. 측정 오차가 큰 자리는 표본을 더 모은 뒤 다시 봅니다.
기준선부터 보고까지 12주 한 분기.
도입 전 8주의 표본을 기준선으로 잡습니다. 표본 크기와 검정력을 같이 명시합니다. 기준선 없는 작업은 시작하지 않습니다.
한 분기에 가설 하나만 적습니다. 보조 지표 두 개를 함께 정의해, 가설 외 변동이 측정 오차인지 신호인지 분리합니다.
주간 보고서에 25·50·75분위가 같이 들어갑니다. 의도와 다른 결과도 같은 분량으로 적어 다음 분기 가설의 근거로 둡니다.
고객 보고서에서
키워드 297개의 도달 분포를 매주 다시 그려 주셨는데, 처음엔 한 장 한 장이 무겁다 했습니다. 한 분기 지나니 그게 가장 정직한 보고서였습니다. 평균만 적었을 때 못 본 꼬리가 그제야 보였습니다.
"기준선을 먼저 잡고 가설을 한 줄로 적는 방식이 우리 분석팀의 표준이 됐습니다. 회귀 결과를 그대로 다음 분기 작업 목록에 옮길 수 있었습니다."
"콘텐츠 갭 감사 결과가 분위수로 정렬돼 있어서, 어디부터 손댈지가 명확했습니다. 하위 분위수의 페이지를 먼저 손본 뒤 12주차 중앙값이 +11pp 움직였습니다."
"측정 오차 ±1.2pp 를 보정한 수치만 사례에 적어 주셔서, 내부 보고에 그대로 인용할 수 있었습니다. 과장이 없으니 임원 미팅에서도 같이 신뢰가 갔습니다."