키워드 순위 평균은 의미가 없습니다. 의미 있는 건 중앙값과 분포의 모양입니다. 우리는 한 분기에 한 가설만 검정하고, 그 외 작업은 보조 지표로 분리합니다. 작년 159건의 실험 중 41% 가 의도와 다른 결과를 줬고, 그 41% 가 다음 분기의 가설을 만들었습니다.
9년간 쌓인 표본, 정상화 기준
이 표본 안에서 분위수와 리프트를 계산합니다. 외부 비교 데이터는 정상화 후에만 인용합니다.
허브-가지 구조의 클러스터. 클러스터 간 회귀와 콘텐츠 갭 점수를 분기마다 재계산합니다.
기준선 대비 월 중앙값 리프트. 측정 오차 ±1.2pp 를 보정한 수치입니다.
"중앙값과 분위수로 트래픽을 보기 시작한 뒤로 주간 미팅이 짧아졌습니다. 평균을 두고 다투던 시간이 사라졌습니다."
"기대보다 낮은 결과를 같은 분량으로 적어 주셔서 처음엔 당황했습니다. 분기 끝에 보니 그 부분이 다음 가설의 근거였습니다."
"콘텐츠 갭 점수를 분위수로 정렬해 주셔서, 어디부터 손대야 할지가 분기 첫 주에 정해졌습니다."
보고서는 결론 한 줄로 시작합니다. 근거 분포가 그 다음, 표본 크기와 검정력의 한계가 마지막. 한계를 적지 않은 보고서는 보내지 않습니다.
작업 흐름 보기 → →한 번의 리프트는 표본일 뿐입니다. 두 번째 분기에 같은 방향으로 재현된 결과만 사례에 적습니다. 검정력이 부족한 사례는 사례 페이지에 올리지 않습니다.
방법론 보기 → →