A/B 테스트 결과 발표: 계산 예시와 6장 구성

실험 결과 발표에서는 세 가지 질문에 답할 수 있어야 합니다. 비교를 믿을 수 있는가, 실제 효과는 어느 정도일 수 있는가, 그 결과로 어떤 결정을 내릴 것인가입니다. 전환율이 높아졌다는 사실만으로는 세 질문에 모두 답할 수 없습니다. 권고안과 결과를 함께 제시한 뒤, 이를 뒷받침하는 실험 설계와 계산을 설명하세요.

이 글은 하나의 가상 A/B 테스트를 끝까지 따라갑니다. 예약 소프트웨어 팀이 초기 설정 절차를 줄이는 사례입니다. 아래의 참여자 수, 결과, 결정은 모두 설명을 위해 만든 것이며 Presenti의 실험이나 고객 성과가 아닙니다. 관측된 개선 폭은 매력적으로 보이지만, 팀이 미리 정한 출시 기준은 충족하지 못합니다.

분석을 승인받은 뒤에는 Presenti의 텍스트를 프레젠테이션으로 만드는 기능으로 발표 개요를 편집 가능한 슬라이드 초안으로 옮길 수 있습니다. 승인된 수치와 해석상의 한계를 함께 입력하세요. 슬라이드 초안은 분석을 설명하는 자료이지, 실험 분석을 대신하는 도구가 아닙니다.

차트보다 먼저 결정할 사항과 실험 조건을 제시하세요

가상의 팀은 초기 설정을 마치는 신규 사용자를 늘리려 합니다. 변경안은 온보딩에서 선택 질문 두 개를 빼는 것입니다. 질문을 줄이면 부담이 낮아져, 실험 대상 신규 사용자 중 배정 후 7일 안에 설정을 완료하는 비율이 높아질 것이라는 가설입니다. 결정할 사항은 대상 사용자 전체에게 기존 절차 대신 짧아진 절차를 적용할지입니다. 어느 화면이 더 보기 좋은지 고르는 자리가 아닙니다.

무작위 배정이 중요한 이유는 사용자가 자신이 받을 버전을 선택하지 않기 때문입니다. NIST의 완전 무작위 설계 설명은 실험 단위에 처리를 무작위로 배정하는 방법을 다룹니다. 변경 전후 비교나 새 절차를 자발적으로 선택한 사람과의 비교라면 편향을 별도로 설명해야 하며, 같은 수준의 인과적 해석을 할 수 없습니다.

이 사례에서는 결과를 보기 전에 간단한 출시 규칙을 합의했습니다. 완료율 증가의 추정치는 최소 2%p여야 하고, 양측 95% 신뢰구간 전체가 0보다 커야 하며, 지원 문의 증가의 상한은 1%p보다 작아야 합니다. 이는 의사결정 규칙을 보여 주기 위한 기준이지, 모든 A/B 테스트의 표준은 아닙니다. 실제 계획에는 적절한 표본 크기 계산과 결과 확인 전에 합의한 분석 방법도 필요합니다.

배정된 사용자를 분모에서 빼지 마세요

백분율보다 먼저 인원수를 보여 주세요. 가상 데이터에서는 각 그룹에 2,000명이 배정됐습니다. 설정 도중 이탈한 사용자도 분모에 남아야 합니다. 마지막 단계에 도달한 사람만을 분모로 삼으면, 축약 절차로 바꾸려던 행동 자체가 분석에서 빠집니다.

이 사례는 이벤트가 정확히 수집되고, 결과 기록에 누락이 없으며, 관측값이 서로 독립적이라고 가정합니다. 실제 분석에서 완료 이벤트가 없다는 사실을 미완료로 해석하려면 측정 시스템이 정상적으로 작동했어야 합니다. 수집 장애, 추적되지 않은 기기, 사용자 식별자 연결 오류를 자동으로 0으로 처리하면 안 됩니다. 버전마다 결과 수집 방식이나 상태가 다르다면, 먼저 그 문제를 해결한 뒤 비율 차이를 해석하세요.

표 옆에는 배정과 제외 기준의 점검 결과도 제시하세요. Microsoft의 표본 비율 불일치 연구는 예상과 다른 배정 비율이 실험 데이터 문제의 신호일 수 있음을 설명합니다. 여기서 두 그룹의 인원수가 같은 것은 설명의 편의를 위한 설정입니다. 인원수가 같다고 해서 배정, 로그, 자격 기준이 모두 정확했다는 뜻은 아닙니다. 배정된 사용자가 참여하지 않았다는 이유만으로 나중에 제외해서도 안 됩니다.

절대 변화량과 불확실성을 함께 보여 주세요

완료율 결과는 두 방식으로 정확히 표현할 수 있습니다. 43.0%에서 40.0%를 빼면 3.0%p 증가이고, 3.0을 40.0으로 나누면 상대적으로 7.5% 증가입니다. 먼저 %p 차이를 말하고 기존 비율도 함께 보여 주세요. “7.5% 상승”만 적으면 출발점이 가려지고, 7.5%p가 오른 것으로 오해하기 쉽습니다.

계산 예시에는 Penn State의 두 모집단 모수 비교 강의에서 설명하는 독립적인 두 비율의 정규근사 신뢰구간을 사용합니다. 추정 표준오차는 [0.43 × 0.57 / 2,000 + 0.40 × 0.60 / 2,000]의 제곱근으로, 약 0.01557입니다. 차이인 0.03에 표준오차의 1.96배를 더하고 빼면, 반올림한 근사 95% 신뢰구간은 −0.1~+6.1%p입니다.

이는 서로 독립적인 이진 결과이고 두 그룹 모두 성공과 실패 건수가 충분한, 의도적으로 단순화한 사례에 맞는 계산입니다. 반복 세션, 계정 집단 단위의 무작위 배정, 드문 사건, 순차 설계에 그대로 대입하는 공식은 아닙니다. 실제 실험에는 승인된 분석 방법으로 구한 구간을 사용하세요.

주요 차트에는 완료율 차이 +3.0을 점으로 표시하고, −0.1~+6.1 구간, 0 기준선, 별도의 실무 목표 +2%p를 함께 그리세요. 축 이름은 “완료율 변화(%p)”로 적습니다. 43% 자체를 효과 크기로 표시하거나, 두 막대의 축을 잘라 작은 차이를 크게 보이게 만들지 마세요.

구간이 0을 가로지른다고 효과가 없다는 뜻은 아닙니다. 이 계산은 개선이 거의 없거나 없는 경우와, 의미 있는 개선이 있는 경우 모두와 양립합니다. 반대로 점추정치가 양수라고 해서 긍정적인 효과가 확정되는 것도 아닙니다. 지원 결과 역시 “추가 부담 없음”을 입증하지 않습니다. 불확실성의 범위가 팀이 정한 허용치를 넘기 때문입니다.

서로 다른 해석을 부록에 숨기지 말고 논의하세요

결과에 세 가지 반응이 나왔다고 해 보겠습니다. 마케팅 담당자는 “온보딩 7.5% 개선”을 알리고 싶어 합니다. 분석가는 효과가 없었다고 말합니다. 제품 관리자는 유의해질 때까지 테스트를 계속하자고 제안합니다. 발표에서는 각 반응에 담긴 타당한 관심사와 데이터가 지지하는 결론을 구분해야 합니다.

적절한 방법을 쓰면 지속적으로 모니터링할 수 있습니다. 그러나 일반적인 고정 기간 의사결정 규칙을 계속 반복 적용하는 것과는 다릅니다. Microsoft Research의 적절한 중단 규칙에 관한 연구는 분석 방법과 중단 정책을 함께 설계해야 하는 이유를 설명합니다.

하위 그룹도 같은 원칙으로 다뤄야 합니다. 모바일 사용자에게 더 큰 효과가 보인다면, 그 비교가 사전에 계획됐는지, 얼마나 많은 분류를 살펴봤는지 밝히세요. 탐색적 분석은 후속 가설의 단서가 될 수 있지만, 제목을 유리하게 만들기 위해 주요 결과를 슬쩍 대체해서는 안 됩니다.

승인된 분석을 6장짜리 발표 자료로 구성하세요

아래 구성을 작업용 틀로 활용하세요. 슬라이드마다 역할이 다릅니다. 첫 장은 권고안을 제시하고, 뒤의 장들은 회의 중 스프레드시트를 뒤지지 않아도 그 권고의 근거를 검토할 수 있게 합니다.

원본 분석, 지표 정의, 배정 진단은 발표의 근거 자료로 첨부하세요. 슬라이드에 모든 행을 표시할 필요는 없지만, 핵심 수치가 승인된 분석 버전의 어디에서 나왔는지 추적할 수 있어야 합니다. AI로 초안을 만들 때는 “가상 예시”, 두 분모, 두 신뢰구간, 출시 규칙을 입력에 포함하세요. 결과 문장에서 부정 표현이 빠졌는지, 단위가 바뀌었는지, 없던 결론이 생겼는지 확인합니다.

이 결과가 뒷받침하는 다음 행동을 기록하세요

이 가상 테스트의 회의 기록은 다음과 같습니다. 기존 설정 절차를 유지한다. 완료율 개선이 입증됐다거나 지원 가드레일을 통과했다고 주장하지 않는다. 다음 출시 결정 전에 분석가와 지원 책임자가 후속 연구를 제안하도록 한다. 안내 문구를 바꾸어 시험하거나 더 작은 효과를 구분할 수 있도록 연구할 수는 있습니다. 다만 새 결과를 보기 전에 질문, 표본 크기, 측정 방법, 중단 규칙을 정해야 합니다.

팀이 왜 그 행동을 선택했는지 설명할 수 있어야 실험 결과를 제대로 전달한 것입니다. 설득력 있는 실험 발표는 불확실한 결과를 확실한 것처럼 포장하지 않습니다. 근거, 사업상 판단 기준, 아직 남은 선택을 한 화면에서 볼 수 있게 합니다.