🔎아티클 스터디: 신뢰할 수 있는 A/B테스트 만들기 첫 단계

 

1. 오늘의 아티클(주제)

---

신뢰할 수 있는 A/B 테스트 만들기: ① 실험 전 단계 | 요즘IT (wishket.com)

신뢰할 수 있는 A/B 테스트 만들기: ① 실험 전 단계 | 요즘IT

 

2. 아티클 정보 요약

---

1) 실험의 라이프 사이클은?

- 가설설정 (실험 전)

- 실험 피쳐 디자인 (실험 전)

- 실험 피쳐 구현 (실험 전)

- 실험 설계 (실험 전)

- 실험 실행 (실험 중)

- 실험 분석 (실험 후)

- 피쳐 적용 or 중단 (실험 후)

 

2) 실험을 설계할 때 고려하는 4요소

- 무작위 추출 단위

- 무작위 추출 단위의 모집단 대상 (타겟팅)

- 트래픽

- 실험기간

＊온라인 실험의 경우, 표본 크기가 트래픽과 실험 기간에 의해 결정된다. 표본의 크기가 커질수록 통계적으로 더 정밀한 실험효과를 얻을 수 있다.

 

3) 산업 표준은 검정력 80%, 유의 수준 5%에 해당한다.

 

4) 실험 전 단계에서 가설을 구체화하여 실험의 성공 지표를 명확히 정의하는 것이 중요하다.

최종 가설을 설계하고 난 뒤에 다음 3가지 물음에 답을 할 수 있어야 한다.

- 비즈니스 문제를 개선하기 위한 아이디어가 무엇인가? = 가설이 무엇인가?

- 이를 통해 어떤 문제를 해결할 수 있는가? = 문제를 정확히 인지했는가?

- 궁극적인 비즈니스 목표는 무엇인가? = 성공 지표를 명확히 정의하였나?

 

3. 인사이트

---

1) 검정력 분석

- 충분한 표본을 확보하여 검정력과 유의 수준을 균형 있게 통제함으로써, 실험 결과가 우연히 발생한 것이 아닌 신뢰할 수 있는 재현성 있는 결과임을 보장해 주는 분석

 

2) 검정력(power)

- A/B 테스트의 두 그룹인 대조군과 실험군 간의 의미 있는 차이가 있음을 올바르게 탐지할 확률

 

3) 유의 수준(significance level)

- 가설 검정 간 발생하는 통계적 오류 중 하나인 1종 오류의 최대 허용값

 

4) CTR(클릭률)이란?

- Click Through Rate의 약자로, 클릭률을 의미한다. 100명이 웹페이지를 방문하여 10명이 광고를 클릭했다면, CTR은 10%가 된다.

 

5) 왜 CTR의 분산을 계산해야 하는가?

- A/B 테스트에서는 두 그룹의 CTR을 비교한다. 이때 각 그룹의 CTR이 얼마나 달라지는지 = 분산을 알아야 결과가 얼마나 신뢰할 수 있는지를 판단할 수 있다.

 

6) 델타 방법이란?

- 델타 방법은 복잡한 지표(예를 들어, CTR)의 분산을 계산할 때 사용하는 수학적 기법이다. 직접 계산하기 어려운 분산을 간단한 방법으로 추정할 수 있게 돕는다. 델타 방법을 사용하면 CTR의 분산을 더 정확하게 추정할 수 있어서, A/B 테스트의 결과가 신뢰할 수 있는지 더 잘 판단이 가능하다.

 

7) A/A 테스트

A/B테스트 전 단계에서 실행하는데, 내가 이 실험 조건을 정확히 통제하고 있는가, 동일하게 맞출 수 있는가에 대한 실험