🔎아티클 스터디: ⑤ A/B 테스트에 적정한 표본과 주의 사항

 

1. 오늘의 아티클(주제)

---

A/B 테스트 제대로 이해하기: ⑤ A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

 

2. 아티클 정보 요약

---

그래서 표본을 얼마만큼 모아야 하는 가? 에 대한 질문을 다르게 바꿔보자면

우리는 A와 B안이 얼마나 차이나길 기대하가? 로 되물어 볼 수 있다.

 

어제도 정리했지만 전환율이 1%의 차이를 보인다고 하더라도 표본의 수가 100,000명이고, 평균 1인당 객단가가 100만원일 때 이 실험에서 매출액의 차이는 10억원에 해당할테니 1%를 무시할 수 없다.

 

이렇게 우리가 기대하는 바를 정했더라도 결국 차이는 실험을 해봐야 안다.

우리가 통제할 수 있는 것은 1. 표본의 크기, 2. 표본을 수집하기 위한 시간 뿐이다.

 

💡수집 과정에서 주의해야 할 사항이 있다.

 

1. 존버는 성공한다? : 표본이 많이 모일수록 근소한 차이라도 유의미할 수 있다를 배웠다. 그럼 이 결과가 유의미해질 때까지 기다리는게 과연 옳은가에 대해서는 다시 생각해봐야 한다. 우리 목표는 고객에게 더 나은 방안을 제공하기 인데 목적을 잃어버리는 실험이 될 수 있으며, 비즈니스 적으로도 비효율적이기 때문이다.

2. 의도적으로 수집을 멈추기? : 이전에는 이기고 있었으나 표본이 모이면서 내가 미는 B안이 질 것 같을 때 표본 수집을 멈추는 것은 우리가 저지를 수 있는 의도적인 실수, 오류이다.

3. A/B테스트의 특징 중 하나는 '동시간대'에 실험을 시작하는 것이다. 어떤 외부적인 요인이 이 실험에 첨가되지 않도록 유의해야 한다.

 

3. 인사이트

---

a. 고객에게 A 또는 B안이 확실하게 유의미하다고 말할 수 있을 것인가?

b. 이 결과가 우연의 일치로 발생한 일이 아니라고 말할 수 있을 것인가?

 

라는 질문으로 다시 돌아와보자. A/B테스트를 위해서 우리는

 

1. 충분한 표본을 모아서 통계 지식을 활용해야 할 것이다.

2. 얼마나 모아야 하는지는 = 내가 얼마의 차이를 기대하는지이다.

3. 실제 표본을 수집할 때, 유의 사항은 위의 요약 내용을 참고한다.

 

그래서 내가 지금 할 수 있는 것은

 

1. 통계 지식을 쌓는다.