🔎아티클 스터디: 고객 중심 프로덕트 개선에 A/B테스트가 필수인 이유

 

1. 오늘의 아티클(주제)

---

고객 중심 프로덕트 개선에 ‘A/B 테스트’ 왜 필수일까? | 요즘IT

 

2. 아티클 정보 요약

---

RCT(randomized controlled trial) 즉, 무작위 통제실험은 1920년대 통제 실험으로 당시의 농업 분야, 1940년대 의학 분야, 그 이후 제조업에서 번영을 이루어냈다. 2000년대에 이르러 온라인까지 공간이 확장되어 지금의 온라인 통제 실험이라고 하는 영역이 만들어진 것이다. 그리고 이러한 온라인 통제 실험의 가장 간단한 형태가 A/B 테스트이다.

 

온라인 통제 실험(online controlled experiments)는 제품의 기능(feature)이나 서비스에 작은 변화를 주어, 지속적으로 테스트하며 제품을 개선해 나가는 방법론이다.

 

계속 오프라인에서 온라인까지 분야가 넓어지는 이유는 결국 기업의 최대 관심사가 '고객이 진정으로 원하는 바가 무엇인가?'를 알아내는 것이기 때문이다. 왜냐? 고려할 수 있는 방법론 중 최선의 방법이 온라인 통제 실험이기 때문이다.

 

왜 최적 표준이 될 수 있는가?는 이 방법론은 고객 반응의 변화가 오로지 '우리가 제품에 준 변화'에 의해 발생한 부분만 측정되어야 하기 때문이다. 이것이 테크 기업에서 고객 중심으로 제품을 개선할 때 A/B 테스트를 활용하는 가장 큰 이유이다.

 

'우리가 제품에 준 변화'에 의해 발생하는 순수한 효과를 측정하기 위한 여러 방법론을 연구하는 영역을 '인과추론'이라고 한다. 무작위 통제 실험(RCT)이 단일 방법론으로서는 최고의 인과추론 수준을 지니고 있다.

 

3. 인사이트

---

1. 모든 기업의 최대 관심은 '고객이 진정으로 원하는 것' 찾기다.

2. 고려할 수 있는 최선의 방법이 무작위 통제 실험이다. (최고의 인과추론 수준을 지님.)

3. 온라인 서비스를 운영하는 기업이 폭발적으로 증가하면서 자연히 분야가 확장되었다.

4. 실험을 통해 고객 경험을 개선하여 수익이 더 높게 창출되는 구조로 이어진다.

5. 이게 기업에서 데이터 기반 의사 결정을 할 때, 온라인 통제 실험을 최우선적으로 고려하는 이유이다.

6. 마소, 구글, 아마존, 넷플, 에어비앤비 등 해외 빅테크 기업이 증명해냈다.

7. 실험 결과의 정확한 측정을 위해서는 실험 사전, 사후에 정교한 통계 분석이 필요하다.

 

💡무작위 통제 실험 > 2000년대 온라인 분야 확장 > 온라인 통제 실험 중 간단한 A/B테스트