🔎아티클 스터디: ① A/B 테스트 제대로 이해하기

 

1. 오늘의 아티클(주제)

---

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT (wishket.com)

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

 

2. 아티클 정보 요약

---

겉으로 보기에 우리는 아래와 같은 질문을 던지고 있다고 생각하지만

“목표를 달성하기 위한 방안으로 A안과 B안 중 어느 게 더 효과가 좋은가?”

 

사실 이 질문 속에 숨어있는 진짜 궁금한 점은 따로 있다.

 

🔎우리가 놓치고 있는게 무엇일까?

1) 우리는 암묵적으로 A/B 방안의 결과가 상당히 크길 바란다.

2) 우리는 실험의 진행이 공정하길 바란다.

3) 우리는 이번 실험의 결과가 이례적이거나 우연이 아니길 바란다.

 

🔎아래와 같은 질문에 확답할 수 있는가?

1) 앞으로도 해당 유형의 모든 고객에게 A 또는 B안 중 어느 게 일관성 있게 효과가 좋다고 답할 수 있다.

2) 그리고 이 결과는 정말 A그룹과 B그룹의 차이로 생긴 게 맞다. 확실하게 우연한 결과가 아니다.

 

3. 인사이트

---

1. 트래픽을 절반으로 나눈다.

2. 트래픽을 균등하게 나눈다.

3. 작성한 답변의 수(트래픽)가 정확히 5:5로 나뉘진 않았지만

 

여기서 트래픽을 정확하게 설명해보자.

트래픽이란? 데이터가 네트워크를 통해 이동하는 양이나 과정을 의미한다. 일상에서의 교통 흐름과 비슷하게, 인터넷 트래픽은 웹사이트, 서버, 컴퓨터 네트워크 등을 통해 정보가 전송되는 것을 말한다.

예를 들어, 웹사이트에 방문할 때마다 데이터가 사용자의 컴퓨터와 웹사이트의 서버 사이를 오가며, 이러한 데이터의 이동이 바로 트래픽이다. 많은 사람들이 동시에 같은 웹사이트에 접속하면 트래픽이 증가하게 되고, 이는 웹사이트의 로딩 속도가 느려지는 원인이 될 수도 있다.