🔎아티클 스터디: A/B 테스트를 완성하는 통계 분석 개념 잡기

 

01 오늘의 아티클

---

팀원들이 안계셔서 팀원들이 읽고 나는 안 읽은 아티클을 선정해서 읽어보려고 함.

p값? 신뢰구간? AB 테스트를 완성하는 통계 분석, 기본 개념 잡기 | 요즘IT

 

02 아티클 요약

---

1. 가설설정

- 귀무가설: 원본 A와 대안 B의 구매율 차이는 없다. (p1 = p2)

- 대립가설: 원본 A와 대안 B의 구매율 차이는 있다. (p1 ≠ p2)

 

2. 표본 크기와 구매율

- 원본 A: n1 = 1000, 구매자 수 = 300, 구매율 p1 = 30%

- 대안 B: n2 = 1000, 구매자 수 = 350, 구매율 p2 = 35%

 

3. 표준 오류 계산

-  두 표본 비율의 차이에 대한 표준 오류(SE)는 다음과 같다.

 

 

4. z-값 계산:두 표본 비율의 차이에 대한 z-값은 다음과 같다.

 

 

5. p-value 계산: z-값을 이용하여 p-value를 찾습니다. 여기서 z = -2.39에 해당하는 p-value는 매우 작다. (정확히 계산하면 약 0.0084)

 

6. 유의 수준: 보통의 유의 수준(α)은 0.05이다. p-value가 0.05보다 작으면, 귀무 가설(H0)을 기각하고 대립 가설(H1)을 채택한다. 여기서 p-value = 0.0084는 0.05보다 작으므로, 우리는 귀무 가설을 기각하고 대안 B의 구매율이 원본 A의 구매율보다 통계적으로 유의미하게 높다고 결론지을 수 있다.

 

7. 결론: 따라서, 원본 A와 대안 B 사이에 유의미한 차이가 없다는 가정하에, 대안 B의 구매율 35%가 관측될 확률이 매우 낮기 때문에, 원본 A와 대안 B는 통계적으로 유의미한 차이를 가지고 있다는 결론을 내릴 수 있다.

 

03 인사이트(1)

---

a. 표준 오류(Standard Error, SE)

- 표본 통계(예: 평균, 비율 등)의 변동성을 나타내는 지표로, 표본 데이터가 얼마나 변할 수 있는지를 보여주는 값이다.

- 조금 더 쉽게 설명하자면, 표준 오류는 여러 번 시험을 봤을 때 평균 점수가 얼마나 흔들릴 수 있는지를 나타내는 값이라고 생각하면 된다.

 

1) 학교에서 수학 시험을 봤고, 학교 전체 평균 점수를 알고 싶다. 그러나 모든 학생의 점수를 조사하기에는 너무 많은 시간이 걸리는 문제가 있다.

2) 그래서 무작위로 30명의 학생을 선택하고 그들의 평균 점수를 계산할 것이다.

3) 여러번 표본을 뽑는다면, 30명의 학생을 무작위로 선택할 때마다 평균 점수는 조금씩 다를 수 있다. 어떤 표본에서는 평균이 70점이 될 수도 있고, 다른 표본에서는 72점이 될 수도 있다.

4) 표준 오류는 이렇게 여러 번 표본을 뽑았을 때, 그 평균 점수들이 얼마나 변동하는지를 나타낸다. 즉, 표본 평균이 실제 전체 평균에서 얼마나 벗어날 수 있는지를 보여주는 지표이다.

 

b. 표준 오류의 계산 및 해석

- 표준 오류(SE)는 표본의 표준 편차(분자)를 표본 크기의 제곱근(분모)으로 나누어서 구합니다.

- 표본의 신뢰성: 표준 오류가 작을수록 표본 평균이 실제 전체 평균에 가까울 가능성이 크다. 따라서 표본 평균이 더 신뢰할 만하다.

- 예를 들어, 두 집단의 평균을 비교할 때 표준 오류를 사용하여 그 차이가 우연히 발생한 것인지 아니면 실제로 유의미한 차이가 있는지를 판단할 수 있다.

- 실제 A/B 테스트에서는 두 그룹의 비율 차이를 비교할 때 표준 오류를 사용한다. 두 그룹의 구매율 차이가 우연히 발생한 것인지, 아니면 실제로 유의미한 차이가 있는지를 판단하기 위해 표준 오류를 계산합니다.

 

04 인사이트(2)

---

a. Z 점수

- Z 점수는 나의 시험 점수가 평균 점수에서 얼마나 떨어져 있는지를 표준 편차 단위로 나타낸 값이다.

- 좀 더 간단히 말하면, 나의 시험 점수가 평균보다 높거나 낮은 정도를 보여주는 숫자이다.

 

1) 만약 수학 시험을 봤을 때, 모든 학생의 점수를 모아서 평균 점수를 계산했다. 평균 점수가 70점이라고 가정한다면, 나의 점수가 85점일 때, 나는 평균보다 높은 점수를 받은 것이다.

2) 표준 편차는 점수가 얼마나 흩어져 있는지를 나타내는 값이다. 예를 들어, 점수들이 평균 주변에 모여 있으면 표준 편차는 작고, 점수들이 널리 퍼져 있으면 표준 편차는 크다. 예를 들어, 표준 편차가 5점이라고 가정한다.

3) Z 점수는 나의 점수가 평균에서 몇 표준 편차 떨어져 있는지를 계산한 값이다. 공식은 다음과 같다.

 

 

4) 나의 시험 점수는 85점, 평균 점수는 70점, 표준 편차는 5점이니까, Z 점수는 3이다.

5) Z 점수가 3이라는 것은 나의 점수가 평균보다 3 표준 편차만큼 높다는 뜻이다.

6) 만약 Z 점수가 -2라면, 나의 점수가 평균보다 2 표준 편차만큼 낮다는 의미이다.

 

b. Z 점수가 중요한 이유

 

1) 비교하기가 쉽다: Z 점수를 사용하면 다른 시험이나 다른 과목에서도 여러분의 성적을 쉽게 비교할 수 있다. 예를 들어, 수학 시험과 영어 시험의 평균과 표준 편차가 다르더라도 Z 점수를 통해 두 시험에서 어느 정도 성적을 올렸는지 비교할 수 있다.

2) 상대적인 위치를 알려준다: Z 점수는 나의 성적이 다른 학생들 사이에서 어떤 위치에 있는지 알려준다. 높은 Z 점수는 여러분이 평균보다 훨씬 잘했다는 것을 의미하고, 낮은 Z 점수는 평균보다 성적이 낮다는 것을 의미한다.

3) 결론: Z 점수는 나의 점수가 평균에서 몇 표준 편차 떨어져 있는지를 보여주는 값이다. 이를 통해 나의 성적이 평균보다 얼마나 높거나 낮은지를 알 수 있고, 다른 시험이나 과목과도 쉽게 비교할 수 있게 된다.