🔎아티클 스터디: A/B테스트, 가설검정(유의성 검정)

 

1. 오늘의 아티클(주제)

---

(5) DSforS : Chap 3 통계적 실험과 유의성 검정 3.1 ~ 3.3.

 

2. 아티클 정보 요약

---

1) 귀무가설: 일반적으로 모두가 알고 있는 사실, 참이라고 믿는 가설이다.

2) 대립가설: 새로운 가설

3) 대조군(control group): 아무런 처리를 하지 않은 집단(~ treatment)

4) 실험군(treatment group): 특정 처리에 노출된 집단

 

5) p-value: 귀무가설이 참일 때, 관찰된 데이터나 그보다 극단적인 데이터를 얻을 확률이다.

- 일반적으로 p-value가 작을수록 (보통 0.05보다 작을 때) 귀무가설을 기각하고 대립가설을 채택한다.

- 달리 말해, 유의 수준보다 높을 수록 대립가설이 기각 사항이며 실험결과는 우연일 확률이 높다.

- (= 대립 가설은 통계적으로 유의미하지 않다, 데이터가 귀무가설을 충분히 지지한다.)

 

5) 유의성 검정: 유의 수준(α)은 귀무가설을 기각할 기준 점이다. 일반적으로 0.05를 사용한다.

 

3. 인사이트

---

1) t-통계량
- t-검정에서 계산된 값으로, 두 집단의 평균 차이가 표준 오차의 몇 배인지 나타낸다.
- t-통계량이 클수록 두 집단 간의 차이가 더 크다는 것을 의미한다.

 

2) 카이제곱 통계량

- 카이제곱 통계량이 높을수록, 관찰된 빈도와 기대 빈도 간의 차이가 크다는 것을 의미한다.

 

3) 연속형 데이터 유형은 t검정, 범주형 데이터 유형은 카이제곱검정을 사용한다.

 

4) 데이터의 특성에 따라, 두 검정을 함께 사용하여 더 종합적이고 신뢰성 있는 결론을 도출할 수 있다.