250708 - A/B 테스트 제대로 이해하기: 4 A/B 테스트 표본 크기와 유의미한 결과의 관계

 

https://yozm.wishket.com/magazine/detail/1667/

A/B 테스트 제대로 이해하기: 4 A/B 테스트 표본 크기와 유의미한 결과의 관계 | 요즘IT

 

[A/B 테스트 제대로 이해하기: 4 A/B 테스트 표본 크기와 유의미한 결과의 관계]

• 표본(트래픽) 사이즈와 결과의 관계

-표본은 많으면 많을수록 좋음 (ex.대통령 선거-최대한 많은 인원에게 물어보는게 나음)

-표본이 많으면 많을수록 A와 B의 결과 차이가 적더라도 유의미하다고 인정해줌

 

-사례(전환율)

직관: 100000명끼리 비교해서 차이가 고작 0.2%p 수준이다

통계: 0.2%p 차이밖에 없더라도 표본이 100000명이나 되니 이정도면 충분하고, 우연이라고 볼 수 없음 (유의미한 결과)

→단순히 비율을 비교하는게 아니라, 이 비율의 차이가 정말로 믿을 수 있는 결과인지, 다른 경우에도 반복되어 우연이 아니란걸 증명할 수 있는지 알고싶은 것

⇒ 두 그릅의 차이가 아무리 적어도 표본만 크면 충분히 유의미할 수 있음

 

[인사이트]

A/B테스트를 수행할 때, 두 그룹간의 결과가 크게 차이나지 않더라도, 표본이 충분히 많으면 유의미한 결과일 가능성이 높다. 데이터 분석가는 각 그룹의 차이를 비교하기 전에, 해당 결과가 믿을 수 있는 정보인지부터 먼저 검토해야한다.