250703 - A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석

https://yozm.wishket.com/magazine/detail/1656/

A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT

[A/B 테스트 제대로 이해하기: 3 A/B테스트 계산기의 세팅과 해석]

 

1.계산은 어디서 어떻게?

-https://abtestguide.com/calc/ ->기초 통계 지식으로 계산기 세팅 및 해석

1)Test Data : 각 그룹의 표본 크기와 그룹별 최종 전환 숫자.

실험을 통해 각 그룹에 모인 트래픽과 그중에서 원하는 결과로 최종전환된 트래픽을 직접 입력.

2)Settings-Hypthesis(선택):

-두 그룹에 차이가 있다는 전제하에, 특정 한쪽이 무조건 우세하다고 생각하고 실험을 할건지

-두 그룹에 차이가 있긴 있는데 어느쪽이 우세할지 모르겠으니 열어놓고 볼건지

3)Settings-confidence:

-신뢰 수준에 몇 %로 설정하는지 묻는 설정. 똑같은 실험 100번 했을 때 그 중 몇번의 우연의 봐줄 것인가?

*세밀한 분석이 필요하면 99%까지 설정할 수 있지만, 보통 95%로 충분

 

2.양측 단측? 검정을 어느쪽으로?

-양측 검정을 진행하는게 조금 더 보수적이고 안전한 접근임.

(단측 검정이었으면 ‘차이가 유의미하지 않다’는 결과가 양측검정에서는 ‘차이가 유의미하다’라는 내용으로 나올 수도 있게 됨)

 

3.결과 해석

-실험결과가 유의미하지 않을 경우(not significant):

‘애초에 두 그룹 사이에 별 차이가 없거나’ 아니면 ‘네가 모아온 그 쥐꼬리만 한 표본으로는 누가 더 나은건지 이게 이번에만 우연인지 아닌지 나도 모르겠어! 라는 메세지를 띄움

 

4.테스트 사이드 세팅은 끝, 그 다음은?

-not significant가 나온다면 이와 같은 고민 해봐야됨→

1)그래서 A와 B사이에는 정말로 차이가 없는가? 이번 기획 아이디어 자체가 망한건가?

2)아니면 차이가 있을수도 있는데, 표본이 부족해서 알 수가 없는건가? 좀 더 길거나 크게 실험해서 표본 트래픽을 더 모으면 되나?

 

[인사이트]

기초 통계지식을 기반으로 A/B테스트 계산기를 세팅하여 이용할 수 있다. 이 경우에 단측검정보다 양측검정을 하는 것이 조금 더 보수적이고 안전한 접근일 수 있다. 실험결과가 유의미하지 않다고 나올 경우, 기획 아이디어 자체가 잘못된건지, 표본이 부족한건지 점검할 필요가 있다.

 

[팀내 의미있었던 의견]

-A/B테스트 가이드 이용사례: https://brunch.co.kr/@herbeauty/54

-A/B테스트 사례: https://busybaby.tistory.com/37

-양측검정이 항상 단측검정보다 효과적일까?에 대한 반박글 : https://w-log.tistory.com/entry/AB-%ED%85%8C%EC%8A%A4%ED%8A%B8%EC%97%90%EC%84%9C%EC%9D%98-%EC%96%91%EC%B8%A1%EA%B2%80%EC%A0%95-vs-%EB%8B%A8%EC%B8%A1%EA%B2%80%EC%A0%95