250711 - A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항

https://yozm.wishket.com/magazine/detail/1680/

A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

[A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항]

 

1.표본, 실험의 트래픽은 얼마나 모아야 하는가?

→ 매번 다름 (A안과 B안 사이의 차이가 어느정도 되길 기대하느냐에 따라 다름)

 

2.A/B테스트 수행 과정에서 주의할 점

1)내가 미는 방안이 이길때까지 기다리기 (무작정 트래픽 더 모아보기)

→ 실험을 진행하는 동안 기다리는 것도 팀의 리소스가 소비됨

→ 이번 실험을 하느라 다른 실험이 대기중이라면, 리소스, 트래픽 낭비임

→ 실험에 노출되는건 실제 유저들이므로, 실험기간 동안 방문한 유저 중 절반에게는

상대적으로 안좋은 방안이 계속 노출되는 것과 마찬가지임.

⇒ 통계적 오류는 없을지라도, 결국 원래 목표인 ‘고객에게 더 좋은 방안 제공하기’는 뒷전이 됨. (그 과정에서 비즈니스 리소스를 효율적으로 활용하는 것 역시 놓치게 됨)

 

2)내가 미는 방안이 지기전에 그만두기

-의도적인 오류

 

3)A안과 B안을 다른 날짜에 시작하기

-A/B테스트는 동시간대에 실험을 시작해야 됨

→ 기간의 차이가 있으면 그동안 외부요인이 있었는지 없었는지를 알 수 없음

→ 늦게 시작한 방안에 트래픽이 충분히 모이지 못할 수 있음

 

3.A/B 테스트의 기본이란?

-단순히 비교가 아니라, 고객에게 정말 확실하게, 유의미하게, 더 나은 방안을 제공하고, 이를 통해 서비스를 개선해야됨.

→ A/B테스트 뒤에 숨은 진짜 질문과 이를 구현하고 제대로 이해하기 위한 통계지식, 이를 바탕으로 한 몇가지 주의사항은 꼭 알아야함.

 

[인사이트]

A/B테스트에서 표본은 둘 사이에 차이가 얼마나 나길 원하느냐에 따라 모아야 하는 데이터 양이 달라짐. 그리고 테스트를 수행할때, 이기기 전까지 계속 하거나, 지기 전에 그만두는 것을 경계해야 함. 그리고 A/B테스트의 궁극적인 목적은 단순히 두개를 비교하는게 아니라, 고객에게 더 나은 서비스를 제공하는 것임을 항상 유의해야함.