[데이터분석] A/B 테스트 절차 정리
A/B 테스트 절차 정리하기. 어떤데에 쓰이고 어떻게 결론내는가에 초점
A/B 테스트 절차 정리해보고, 참고 블로그가 너무 잘 정리해놓고 코드도 정리 잘 해놓으셔서 나중에 내가 보고 이해할수 있게 정리
광고A와 광고B 클릭율 A/B테스트 해보기
- 베이지안 추론 과정 설계
- 이전에 갖고 있던 사전지식(Prior)과 수집한 데이터(Likelihood)를 가지고, 광고A와 광고B 중 어떤 것이 실제로 전환율이 더 높은지를 베타 분포에 기반하여 추론
- 아무런 정보가 없다고 생각해서 Beta(1,1)로 시작(=균등분포 Uniform(0,1)과 같다)
- 가능도함수 : 이항분포, 사전분포 : 베타분포
- 사후분포도 베타분포 (사전 = 사후 같은 분포를 켤레성을 띤다고 말함)
- 실험 순서
- 그룹별로 10회 학습 했다고 가정하면 예를들어 5회 떄 학습한 결과는 계산 당시에는 Posterior로 계산했디만, 6회 때는 학습을 진행할 때는 Prior 정보로 사용
- 실수하면 안되는건 ‘몇번의 실험으로 광고A가 광고B가 몇 %p 크다’ 이게 아니고 확률적으로 검증된 수치인지가 중요하다.(샘플양에 따라)
- 이렇게 Prior 정보를 업데이트하면서 진행하면 된다.
- 예를들어 학습이 1500회했을떄 광고A가 30%, 광고B가 37%로 7%p 차이가 났고, 이 확률이 거짓일 확률은 0.1%로 진실이라고 받아들어야 한다.
기대 수익 분석
- 가능도 함수, 사전 분포를 다항분포, 디리클레 분포로
E[R] = 79p1 + 49p2 + 25p3 + 0p4라는 기대 수익을 비교- 방법은 ‘전환율 검정’과 유사하네
- 결론을 ‘B디자인의 기대수익이 A디자인의 기대수익보다 1.1 높고 그 확률은 0.98로 매우 높다.
