[데이터분석] A/B 테스트 설계 시나리오
A/B 테스트에 대해서 알아보고, 시나리오를 잘 머리에 넣어두자.
A/B테스트 설계
하나의 실험에서 변수는 한가지
(1) 이 요소가 영향을 미치는가?
(2) 이 영향이 혹시 우연은 아닌가?
(3) 영향을 미친 요소가 이게 맞는가?3번 질문이야 말로 우리가 A/B테스트의 방안으로 실험을 설계하여 진행하는 이유 다른 모든걸 동일하게 두고 딱 하나가지만 다르게 해서 A,B로 나누었는데 결과가 다르면 영향을 미친 요인이 맞다. 라고 할수 있다.
한 곳(퍼널, 타깃)엔 하나의 실험만 두개의 실험을 하면 결국 두개의 변수를 만든 셈이다.
다변량 테스트가 가능하긴하다. 여러 실험을 빠르게 진행하기 어려울수 있다. 할수는 있으나 결국 직렬과 병렬의 차이일뿐 결과를 얻기까지 소요되는 시간은 동일할지도 모른다.
꼭 모든 트래픽을 실험에 쓸 필요는 없다. A/B 테스트를 한다는건 실험의 절반은 ‘더나은’, 나머지 절반은 ‘더불편한’ 경험을 한다는 뜻 그래서 ‘실험을 노출시킬 범위와, 조건, 기간에 대해 고민’ 해봐야 한다.
실험 지표는 복합적으로 고려하자 예산치 못한 지표가 함께 개선되기도 하고, 더러는 다른 지표가 악화되기도 하기 때문
매출만드는 AB테스트 3단계
AB테스트 3단계 (1) 가설 수립 (2) 실험 진행 (3) 결과 분석
- 테스트의 시작 가설세우기
- 핵심적인 아이디어는 어떠한 요소를 어떻게 바꿔서(혹은 추가 제거) 어떤 지표를 바꿀것인지 특정해야함
- 예를 들어
- 회원가입 퍼널이 있다고 하고, 이탈율이 60%
- 왜 이탈하는지 설문, 레코딩 툴을 이용해서 행동 관찰 할수도 있다.
- 근데 리서치 비용이 크거나 시간이 많이 걸리면 머릿속으로 가설만 세워도 충분
- 목표는 전환율 개선이지 문제파악이 아니기 때문
- ‘한꺼번에 많은 정보를 요구하기 때문에 이탈율이 높다.’라는 문제를 생각
- A : 그대로 이름, 이메일 한페이지에서, B : 이름 따로 이메일 따로
- 실험 진행
- 실험 진행 3요소 : (1)분기, (2)구현, (3)지표 추적
- 분기 : A,B를 보여줄 트래픽 분리 작업. 예를들어 PK값이 홀수면 A, 짝수면 B
- 구글 옵티마이즈 등 AB테스트툴이 기본적으로 제공
- 트래픽 분기 할때 중요한게 궁금한 그 시점(퍼널에서)
- 결과 분석
- 실수가 많은게 AB테스트를 너무 빨리 끝내는것
- 신뢰구간 95%정도, AB테스트 통계 유의성 계산기가 웹상에 많다.
- AB테스트는 구글에서도 90%가 아무런 변화를 주지 못한거 처럼 성공하기 어려운 방법이다.
