인과 추론을 이용한 실제 분석 사례
강의 내용 : https://www.youtube.com/watch?v=FVl67HUTHBM&list=PLKKkeayRo4PV_6-nbBgmUNOSpG1OO49M3&index=22
개요
온라인 스토어가 많이 발전했지만
그래도 오프라인 스토어에서 직접 보고싶어하는 수요는 존재한다.
어떻게 해야 오프라인의 장점을 극대화해서 효과를 볼 수 있을까?
- 진짜 사려는 사람을 구분한다.
- 소비가에게 적절한 타임에 제공할 수 있게 한다.
- 다른 제품 연결 판매까지 이어지게 한다.
강의에서는 세 개 조건에 일치하는 탈의실에 초점을 맞췄다.
문제 정의
피팅룸의 최대 장점인 고객 경험을 저하시키는 요인 : 혼잡한 경우
- 기다리는 시간 발생
- 옷이 정리되지 않으면 아이템이 어디있는지 모름. 한정 아이템의 경우 더 리스크를 가짐 (phantom stockouts)
- 더러움
분석
Part 1 : Analyzing archival data
1-1) 혼잡도가 정말 세일즈를 악화시키나?
데이터 수집 : RetailNext라는 스토어 분석 기업과 컨택해 실제 매장 정보를 수집
- 트래픽 정보
- POS 정보
- 직원 정보
여러 매장 중 단 하나의 매장에서 탈의실에 얼마나 사람이 들어가는지를 알 수 있었어서, 해당 매장에 집중해 분석함
1-2) 데이터 탐색
Econometric model을 사용했으며, 컨트롤한 정보는 아래와 같다.
1-3) 결과 ✔
피팅룸 방문량이 많아지면 세일즈도 올라가는데, 어느 순간부터 반대의 경우를 발견
Part2 : Field Study
2-1) 왜?
모델링으로 해석하려는 과정에서 시간이 오래 걸림. 결국 직접 현장을 보러감
2-2) Impeding behavior (셀프 정의) ✔
혼잡해서 의도했건 안했건 Information Search를 하거나 Evaluation of Alternatives를 취해 다른 사람에게 부정적 경험을 주게 되는 것
- 사람이 많아 다시 줄을 서기 싫어 한번에 많은 옷을 가져감, 혹은 한정된 아이템을 뺏길까 먼저 가져감. 이는 피팅 시간도 더 오래걸려 뒷사람은 더 많은 기다림을 가짐
- 탈의실에 물건을 많이 두고 나옴. 직원도 혼잡할 때 물건 정리가 어려움.
2-3) 분석
209명의 탈의실 입장 시간 / 가져간 아이템 수 / 퇴장 시간 / 가지고 나온 아이템 수 정보를 수집
- 혼잡한 경우
- 평균 1.3개의 아이템을 더 가져가고
- 2분의 시간이 추가 소요됨
- 2시간동안 응대를 못한 탈의실에는 70개, 160개의 물건이 쌓임
- 또한 평균 3개 아이템을 두고 나옴
- 잘못 배치된 옷(559개) 중 39%(216개) 가 1개만 남은 아이템이었음 (phantom stockouts)
2-4) 결과 ✔
너무 크거나 작은 사이즈라 하나 남은 경우가 많을 것이다 등의 의견이 있었으나 확인해보니 아니었음
탈의실에 두고간 평균가격과 탈의실 주변 3200개 평균 가격 비교 결과 두고간 아이템의 가격이 평균 14$ 높음
2-5) 해결책
- 옷 개수 제한 (기업에서 반대. 경험 방해 싫음)
- 많이 가져가게 두고 우리가 어떻게든 해결하기 - recovery
Part3 : Field Experiment
3-1) 실험
완전 동일 피팅룸에 대해
- Fitting Room A : 옷만 치우는 직원 고용
- Fitting Room B : 직원 없음
Selection Bias는 잘 고민해서..! 디자인 하셨다고 함
3-2) 결과 ✔
한명의 labor로 시간 당 22% 세일즈 상승 (t-test나 다른거로도 검증해도 동일)
labor 가격과 세일즈 상승을 비교했을때 이득을 볼 수 있음을 확인 (positive ROI)
이후 해당 매장의 반응은?
근데 고작 한개에서 실험한 거 아니냐
- 운좋게 다른 곳에서도 실험을 해볼 수 있는 기회가 생겼음. 탈의실 구조도 전 실험과 좀 다른 형태였음
- 결론 22% 세일즈 상승. 굉장히 비슷
- 계산해도 역시 positive ROI
최종적으론
- A는 자발적으로 10개 스토어를 돌려보고 동일 결과를 확인함
- B는 7시 이후에 치우는 정책을 변경함