A/B 테스트 (쿠팡, WorkZone) / 코드스테이츠 PMB 16기 W5D3

W5D3

---

'A/B테스트'를 통한 인사이트 획득

 A/B테스트란 정의된 지표와 관련하여 여러 가지 버전의 기능이나 페이지를 평가하는 실험을 의미한다. 즉, 단일 변수에 대해 서로 다른 페이지나 기능을 가진 A와 B 두가지 버전을 두 그룹에게 제공해, 응답에 있어 어떠한 유의미한 차이가 있는지에 대해서 비교할 수 있는 테스트 기법을 말한다. 오늘은 이러한 'A/B테스트'를 진행한 국내, 해외 서비스 각각 1곳들의 사례를 찾아보고 어떠한 인사이트를 얻을 수 있었는지, 또 내가 그 서비스의 PM이라면 테스트를 어떻게 다르게 실행해 볼 수 있는지에 대해 작성해보고자 한다.

---

1. 쿠팡

1) 선정이유

- A/B테스트에 관한 국내 서비스의 다양한 사례들을 찾아 봤을 때 확실히 어느 정도 규모가 있는 서비스들이 관련 내용을 더 많이 노출시키고 있는 것을 확인할 수 있었다. 그러던 중  '쿠팡 엔지니어링'(기술 블로그)의 한 게시글에서 이러한 내용을 확인해 볼 수 있었다.

 

"쿠팡 앱이 어떻게 현재의 모습을 갖추게 되었나 생각해본 적 있으신가요? 사실 대답은 놀랄 만큼 단순합니다. 바로 A/B 테스트입니다. 쿠팡에서는 매일 수백 개의 A/B 테스트를 수행되고 있으며, 애플리케이션의 모든 기능 요소를 철저히 테스트하여 고객 경험 향상을 도모하고 있습니다. 쿠팡에서 A/B 테스트는 비즈니스 이슈에 대한 의사 결정 과정의 핵심으로, 개인의 의견이나 촉에 의존하지 않는 실증적 접근방식을 뒷받침 합니다."

 

 많은 게 궁금해졌다. 매일 진행 되는 몇백 개의 AB테스트, 또 그 결과를 바탕으로 한 꾸준한 UX개선... 쿠팡의 엔지니어 조차 쿠팡의 핵심을 A/B테스트 라고 했으니 말이다. 실제로 쿠팡의 A/B테스트에 대해 더 많은 검색을 하다보니 관련 내용들이 상당히 많은 걸 확인할 수 있었다. 따라서 국내 서비스의 사례로 쿠팡을 선정해 쿠팡의 현재를 이끌어낸 A/B테스트에 대해 알아보고 인사이트를 얻어보자 한다. 

 

- 쿠팡 A/B테스트 관련 내용

 

https://medium.com/coupang-engineering/minimizing-technical-incidents-during-a-b-testing-at-scale-a9c35c6b2ca3

대규모 A/B 테스트의 인시던트를 최소화하다

https://brunch.co.kr/@coupangdesign/41

더 좋은 프로덕트를 만들기 위해 잊어야 할 것들

https://brunch.co.kr/@coupangdesign/73

쿠팡 UX Club 3. 테스트 결과가 예상과 다를 때

https://www.wanted.co.kr/events/22_05_s04_b02

다양한 고객 접점에 최적화된 '쿠팡' 글쓰기 | 원티드

https://medium.com/coupang-engineering/calculating-a-b-test-metrics-d3f6dff14c73

쿠팡의 A/B 테스트 지표 연산

---

2) A/B테스트 실행 과정과 결과

- 쿠팡 A/B테스트의 다양한 사례 중에 한 가지를 선정해서 실행 과정과 결과에 대해 알아보고자 한다. 

- 위 사진은 쿠팡 로켓프레시 UX라이팅 관련 A/B테스트 사진이다.

 

- 개선 포인트(문제 정의) :

 쿠팡 로켓 프레시는 쿠팡 유료 멤버십인 쿠팡 와우에서 제공되는 혜택이며, 신석식품 류를 당일 또는 그 다음날 새벽까지 빠르게 배송해주는 서비스이다. 즉, 로켓프레시를 이용하려면 유료 멤버십에 가입해야 했으나, 쿠팡 측에서는 가입 시 첫 30일 체험 무료 혜택을 제공하여 가입자들을 확보하려 했고, 로켓 프레시 상품 페이지에서 그 혜택을 강조하는 전략을 결정했다. 따라서 위의 A안, '로켓프레시 무료 체험하기' 문구가 적힌 버튼을 노출시켜 쿠팡 와우 가입률과 로켓프레시 상품 구매율을 높이고자 했다.

 

 그러나 쿠팡의 예상과는 달리 대다수 이용자들이 버튼을 클릭하지 않고 페이지를 그냥 이탈했다. 따라서 위의 두 지표 역시 개선되지 않았다. 그 이유에 대해 분석한 결과 '이용자들이 로켓프레시가 어떠한 서비스인지 정확하게 인지하지 못하고 있다.'는 원인을 도출할 수 있었다. 그렇기에 쿠팡은 로켓프레시가 어떠한 서비스인지 정보를 제공하면서, 쿠팡와우 가입 시 받을 수 있는 혜택이 더 직관적으로 드러날 수 있도록 버튼 UX라이팅을 변경 시키면 클릭율을 높일 수 있을 거라 생각하며 문구를 변경하여 A/B테스트를 진행했다.

 

- 가설 :

"로켓프레시 상품 페이지 버튼 문구에 서비스 관련 정보 제공과 와우(멤버십) 혜택을 직관적으로 드러내면,

이용자들은 버튼을 더 많이 클릭할 것이고,

그러면 쿠팡 와우 가입률과 로켓프레시 상품 구매율이 높아질 것이다."

 

- 기간 : 정확한 기간 확인 불가, 15일 예상(위의 '쿠팡의 A/B 테스트 지표 연산' 게시글 내용의 지표연산 입력데이터에 A/B테스트 기간을 15일로 설정해둔걸 반영) 

 

- 타겟 : 쿠팡 이용자(로켓프레시 상품을 클릭한)

 

- 테스트 형식 : 버튼 UX라이팅 변경('로켓프레시 무료 체험하기 > '신선식품 새벽배송 받기')

 

- 결과 : A안 대비 B안이 쿠팡 와우 가입률을 20% 증가시켰다.(로켓프레시 상품 구매율은 확인 불가)

 

인사이트 :

 A안 역시도 쿠팡 측이 고객에게 전하고자 하는 바인 '로켓프레시'와 '무료 체험'이 확실하게 드러나는 문구이지만, 분석 결과처럼 '로켓프레시'에 대해 이용자들이 정확히 알지 못한다면 그 힘이 쭉 빠질 수 밖에 없을 것이다. B안처럼 '무료'라는 이용자들이 솔깃할 수 있는 단어를 과감하게 제외시키고, 다시금 전하고자 하는 바인 '신선식품'과 '새벽배송'을 선택해 가설을 검증하고 지표들을 개선시켰다는 점에서 다시금 'UX라이팅의 힘'에 대해 깨달을 수 있었다. 해당 사례와 더불어 다양한 쿠팡의 A/B테스트 과정과 결과를 보니 왜 쿠팡의 관계자가 A/B 테스트가 쿠팡의 현재를 견인했다고 했는지 조금은 알 수 있었던거 같다. 하루에 수백번 씩 변수를 놓고 비교 분석하고 그 결과를 서비스에 적용시킨다면 확실하게 UX를 개선 시킬 수 있는 원동력이 될거라 생각하기 때문이다. 쿠팡의 저력에 대해 그리고 A/B테스트의 중요성에 대해 다시금 생각해 볼 수 있었다.

---

3) 내가 '쿠팡'의 PM이라면 어떻게 실행해볼 수 있을까?

- 인사이트에서 언급했듯이 '무료'라는 단어는 고객 입장에서 굉장히 집중이 될 수 있는 포인트라고 생각한다. 따라서 위의 사진과 같이 기존의 문구에 '무료'를 추가해 '신선식품 새벽배송 무료로 받기'로 문구를 변경한 새로운 B안을 만들어 A/B테스트를 진행해볼 수 있을 것이다. 가설은

 

"로켓프레시 상품 페이지 버튼 문구에 무료라는 단어가 추가되면,

이용자들은 30일 무료 체험 혜택에 더 관심을 가져 버튼을 더 많이 클릭할 것이고,

그러면 쿠팡 와우 가입률은 높아질 것이다."

 

로 설정 할 수 있다.

---

2. WorkZone

1) 선정이유

- 해외의 다양한 A/B테스트 사례를 보던 중 WorkZone이라는 서비스에 대한 내용을 볼 수 있었다. WorkZone은 미국에 기반을 둔 프로젝트 관리 소프트웨어 회사이며, 웹 기반 프로젝트 관리 및 문서 협업 도구를 서비스 한다. WorkZone의 A/B테스트는 색상에 관한 것으로, 어떻게 보면 정말 간단하지만 A/B테스트의 중요성을 잘 드러내는 사례라는 생각이 들었다. 따라서 WorkZone의 해당 A/B테스트의 세부과정과 결과를 통해 중요 인사이트를 얻어보고자 해외 서비스의 사례로 선정했다. 

 

- WorkZone A/B테스트 관련 내용

 

https://vwo.com/success-stories/workzone/

WorkZone Increased Conversions By 34% | VWO Success Stories

https://research.aimultiple.com/ab-testing/

A/B Testing in 2023: Why it matters, Methods & Challenges

---

2) A/B테스트 실행 과정과 결과

A안

B안

- 위 사진들은 WorkZone의 데모 요청 양식 제출 페이지의 고객 평가 부분 색상 관련 A/B테스트 사진이다.(위 A, 아래 B) 

 

- 개선 포인트(문제 정의) :

 WorkZone은 잠재 고객들의 서비스 구매를 설득시킬 수 있도록 데모를 제공했다. 데모를 요청하기 위해선 고객들은 위 사진과 같이 짧은 양식을 제출했어야 했고, 페이지는 우측에 데모 요청 세부 사항을 적는 작성 칸이 있는, 그리고 좌측에 대표 고객들의 서비스 평가가 적힌, 총 두 개의 박스로 구성이 되어있다.

 

 WorkZone의 Steven Macdonald는 고객 평가 박스 안의 컬러 로고들이 지나치게 눈에 띄어, 정작 페이지 방문자들이 집중해야하는 데모 요청 박스에 집중하지 못하게 한다고 생각했다. 따라서 고객 평가의 로고들을 흑백으로 바꾸면 방문자들이 데모 요청 박스에 더 집중하고, 그에 따라 데모 요청 양식 제출 수가 늘어날 것이라는 가설을 세웠고, 가설을 검증하기 위해 위의 사진처럼 로고 색상을 흑백으로 변경한 B안을 준비해 A/B테스트를 진행했다.

 

- 가설 :

"데모 요청 양식 제출 페이지의 고객 평가의 컬러 로고를 흑백으로 바꾸면,

페이지 방문자들은 데모 요청 세부사항 작성 칸에 더 집중할 수 있을 것이고,

그에 따라 데모 요청 양식 제출 수가 늘어날 것이다."

 

- 기간 : 22일

 

- 타겟 : WorkZone 데모 요청 양식 제출 페이지 신규 방문자

 

- 결과 : A안 대비 B안이 데모 요청 양식 제출 수를 34% 증가시켰으며, 통계적 유의성은 99%로 나타났다.

 

인사이트 :

 방문자들은 페이지에 접속한 순간 시선이 두개로 분산됐을 것이다. 고객 평가를 통해 데모를 요청하려는 방문자에게 더 큰 설득력을 주려는 전략은 좋았을 수 있지만, 그 곳에 쓰인 컬러 로고는 정작 서비스에 더 중요한 부분에 집중하지 못하게 했다. 심지어 분석 결과에 따르면 저 컬러 로고 부분이 클릭이 가능한 부분처럼 보여 클릭을 시도한 방문자들도 있었다고 한다. 정말 간단하게 색상을 흑백으로 바꿨을 뿐이지만 이는 충분히 유의미한 결과를 보였다. '한 페이지, 한개의 목적'의 중요성을 깨닫게 해주는 사례인거 같다.

---

3) 내가 'WorkZone'의 PM이라면 어떻게 실행해 볼 수 있을까?

- 첫번째로는 위 사진처럼 고객 평가 박스를 없애볼거 같다. 기존의 B안을 새로운 A안으로 두고 데모 요청 양식 제출 페이지가 '한 페이지, 한개의 목적'에 더 집중 할 수 있도록 데모 요청 세부사항 작성 칸만 유지시킨 페이지를 새로운 B안으로 하여 A/B테스트를 진행한다.

 

"데모 요청 양식 제출 페이지에 데모 요청 세부사항 작성 칸만 있다면,

방문자들은 페이지 본연의 목적에 더 집중할 수 있을 것이고,

그에 따라 데모 요청 양식 제출 수가 늘어날 것이다."

 

로 가설을 세워 가설 검증을 위한 테스트를 진행해 볼 수 있을 것 이다.

---

- 두번째로는 위 사진과 같이 고객 평가 박스 안에 텍스트는 없애고, 대표 고객 사들 흑백 로고만 존재하도록 해볼거 같다. 고객 평가 박스의 목적은 방문자들이 페이지를 방문 했을 때 서비스에 관한 긍정적인 의견들을 보여주고, 데모 요청에 더 탄력을 줄 수 있도록 하는 것이라 생각한다. 하지만 기존의 컬러 로고를 흑백으로 바꾼 것이 방문자의 시선을 너무 고객 평가 박스 안에 붙잡아두는 이유였던 것 처럼, 텍스트가 많이 존재한다면 그걸 읽는 과정 속에서도 시선을 과하게 붙잡을 수도 있다고 생각한다. 

 

 따라서 텍스트는 없애고 고객 평가가 아닌 WorkZone의 주요 고객들의 로고만을 노출시켜, 방문자들로 하여금 서비스에 대한 신뢰감을 주는 것은 유지한 채, 시선은 덜 붙잡을 수 있는 방안을 통해 A/B테스트를 진행해 볼 수 있을것이다. 이에 대한 가설은

 

"데모 요청 양식 제출 페이지 고객 평가 박스 안의 텍스트를 없애고 주요 고객의 로고들만 노출시킨다면,

페이지 방문자들은 서비스에 대한 신뢰감은 유지한 채 데모 요청 세부사항 작성 칸에 더 집중 할 수 있을 것이고,

그에 따라 데모 요청 양식 제출 수가 늘어날 것이다."

 

가 될 것이다.

---

 오늘은 쿠팡과 WorkZone의 두 가지 A/B테스트를 통해 다양한 인사이트를 얻고, 해당 서비스의 PM입장이 되어 새로운 A/B테스트를 구성해볼 수 있었다. 쿠팡을 통해 UX라이팅의 중요성을, WorkZone을 통해 한 페이지 한개의 목적의 중요성을 다시금 깨달을 수 있었으며, A/B테스트에 대해서도 구체적인 사례들을 통해 조금 더 분명하게 알 수 있었던 뜻깊은 시간이었던거 같다.