사용자 조사
"찾는 책을 미리 맡겨 둘 수 있는 앱이 생기면 쓰시겠어요?" 손님 여덟 명 중 일곱 명이 그렇다고 했다. 그런데 같은 사람들에게 지난 한 달 동안 책방에 가기 전에 재고를 확인한 적이 있는지 휴대폰 통화 목록을 같이 보며 짚어 보니, 대부분은 그냥 갔고 몇은 헛걸음을 했다. 둘 중 어느 쪽을 믿어야 할까. 사용자 조사는 사람에게 의견을 받아 적는 일이 아니라, 사람이 실제로 한 일과 그 이유를 찾아내는 일이다. 이 장은 무엇을 알고 싶은지에 맞춰 방법을 고르고, 답을 비틀지 않는 질문을 쓰고, 말과 행동의 차이를 읽고, 누구를 몇 명 만날지 정하는 법을 가상의 인터뷰와 관찰 기록으로 직접 흔들어 본다.
- 알고 싶은 것(조사 질문)과 사람에게 묻는 것(인터뷰 질문)을 구별하고, 태도와 행동, 질적과 양적의 두 축에서 방법을 고른다.
- 유도 질문, 한 번에 두 가지를 묻는 질문, 가정과 미래를 묻는 질문을 찾아 지난 일을 구체적으로 묻는 질문으로 고쳐 쓴다.
- 사람이 말한 것과 한 것이 왜 어긋나는지(사회적 바람직성, 기억, 의도와 행동의 간극) 설명하고, 둘을 함께 모으는 법을 안다.
- 관찰과 일지의 쓰임을 알고, 관찰하는 시간대가 본 것을 바꾼다는 것을 확인한다.
- 모집 경로가 만드는 표본 편향은 사람 수를 늘려도 줄지 않는다는 것을 시뮬레이션으로 본다.
- 인터뷰마다 새 주제가 줄어드는 포화를 읽고, 그 판단이 "만난 부류 안에서만" 성립한다는 것을 안다.
무엇을 알고 싶은가
사용자 조사(User research)는 제품을 쓸 사람과 그 사람의 상황에 대해, 짐작 대신 근거를 모으는 일이다. 1장의 더블 다이아몬드에서 첫 마름모의 왼쪽 절반, 곧 문제를 넓게 찾는 "발견" 단계의 중심이 이것이다. 조사를 시작하기 전에 먼저 적어야 할 것은 질문지가 아니라 조사 질문(Research question)이다. 조사가 끝났을 때 답을 알고 있어야 하는 질문, 곧 우리가 알고 싶은 것이다. "손님은 찾는 책이 있을 때 실제로 어떻게 하는가?"는 조사 질문이다. 이것을 손님에게 그대로 물으면 대개 실제와 다른 대답이 돌아온다. 그래서 조사 질문은 손님에게 묻는 말이 아니라, 무엇을 보고 무엇을 물을지 고르는 기준이 된다.
조사 방법은 수십 가지지만 두 축으로 나눠 보면 고르기 쉽다. 하나는 태도와 행동이다. 사람이 무엇을 생각하고 느끼고 말하는지(태도)를 볼 것인가, 실제로 무엇을 하는지(행동)를 볼 것인가. 다른 하나는 질적과 양적이다. 소수의 사람을 깊이 보아 "왜, 어떻게"를 알 것인가, 많은 사람을 세어 "얼마나, 몇 명"을 알 것인가. 이 지도는 사용자 연구자 크리스천 로러(Christian Rohrer)가 닐슨 노먼 그룹에 쓴 글 「When to Use Which User-Experience Research Methods」(2014)에서 널리 퍼졌다. 아래에서 단추로 서윤의 조사 질문 하나를 고르고, 그 질문에 맞는 자리라고 생각하는 곳으로 손잡이를 끈다.
질문에 맞는 방법 고르기
같은 "전화로 재고를 묻는다"는 일이라도, "어떻게, 왜"를 알고 싶으면 왼쪽(질적)으로, "얼마나 자주"를 알고 싶으면 오른쪽(양적)으로 갔다. 그리고 실제로 하는 일을 알고 싶을수록 아래(행동)로 가야 했다. 질적 조사는 몇 명만 깊이 보기 때문에 "몇 퍼센트"를 말할 수 없고, 양적 조사는 많은 사람을 세지만 "왜"를 말해 주지 않는다. 그래서 작은 팀은 대개 질적 조사로 무엇이 일어나는지 먼저 찾고, 그것이 얼마나 흔한지는 나중에 세어 확인한다. 이 장은 주로 왼쪽 절반, 질적 조사를 다룬다. 오른쪽 아래, 곧 행동을 세는 일은 9장에서 다룬다.
인터뷰: 이야기를 듣는 법
제품 디자인에서 가장 자주 쓰는 조사 방법은 한 사람과 마주 앉아 30분에서 한 시간쯤 이야기하는 사용자 인터뷰(User interview)다. 대개 묻고 싶은 주제와 질문 몇 개를 미리 정해 두되, 대답에 따라 순서를 바꾸고 따라 묻는 반구조화 인터뷰(Semi-structured interview)로 한다. 질문을 정해 둔 순서대로 읽기만 하면 설문을 말로 하는 것과 같아지고, 아무것도 정하지 않으면 듣고 싶은 이야기만 듣고 끝난다.
좋은 인터뷰 질문의 원칙은 단순하다. 의견이나 미래가 아니라, 지난 일을 구체적으로 묻는다. "책 찾기가 불편하세요?"라고 물으면 상대는 질문자가 듣고 싶어 하는 답을 짐작해 준다. "마지막으로 책을 사러 나갔던 날을 처음부터 이야기해 주세요"라고 물으면 상대는 기억을 더듬어 실제로 있었던 일을 꺼낸다. 창업자 롭 피츠패트릭(Rob Fitzpatrick)은 『The Mom Test』(2013)에서 이것을 "어머니도 거짓말을 못 하게 묻는 법"으로 정리했다. 자기 아이디어를 설명하지 말고, 상대의 삶에서 이미 일어난 구체적인 일을 물으라는 것이다.
질문을 망치는 흔한 모양은 몇 가지로 정해져 있다. 유도 질문(Leading question)은 답을 질문 안에 넣어 둔 것이다("불편하셨죠?", "중요하지 않나요?"). 이중 질문(Double-barreled question)은 한 번에 두 가지를 묻는다("검색과 예약이 편하면 좋겠어요?"). 상대가 한쪽에만 답해도 우리는 둘 다에 답했다고 적는다. 가정·미래 질문은 아직 일어나지 않은 일에 대한 예측을 묻는다("앱이 있다면 쓰시겠어요?"). 사람은 자기 미래 행동을 잘 예측하지 못한다. 일반화 질문("보통 몇 번 가세요?")은 기억 속 평균을 짐작하게 한다. 아래는 서윤이 처음 쓴 질문지에서 고른 여섯 문항이다. 번호를 눌러 문제를 찾고, 고친 질문과 비교한다. 직접 쓴 질문도 넣어 볼 수 있다.
질문 고쳐 쓰기
고친 질문들에는 공통점이 있었다. 평가하는 말(불편, 편리, 중요)이 사라지고, "지난번", "마지막으로", "그때"처럼 실제로 있었던 하루를 가리키는 말이 들어갔다. 그리고 답이 "네/아니오"로 끝나지 않고 이야기가 되도록 열려 있다. 이런 질문은 처음에는 어색하다. 질문자가 듣고 싶은 결론으로 가는 지름길이 없기 때문이다. 하지만 그 덕분에 질문자가 상상하지 못한 이야기가 나온다. 서윤의 인터뷰에서 "그 책이 거기 있다는 건 어떻게 아셨어요?"라는 질문에 한 손님은 "책방 주인한테 문자로 표지 사진을 보냈어요"라고 답했다. 서윤의 질문지 어디에도 문자는 없었다.
말과 행동은 어긋난다
좋은 질문을 써도 사람의 말과 행동은 어긋난다. 이유는 여럿이다. 첫째, 사람은 묻는 사람에게 좋게 보이는 쪽으로 답하는 경향이 있다. 이것을 사회적 바람직성 편향(Social desirability bias)이라고 한다. 책방 주인의 부탁으로 온 연구자에게 "책은 주로 온라인에서 사요"라고 말하기는 어렵다. 둘째, 기억은 평균을 잘 내지 못한다. 인상적인 일은 실제보다 자주 일어난 것처럼, 일상적인 일은 드물게 일어난 것처럼 기억된다. 셋째, 하겠다는 마음과 실제로 하는 일 사이에는 틈이 있다. 심리학에서는 이것을 의도와 행동의 간극(Intention–behavior gap)이라 부르며 오래 연구해 왔다(예: Sheeran 2002의 개관). "앱이 생기면 쓰겠다"는 말은 거짓이 아니라, 대개 진심인 예측이다. 다만 예측이 잘 맞지 않을 뿐이다.
그래서 하린은 인터뷰 중에 손님의 허락을 받아 휴대폰의 통화 목록과 문자, 영수증과 달력을 함께 보며 지난 4주를 짚었다. 이렇게 하면 "말"과 함께 "한 것의 흔적"을 모을 수 있다. 아래는 손님 여덟 명(C1~C8, 가상 자료)의 답과 기록이다. 먼저 기록을 가린 채 아래쪽 손잡이를 끌어 "기록의 평균이 어디쯤일지" 예상해 본 뒤, 체크 상자로 기록을 연다.
말한 것과 한 것
"미리 확인한다"는 말의 평균은 63%였지만, 기록으로 짚어 본 평균은 29%였다. 말과 기록이 같은 방향으로 틀리는 질문(미리 확인, 동네에서 산다)이 있었고, 사람마다 다른 방향으로 틀리는 질문(방문 횟수)도 있었다. 앞의 경우는 질문 자체가 "좋은 손님"의 모습을 담고 있다는 신호다. 그렇다고 말이 쓸모없는 것은 아니다. 행동은 무엇을 하는지 알려 주고, 말은 왜 그렇게 하는지, 그때 어떤 기분이었는지 알려 준다. "미리 확인을 안 한 이유"를 묻자 C2는 "전화하면 주인이 바빠 보여서요"라고 했다. 기록만으로는 알 수 없는 이유다. 하린의 원칙 "사람이 말한 것보다 한 것을 믿어요"는 말을 버리라는 뜻이 아니라, 행동으로 무엇을 확인하고 말로 그 이유를 묻는다는 뜻이다.
지켜보기: 관찰과 일지
행동을 가장 직접 보는 방법은 그 일이 일어나는 자리에 가서 지켜보는 것이다. 사람이 일하는 현장에서 일을 지켜보며 그때그때 묻는 방법을 맥락 인터뷰(Contextual inquiry)라고 한다. 휴 바이어(Hugh Beyer)와 캐런 홀츠블랫(Karen Holtzblatt)은 『Contextual Design』(1998)에서 그 태도를 장인과 도제의 관계에 빗댔다. 연구자는 묻는 사람이 아니라 일을 배우러 온 도제처럼 옆에 서서, 장인(사용자)이 일하는 것을 보고 "지금 왜 그걸 먼저 하셨어요?"라고 묻는다. 사람은 자기 일을 설명하라고 하면 규칙을 말하지만, 일하는 중에 물으면 실제로 하는 예외를 보여 준다.
현장에 계속 머물 수 없을 때는 사용자에게 기록을 부탁한다. 정해진 기간 동안 일이 일어날 때마다 짧게 적게 하는 방법을 일지 연구(Diary study)라고 한다. 기억에 기대는 인터뷰보다 덜 흐려지고, 연구자가 없는 시간의 일까지 담는다. 대신 적는 사람이 지치면 기록이 빠르게 줄어들므로 적을 것을 아주 짧게 정해야 한다. 서윤은 네 주인에게 일주일 동안 재고를 묻는 전화가 올 때마다 계산대 옆 공책에 바를 정(正) 자를 하나씩 그어 달라고 부탁했다.
관찰을 기록할 때는 본 것과 해석을 나눠 적는다. "손님이 서가 앞에서 2분쯤 서성이다 빈손으로 나갔다"는 본 것이고, "찾는 책이 없어 실망했다"는 해석이다. 해석은 틀릴 수 있다. 그 손님은 그냥 둘러보러 왔을 수도 있다. 서윤과 하린이 정한 관찰 기록 양식은 이렇다.
| 칸 | 적는 것 | 예(가상) |
|---|---|---|
| 시각 | 분 단위 | 14:32 |
| 누가 | 단골·가끔·처음(추정이면 "?") | 처음?, 30대로 보임 |
| 무엇을 찾았나 | 책 이름, 또는 "둘러봄" | 휴대폰 화면의 표지 사진을 주인에게 보여 줌 |
| 어떻게 물었나 | 직접·전화·문자·안 물음 | 직접 |
| 결과 | 있음·없음·주문·맡김·빈손 | 없음 → 다른 책방을 물어봄 |
| 걸린 시간 | 대략 | 약 3분 |
| 들은 말 | 따옴표 안에 그대로 | "어제 전화했을 땐 있다고 하셨는데…" |
| 내 해석 | 괄호 안에 따로 | (다른 가게와 헷갈렸을 수도. 확인 필요) |
관찰은 언제 하느냐에 따라 본 것이 크게 달라진다. 평일 낮의 책방과 토요일 오후의 책방은 다른 가게다. 아래는 가상의 책방 하루(11시~21시)에 일어난 일을 시간 위에 늘어놓은 것이다. 관찰 창을 끌어 옮기고, 슬라이더로 창의 길이를, 단추로 요일을 바꾼다.
언제 지켜보느냐가 본 것을 정한다
같은 가게, 같은 하루인데 창을 어디에 두느냐에 따라 "전화가 거의 없는 가게"도 되고 "전화 때문에 계산이 밀리는 가게"도 되었다. 관찰은 표본을 뽑는 일이기도 하다. 사람을 고르듯 시간과 장소를 고른다. 그래서 관찰 계획에는 언제, 어디서, 몇 시간을 왜 골랐는지를 적는다. 서윤과 하린은 바쁜 시간과 한가한 시간을 하나씩 넣기로 하고, 토요일 오후와 화요일 저녁을 골랐다. 그리고 주인들의 일주일 공책이 관찰 창 밖의 시간을 채웠다.
누구를 만날 것인가
조사의 결론은 만난 사람들에 대한 결론이다. 만난 사람들이 만나고 싶은 사람들과 다르면, 결론도 다른 사람들의 것이 된다. 조사할 사람을 모으는 일을 모집(Recruiting)이라 하고, 모집 경로 때문에 표본이 특정 방향으로 치우치는 것을 표본 편향(Sampling bias) 또는 선택 편향(Selection bias)이라고 한다.
서윤은 처음에 책방 E의 단골 단톡방에 인터뷰 공지를 올렸다. 하루 만에 열한 명이 손을 들었다. 하린은 반가워하면서도 물었다. "이분들은 지금도 주인한테 문자 한 통이면 책을 맡겨 둘 수 있는 분들 아니에요?" 아래 시뮬레이터는 가상의 동네 사람 400명이다. 가운데가 책방이고, 점 하나가 한 사람이다. 진한 점은 지난 석 달 사이 찾는 책이 없어 헛걸음한 적이 있는 사람이다. 모집 경로와 인원을 고르고 "다시 뽑기"를 여러 번 누른다.
모집 경로와 표본 편향
단골만 만나면 몇 명을 만나든 헛걸음은 드문 일처럼 보였다. 이것이 표본 편향의 무서운 점이다. 표본을 키우면 결과가 덜 흔들려 더 확실해 보이지만, 틀린 값 둘레에서 확실해질 뿐이다. 반대로 무작위 표본은 작을 때 많이 흔들리지만 평균은 맞는 자리에 있다. 질적 조사에서는 어차피 몇 명만 만나므로 "무작위"보다는 필요한 부류를 일부러 고르는 방식을 쓴다. 이것을 목적 표집(Purposive sampling)이라고 한다. 서윤은 모집 기준을 "단골·가끔·처음 온 손님이 고루", "네 책방에서 두 명씩"으로 바꾸고, 하루씩 네 가게 앞에서 직접 손님에게 부탁했다. 거절이 많았지만 단톡방에서는 만날 수 없던 사람들을 만났다.
몇 명이면 충분한가
인터뷰를 거듭하다 보면 어느 순간 새로운 이야기가 잘 나오지 않는다. 처음 몇 명에게서는 들을 때마다 새 주제가 쏟아지지만, 뒤로 갈수록 "아까 들은 이야기"가 늘어난다. 이 상태를 포화(Saturation)라고 하고, 질적 조사에서 인터뷰를 그만둘 때를 정하는 기준으로 흔히 쓴다. 게스트, 번스, 존슨(Guest, Bunce & Johnson)은 「How Many Interviews Are Enough?」(2006, Field Methods)에서 비교적 비슷한 사람들을 대상으로 한 인터뷰 60건을 분석해, 이후에 쓰인 주제의 대부분이 처음 12건 안에서 이미 나왔다고 보고했다. 이 숫자는 자주 인용되지만, 연구자들 스스로 밝혔듯 비슷한 사람들에게 좁은 주제를 물었을 때의 결과다.
인터뷰를 n번 했을 때 어떤 주제를 한 번이라도 들을 확률은, 그 주제를 가진 사람의 비율 \(p\)에 따라 정해진다. 주제가 여럿이면 들을 것으로 기대되는 주제의 수는 그 확률의 합이다.
식에서 중요한 것은 \(p_k\)가 "만나는 사람 가운데"의 비율이라는 점이다. 아예 만나지 않는 부류에만 있는 주제는 \(p_k = 0\)이라 인터뷰를 아무리 해도 들리지 않는다. 아래에서 인터뷰 수를 늘리고, 누구를 만나는지 바꿔 본다.
인터뷰마다 새로 나온 주제
"비슷한 손님만" 만날 때 곡선이 평평해진 것은 사실이다. 하지만 그것은 그 부류 안에서의 포화였다. 만나지 않은 부류의 주제는 처음부터 곡선 밖에 있었다. 그래서 "새 주제가 안 나오니 충분하다"는 판단에는 "누구에 대해서"라는 꼬리표가 붙어야 한다. 실무에서는 부류(예: 정해 둔 책을 찾는 손님, 둘러보는 손님, 주인)마다 몇 명씩을 정해 두고, 각 부류 안에서 마지막 두세 명이 새 주제를 거의 더하지 않으면 멈추는 경우가 많다. 사용성 테스트에서 자주 듣는 "다섯 명이면 충분하다"는 이것과 다른 질문(정해진 화면의 문제를 찾는 일)에 대한 다른 모형의 이야기이며, 그 가정과 한계는 8장에서 따진다.
서윤의 봄 서비스 노트
일곱 명이 쓰겠다고 했다
4월 5일 수요일, 서윤은 하룻밤 만에 질문지 열두 문항을 써서 하린에게 보냈다. 하린은 빨간 펜으로 일곱 문항에 줄을 그었다. "불편하셨죠?"로 끝나는 질문, "검색과 예약"을 한 번에 묻는 질문, "앱이 생기면 쓰시겠어요?" 같은 질문이었다. 둘은 이 장의 두 번째 시뮬레이터처럼 문항을 하나씩 고쳐 썼다. 모집도 다시 했다. 처음 단톡방에서 손을 든 열한 명 가운데 세 명만 남기고, 나머지는 네 책방 앞에서 직접 부탁해 손님 여덟 명을 채웠다. 단골 셋(C1, C3, C6), 가끔 오는 손님 셋(C2, C5, C7), 처음 온 손님 둘(C4, C8)이다. 네 주인(O1~O4)은 따로 인터뷰했다. 사례는 네 책방에서 함께 쓰는 1만 원 상품권으로 정했다.
인터뷰는 4월 8일 토요일부터 13일 목요일까지 했다. 사람마다 40분 안팎, 하린이 묻고 서윤이 적었다. 같은 주에 네 주인은 재고 묻는 전화를 공책에 바를 정 자로 그었다. 일주일 합계는 61통이었다(가상 자료). 관찰은 이틀이었다. 4월 15일 토요일 오후에는 책방 E와 작은 숲에서, 18일 화요일 저녁에는 헌책방 나무와 한 줄에서 각각 두 시간씩 지켜봤다. 관찰 기록에는 재고 문의 전화 19통이 적혔고, 한 통에 1분 남짓 걸렸다. 빈손으로 나간 손님은 9명이었고, 그중 6명이 주인에게 찾는 책을 물어본 뒤였다. 한 줄의 주인은 손님 둘의 계산을 하다가 전화를 두 번 받았다.
마지막 5분에 "이런 서비스가 생기면 쓰시겠어요?"라고 묻자 여덟 명 중 일곱 명이 그렇다고 했다. 쓰지 않겠다고 한 사람은 "책방에는 둘러보러 가요"라고 한 C8이었다. 그런데 통화 목록과 영수증으로 지난 4주를 짚어 보니, "가기 전에 늘 또는 대개 확인한다"는 말의 평균은 63%, 기록으로 센 비율은 29%였다. 여덟 명 중 여섯 명은 찾는 책이 없어 헛걸음한 일을 구체적으로 이야기했다. C1은 같은 주에 두 번이었다고 했다. 서윤은 노트에 적었다. "쓰겠다는 말은 일곱, 지금 미리 확인하는 사람은 거의 없음. 그런데 헛걸음은 여섯." 하린이 그 아래에 한 줄을 보탰다. "확인을 안 하는 게 아니라, 확인할 길이 마땅치 않은 것일 수도."
서윤은 인터뷰마다 새로 나온 이야기 갈래도 셌다. 5, 4, 3, 2, 2, 1, 1, 0. 줄고 있었다. 하린은 이 숫자가 "우리가 만난 부류 안에서" 줄고 있다고 했다. 아이 책을 사려는 부모는 C4 한 명뿐이었고, 시집만 사는 손님은 만나지 못했다. 둘은 정의 단계로 넘어가되, 작은 숲과 한 줄의 손님은 다음 테스트 때 따로 더 만나기로 했다.
핵심 정리
- 조사는 조사 질문(알고 싶은 것)에서 시작한다. 방법은 태도↔행동, 질적↔양적의 두 축에서 고른다. 실제로 하는 일을 알려면 행동 쪽으로, "얼마나"를 알려면 양적 쪽으로 간다.
- 인터뷰에서는 의견이나 미래가 아니라 지난 일을 구체적으로 묻는다. 유도 질문, 이중 질문, 가정·미래 질문, 일반화 질문은 답을 비튼다. 해결책 이야기는 마지막까지 미룬다.
- 말과 행동은 사회적 바람직성, 기억의 왜곡, 의도와 행동의 간극 때문에 어긋난다. 행동(기록, 관찰)으로 무엇을 하는지 확인하고, 말로 그 이유를 묻는다.
- 관찰(맥락 인터뷰)과 일지는 행동을 직접 모은다. 본 것과 해석을 나눠 적고, 관찰하는 시간대와 장소도 표본처럼 고른다.
- 모집 경로가 만드는 표본 편향은 사람 수를 늘려도 줄지 않는다. 질적 조사에서는 필요한 부류를 일부러 고루 고른다(목적 표집).
- 포화는 인터뷰마다 새 주제가 줄어드는 것이다. 들을 것으로 기대되는 주제 수는 \(\sum_k[1-(1-p_k)^n]\)이고, 만나지 않은 부류의 주제는 \(p_k=0\)이라 영영 들리지 않는다. 포화에는 "누구에 대해서"라는 꼬리표가 붙는다.
확인 퀴즈
1. 손님 인터뷰에 쓸 질문으로 가장 알맞은 것은?
2. 손님 여덟 명 중 일곱 명이 "앱이 생기면 쓰겠다"고 했다. 이 결과를 다루는 방법으로 가장 알맞은 것은?
3. 단골 단톡방에서만 사람을 모아 8명을 인터뷰했다. 같은 방식으로 40명으로 늘리면 어떻게 되는가?
4. 단골 손님만 인터뷰했더니 여섯 번째부터 새 주제가 거의 나오지 않았다. 가장 알맞은 결론은?