UX Research에서 획득한 결과를 수치화할 것인가?

가끔 UX Research에 대한 정량적인 결과에 대해서 요구받을 때가 있다. 예를 들면, 사용자의 몇 퍼센트가 그런 행동을 보이느냐 등의 정량적인 수치를 원할 때가 있는 것이다. 하지만, 사용자 경험이라는 것은 수치로 표현하기에는 매우 어려운 것이다. '경험'이라는 개념은 쉽게 수치화시킬 수 있는 것이 아닌 매우 주관적인 개념이기 때문이다 (이것이 전통적인 사용성 테스트와 가장 큰 차이이다). 물론, 근현대의 과학의 중심이 '경험과학'을 표방하고 있고, 이에 측정이 불가능한 '경험'에 대해서는 연구 대상이 아니라고 정의하고 있다. UX를 연구하는 사람 또한 관찰이 가능하고 측정이 가능한 것에 대해서 설명을 할 수 있어야 한다.

 

그러나 우리는 현실적인 문제에 부딪히게 된다. 일반화를 시키기 위해서는 그에 맞는 표본 수를 확보해야 하고, 그것이 타당한지 그리고 얼마나 신뢰성이 있는지 검증까지 해야 한다. 하지만, 회사 내에서 UX 리서치를 진행할 때에는 시간과 비용이라는 문제에 부딪혀 매우 제한적인 리서치만 가능하고, 제한된 리서치를 통해 획득한 결과만을 가지고 프로젝트를 진행해야 한다. (그것은 약 10~20명 정도의 사용자만 대상으로 하는 일번적인 UX 리서치로 진행되게 된다.) 그 과정에서 우리는 관찰된 '경험'이 얼마나 수치화가 가능하고 얼마나 신뢰롭고 타당하냐에 대해서 검증할 수 없게 된다. 매우 정교한 리서치가 되도록 리서치를 계획하고 설계하는 단계에서 많은 노력을 기울이고, 그것을 바탕으로 어느 정도 신뢰롭고 타당한 결과를 얻을 수 있다고 가정하는 것이다.

 

분명 제약이 있는 UX 리서치의 결과에 대해서 수치화해서 일반화시키는 것은 매우 어려운 작업이다. 어쩌면, 그것은 불가능한 것일 수도 있다. 하지만, 많은 정성적 조사와 마찬가지로 '왜' 그런 행동이 나타났는지 구체적으로 파악하고, 그 결과를 통해서 우리가 어떤 Insights를 갖고 사용자를 대해야 하는지가 중요하다. 즉, 결과를 획득하는 과정이 아닌, 결과를 활용하는 그 이후 단계가 더 의미가 있는 것이다.

 

UX 리서치를 정교하게 수행하는 것은 매우 중요하다. 그러나 우리가 중요하게 생각해야 하는 것은 왜 그 리서치를 수행해야 하고, 그 리서치를 통해 획득한 결과를 어떻게 활용하고 어떤 Insights를 뽑아야 하는가이다. 이 점에 대해서만 유념을 해 준다면, 우리는 생각하는 것 이상으로 매우 유용한 결과를 얻을 수 있을 것이다.

 

User experience evaluation differs from usability evaluation dramatically. User experience cannot be evaluated with stopwatches or logging because UX is subjective. The Objective measures such as task execution time and the number of clicks or errors are not reliable measures for UX, but we need to know how the user feels about system. User's motivation and expectations affect the experience more than in traditional usability. User experience is also very context-dependent, so the experience with the same design in different circumstances is often very different.

 

- Mariana Obrist, Virpi Roto, and Kaisa Vaananen-Vainio-Mattila, @ CHI 2009