사용성 테스트 결과를 어느 수준까지 써야 하는가?

사용성 테스트를 하여 사용성 문제를 발견했을 때, 보고서에 어느 정도 수준까지 써야 하는지 생각해 볼 때가 있다. 사용성 문제에 대해 보고할 때 고려할 수 있는 수준은 다음과 같다.수준 1에서 3까지의 차이는 사용성 문제에 대해서 어느 범위까지 관여를 할 것인가에 대한 차이이다.

 

수준 1. 무엇이 문제인지 기술한다.

수준 2. 무엇이 문제인지 기술한 후, 이슈 해결을 위한 제언을 한다.

수준 3. 무엇이 문제인지 기술하고, 이슈 해결을 위한 제언을 한 뒤,

           개선 시안까지 작성한다.

 

수준 1의 문제는 사용성 이슈를 발견할 것까지는 좋지만, 그래서 무엇을 해야 하는가(So what?)에 대해서는 전혀 알려주지 못한다. 수준 2는 그나마 무엇을 해야 하는지 알려주기는 하지만 구체적으로 어떤 액션을 취해야 하는지에 대해서는 알려주지 못한다는 한계가 있다.

 

수준 3은 구체적인 대안을 제안함으로써, 어떤 액션을 취해야 할지에 대해서 쉽게 결정을 할 수 있다. 실제 Hornbaek과 Frokaer의 연구(2005), Dumas, Molich와 Jeffries(2004)의 연구에 따르면, 디자이너와 개발자도 수준 3 까지 보고서를 작성했을 때, 더 선호한다고 주장하고 있다.

 

하지만, 수준 3까지 작성할 때 주의해야 할 점이 있다. 먼저, 유관부서와의 협력 관계를 긴밀하게 유지해야 한다. 자칫하면 유관부서에서 자기의 R&R을 침범했다고 오해할 소지가 있다. 새로운 개선 시안을 제시했을 때 기획이나 디자이너 직무에 있는 유관부서원들이 왜 자신이 해야 할일을 시키지도 않았는데 했냐고 이야기할 수도 있다. 이런 문제를 해결하기 위해 평소 유관부서원들과 지속적인 커뮤니케이션과 좋은 관계를 유지해서 같은 목표를 향해 나아가는 협력자임을 느끼게 해 줘야 한다.

 

두번째는 사용성 평가 전문가 또는 UX Researcher라고 할지라도 IA 설계나 Interaction 설계에 대한 역량을 충분히 갖고 있어야 한다. IA 설계 능력이나 Interaction 설계에 대한 역량이 부족하다면 새로운 개선 시안을 제안할 수 없게 된다.

 

사용성 평가라는 것은 단지 문제가 있다는 것을 발견하는 것만이 목적이 아니다. 문제를 해결함과 동시에 사용자 경험을 더욱 좋게 만들기 위해서 적극적인 제안을 하는 것이 더 큰 목적인 것이다. 사용성 평가 결과 보고서를 작성할 때 이점에 대해서 명심해야 한다.

 

참고로, Molich, Ede, Kaasgaard와 Karyukin(2004)은 대부분의 사용성 평가 보고서와 다음과 같은 문제로 효용 가치가 떨어진다고 이야기하고 있다.

 

• 보고서가 너무 길다. (보기에도 부담스럽다)
• 요약 페이지가 없다. (무엇이 핵심인지 파악하기가 쉽지 않다)
• 문제의 심각성에 대한 심각성 정도를 알 수 없다. (무엇부터 개선해야 하는지 알지 못하겠다)
• 문제가 무엇인지 명확하지 않거나 모호하다. (도대체 문제가 무엇인지 모르겠다)

 

보고서는 한번에도 무엇이 문제이고 그 문제를 어떻게 하면 해결할 수 있는지 명확하게 작성해야 한다.

 

 

다음 논문은 앞에서 이야기한 내용에 많은 시사점을 줄 수 있을 것이다.

 

Rolf M., Robin J., & Joseph D. (2007), Making Usability Recommendations Useful and Usable

 

 

데이터에 대한 환상... 그리고 그 결과...

For usability engineering purpose, one often needs to draw important conclusions on basis fairly unreliable data, and one shoul certainly do so since some data is better than no data.

- Jacob Nielson, 1993

 

즉, Jacob Nielson은 데이터가 전혀 없는 것보다 있는 것이 낫다고 주장한다. 심지어 그것이 부정확한 신뢰롭지 못한 데이터라도... 물론, 데이터가 없는 것보다 조금이라도 있는 것이 낫다. 하지만, 그 데이터가 부정확하고 신뢰롭지 못한 데이터라면 문제가 달라진다. 우리는 잘못된 데이터로 잘못된 결론에 도달할 가능성이 그만큼 커지게 된다.

 

실제 현장에서 일을 하다보면, 데이터 부재라는 상황에 많이 부딪힌다. 우리가 원하는 정도의 풍부한 데이터는 없다. 이곳 저곳에서 데이터를 끌어오고, 자체적으로 다양한 리서치를 수행한다고 하더라도 항상 데이터에 대한 갈증에 목 마르게 된다. 그렇다고 해서, 우리는 Insights를 뽑기 위해 멈출 수는 없는 것이다. Jacob Nielson의 말처럼 종종 부정확하고 신뢰롭지 못한 데이터에서 Insights를 뽑아내야 하는 상황에 부딪히게 된다. 이때 고민을 하게 된다. 과연 우리는 Insights를 어떻게 뽑아야 하고, 그 Insights가 맞다고 확신할 수 있을까? 쉽지 않은 일다.

 

하지만, 확실한 것은 있다. 그 어떤 상황이라도 데이터에 대해서 신중하게 접근하여 분석해야 하고, 조금이라도 더 많은 데이터를 확보하려고 노력해야 한다는 것이다. 그리고 가능한 많은 다양한 관점으로 데이터를 보려고 해야 한다는 것이다. 어떤 종합적인 시각으로 볼 것인지, 어떤 부분이 빠져 있고 그로 인해 발생할 수 있는 문제점은 무엇인지, 그 문제를 해결하기 위해서는 어떻게 해야 하는지에 대해서 고민, 고민, 또 고민을 해야 한다.

 

프로젝트에서 한 순간의 실수는 그 이후의 작업 및 결과에 대해서 심각한 문제를 초래할 수 있다. 데이터에 대한 접근 및 분석에 있어서도 마찬가지이다. 이 사실을 절대 잊지 말아야 한다.

 

[Book] Web Form Design

2008년 야후의 Luke Wroblewski가 쓴 Web Form Design이라는 책이 출판되면서, 그 동안 많은 사람들이 무심코 지나갔던 Web Form에 대해서 다시 한번 생각하게 되는 계기가 되었다. Web Form은 우리가 그동안 생각했던 것 이상으로 매우 중요함에도 불구하고, 웹 사이트를 기획하거나 설계하는 과정에서 상대적으로 중요도를 낮게 평가하고 그 결과로 Web Form은 대강대강 해도 된다는 인식이 우리도 모르게 자리 잡혀버혔다. 하지만, 대다수의 Web Form은 사용자에게 더 나은 경험을 제공하기 위한 준비 단계로써 매우 중요한 역할을 하기 때문에 중요성에 대해서 절대 간과해서는 안 되는 것이다 (특히, 회원 가입에 대한 Web Form의 경우 그 중요성은 우리가 생각하는 것 이상으로 판단해야 한다.)

 

Luke Wroblewski는 Eyetracking Research를 포함하여 다양한 UX Research 결과물을 토대로 Web Form 디자인 시 고려해야 하는 사항들에 대해서 정리한 것이 Web Form Design이라는 책이다. Luke Wroblewski는 책을 출판한 이후, Web Form과 관련된 다양한 질문을 받은 것 같다. 과거 연구 결과들을 바탕으로 책을 썼지만, 그렇게 하면 정말로 효과가 있느냐 그리고 어떻게 하면 효과가 가장 극대화할 수 있느냐에 대해서 지속적으로 질문을 받은 것 같다.

 

Lusk Wroblewski는 이와 관련하여 타당성 검증을 실시하였고, 가장 최근에 그 결과를 A List Apart라는 사이트에 'Inline Validation in Web Forms'로 발표하였다. 연구 결과는 기존의 책에서 주장한 내용과 동일하다. Web Form Design 이라는 책을 읽어보신 분이 있다면 이 연구 결과도 같이 한번 읽어보는 것이 좋을 것 같다.

 

 

 

 

Usability or User Experience - What's difference?

우리는 보통 Usability라는 개념과 User Experience 개념을 혼동해서 사용한다. 하지만, 각각의 단어들이 어떤 의미를 가지고 있는지, 그리고 그 안에서 우리가 초점을 맞춰야 하는 것이 무엇인지 생각해 봐야 한다.

 

보통 Usability는 사용하기 쉽게 만드는 것에 초점을 맞추고 있다고 생각한다. 하지만 ISO의 정의에 따르면 단순히 사용하기 쉽게 만드는 것으로 제한적으로 사용하는 것 이상의 의미를 내포하고 있다. 즉, 사용자의 다양한 경험에 더 포괄적으로 접근하고 있는 것이다. 만약 이 개념으로 접근한다면 Usability라는 용어보다 User Experience라는 용어를 사용하는 것이 더 타당할 것이다. User Experience는 사용자가 경험하는 모든 것을 다 포함하고 있고, 그러한 요소들의 경험을 극대화하는 것에 초점을 맞추고 있다. 하지만, User Experience라는 개념이 어떤 것인지에 대해서는 좀 더 신중하게 고민해 봐야 한다. 어떻게 정의를 하느냐에 따라 우리가 접근하는 방식이 다르기 때문이다.

 

User Experience와 Usability 간의 개념적 차이가 무엇인지에 대해서 Tom Stewart는 'Usability or User Experience - What's Difference?'라는 포스트에서 논의를 하고 있다. 이 포스트를 읽어보면서 User Experience와 Usability가 과연 어떤 개념인지 고민해 봤으면 좋겠다.

Card Sorting

 

UX 리서치 방법론 중에서 가장 많이 알려져 있으면서도, 어떻게 보면 가장 사용하기 힘든 방법론 중 하나이다. 카드 소팅 방법론에 대한 개념 자체는 그렇게 어려운 것은 아니지만, 진행 방법에 따라 결과가 전혀 다르게 나타나고, 나타난 결과에 대해서 해석 및 적용하기도 만만치 않다. 그래서, 이 방법론을 사용할 때에는 항상 고민을 많이 하게 된다.

 

책에 대한 리뷰를 내가 하는 것도 좋겠지만, 이미 The Designer's Review of Books라는 아주 괜찮은 사이트에서 자세한 리뷰를 해 놨기 때문에 내가 별도로 하지 않아도 될 듯... 카드 소팅 방법론을 알고 싶은 사람에게는 이 책이 유용하지만, 실무자들에게는 생각보다 깊이 있는 정보를 제공해 주지 않고 있다. 카드 소팅에 관심있는 사람들은 한번쯤 읽어봐도 나쁘지 않은 책... 참고로 책도 얇다...

 

리뷰 바로가기

 

사용성 테스트에서 몇 명의 참여자가 필요한가?

우리가 사용성 테스트를 진행할 때, 과연 몇 명의 사용자를 대상으로 해야 하는가에 대해서 고민하게 된다. 마케팅 조사에서 일반적으로 활용되고 있는 정량조사 방법론은 상대적으로 많은 수의 사람들을 대상으로 하고 있어, 결과에 대한 신뢰도와 타당도를 확보하기 위하여 획득한 결과에 대해서 비교 검증을 활용할 수 있다. 하지만, 사용성 테스트는 주로 질적 방법론에 기초해서 매우 적은 수의 사용자를 대상으로 하기 때문에 이러한 방법론을 활용하기가 매우 어렵다. 특히, 이것은 내외부의 프로젝트 참여자에게 해당 결과를 설득시키는데 있어서 매우 중요한 이슈 중 하나로 부각될 수 있기 때문에 더 고민을 하는 것이다.

 

 

그 질문에 대한 해결책으로 Nielson이 제안한 것을 많이 참조한다.  UX 분야에서 선구자적인 역할을 하고 있는 Nielson은 2000년도에 자신이 운영하는 사이트인 useit.com의 'Why you only need to test with five users'라는 포스팅에서, 정교한 사용성 테스트를 진행한다면 5명의 사용자를 대상으로 하더라도 사용성 이슈의 80% 정도는 해결할 수 있다고 주장한다. 이 주장은 1992년에 Robert A. Virzi의 'A refining the test phase of usability evaluation: How many subjects is enough?'와 1993년에 Jacob Nielson과 Thomas K. Landauer의 'A mathematical model of the finding of usability problems' 에서 나온 결과를 바탕으로 해서 나온 것이다. 

 

Jacob Nielson

 

 

하지만, Nielson의 주장에는 한 가지 문제가 있다. 하나의 가정을 하고 있는데, 그것은 모든 사용자가 같은 비율로 문제가 되는 이슈에 대해서 30%를 찾을 수 있다는 것이다. 이 가정은 아주 치명적인 약점이 될 수 있는 부분이다. 그럼에도 불구하고, 많은 UX 관련자들은 Nielson이 주장한, 일명 '매직넘버 5'를 따르며 사용성 테스트를 진행해 왔다.

 

Jared Spool

 

2001년 CHI에서 Jared Spool과 Will Chroeder는  'Testing Web Sites : Five users is nowhere near enoght'를 발표하면서,  Jacob Nielson의 주장과는 다른 주장을 하고 있다. 과거에 비해 웹 사이트의 복잡성이 증가하면서 사용성 이슈 또한 복잡해져, 5명에 대한 결과만으로는 부족하다는 것이다. 또한 비록 프로젝트 초기 단계이더라도 모든 문제가 다 밝혀지기 전까지는 얼마나 많은 문제가 있는지 알지 못하기 때문에, 5명의 사용자만으로 80% 이상의 사용성 이슈를 발견할 수 있다고 주장하는 것은 무리가 있다는 것이다. 

 

그리고, 마지막으로 Jacob Nielson이 프로젝트 초기 단계에서 실시할 경우 테스트 앞단에서 거의 모든 심각한 문제를 발견할 수 있다고 했지만, Jared Spool과 Will Schroeder는 꼭 그런 것은 아니라고 주장하고 있다. 이들은 심각한 문제가 표면에 드러날 때에만 그 문제를 발견할 수 있을 뿐이라는 것이다.

 

(사실, 그 문제는 발견되었을 때만 그 문제가 있다는 것을 알 수 있다. 아무리 정교한 테스트를 설계하고 진행하더라도 테스트 설계 및 태스크 정의, 태스크 진행 방법 등에 따라서 그 문제를 발견할 수도 있고 없을 수도 있다. 그리고, 과거에 비해 웹 사이트가 워낙 복잡해졌기 때문에 한번에 모든 사용성 이슈를 다 다룰 수 없다는 것도 또 하나의 이슈가 된다.)

 

2003년 Jacob Nielson은 CHI Panel에서 기존의 자신의 의견을 다음과 같이 수정하게 된다.

 

"The standard recommendation to observe 3-4 users refers to studies conducted during a user-centered design process where an interaction design needs to be debugged for usability. The "discount usability" philosophy explicitly recognizes that this will not be a perfect study that will discover everything that's possible to know about design, but we accept this trade-off in return for having more iterations in the design process and conserving resources for subsequent evaluations of these iterations."

 

즉, 빠른 프로젝트 진행을 하면서 동시에 지속적으로 사용성 이슈가 있는지 확인하기 위해서는 소위 Rapid Iterative Testing이 필요하고, 이것을 고려할 때 많은 수의 사용자를 대상으로 수행할 수 없다는 것이다. 그래서, 5명 정도의 사용자만을 대상으로 해도 충분하다는 것이다. 여기서의 핵심은 Rapid Iterative Testing을 다시 전제로 하고 있다는 것이다. 이 부분에 대해서는 같이 패널로 참석한 Microsoft사의 Dennis Wixon 또한 동의하고 있다

Dennis Wixon

 

패널 중 한 사람이자 'Usability Testing and Research'의 저자 Southern Polytechnic 주립대학교 Carol Barnum 교수 또한, Nielson의 주장에 일부 동의하면서 다음과 같은 조건일 때 5명의 참석자로 충분하다고 주장했다.

 

• when the original discount model for testing is followed
• when the results of testing are understood and clearly communicated
• when there is close cooperation between the client / sponsor and the test team
• when the results are used for diagnostic purposes and team learning
• when the expected results is insight, not validation 

Barum 교수의 주장은 제한적인 사항에 대해서만 사용성 테스트 진행 시 5명의 사용자면 충분하다고 주장하고 있는 것이다. 

Carol Barnum

Barum 교수의 주장과 유사하게 Tom Tullis와 Bill Albert는 2008년에 출간한 'Measuring the User Experience'에서 다음과 같은 상황에서 5명으로 충분하다고 주장한다.

 

• The scope of the evaluation is fairly limited. This means we are not doing a product-wide assessment, but rather looking only at a limited set of functions - usually about 5 to 10 tasks and about 20 to 30 web pages
• The user audience is well defined and represented. If we pretty much know who we want to test with, and they are well represented in testing, then five is adequate. If we identify more than one unique audience, then we will strive to have about five participants from each user group.

 

상황에 따라 사용성 테스트에 참석하는 사용자의 수가 달라진다고 주장하는 사람이 또 있다. Sarah Burton-Taylor는 'How many testers are enough?'라는 글에서 다음과 같은 상황에 따라 사용성 테스트에서 필요로 하는 사용자 수가 달라진다고 주장하고 있다.

 

• Unearth all the usability issues on a site?

• Identify the 'big' usability issues that stop users having a good user experience?

• Do an academic or benchmarking study?

• Inform a complete site redesign?

• Develop a user centered organizational culture?

• Persuade a senior manager that there is a major problem with the site - which he denies!

• The budget and time available - inevitably there are always constraints on both

• The diversity of the site's target audiences - the goals they wish to achieve, their knowledge and their experience

• The strategic importance of the web site - is it mission critical?

 

 

2007년 San Jose에서 열린 CHI 2007에서 Gitte Lindgaard와 Jarinee Chattratichart는 다른 이슈를 제기하였다. 사용성 테스트에 참석하는 참석자 수의 문제가 아니라, 테스트에 사용되는 tasks에 의해 발생되는 이슈라는 것이다. 실제 tasks에 따라 사용성 이슈를 발견할 가능성이 달라진다고 주장하고 있는 것이다.

 

 

그렇다면, 우리는 계속해서 고민을 하게 된다. 과연 몇 명의 사용자(참석자)가 필요한 것인가? Sarah Burton-Taylor는 다음과 같이 주장하고 있다.

As we said at the beginning it's a trade off between the research objectives, time and money available, user variability and strategic importance. Quality, not quantity, is the issue - the quality of the evaluation, its results, and the use to which those results are put. Better to test smaller numbers iteratively and fix the problems in between, rather than test large numbers at any one time. Often one large problem will dominate and prevent testers progressing through the site - with large sample sizes clients will simply see testers fail repeatedly on the same task!

 

 

요약

사용성 테스트라 할지라도 사용되는 방법론이 무엇이냐에 따라서 기본적으로 요구되는 참석자 수가 달라질 것이다. 하지만, 사실 이것에 대해서도 합의된 숫자나 가이드라인은 없는 상태이다. 테스트 상황에 따라서 다르고, 웹 사이트의 복잡성에 따르고, 이슈가 되는 사용성의 심각성에 따라서도 다르기 때문이다. 이것에 대해서는 지금까지 정답이나 가이드라인이 없기 때문에 적절하면서도 효과적으로 대처할 수 밖에 없을 것이다. 현재 자신이 처한 프로젝트 상황 등을 고려해서 자신의 경험과 직관에 의해서 판단해야 할 부분이 많아질 것이다. 하지만 확실한 것은 사용성 테스트를 전혀 하지 않는 것보다 한명의 사용자를 대상으로 하더라도 사용성 테스트를 진행하는 것이 좋다는 것이다. 그것은 미쳐 우리가 생각하지 못했던 새로운 사실을 알려줄 수 있기 때문이다.

 

 

덧붙이는 말

사실 나도 사용성 테스트를 수행하면서 이런 질문도 많이 듣고 고민을 많이 했지만, 정답이 없기에 대답을 할 때 상당히 어려움을 느낀다. 그리고 계속해서 몇 명의 사용자가 필요할까라는 고민도 많이 하게 된다. 그리고 과거 경험이나 직관에 많이 의존하지만 그래도 불편하고 불안하기에는 마찬가지이다. 누군가 정답이나 가이드라인을 딱 내 놓았으면 하는 심정이다. 하지만, 정성 조사의 성격을 가지고 있기 때문에 그것은 쉬운 일이 아닐 것이다. 너무나 많은 요인들의영향을 받기 때문이다.