프로젝트 초기 단계에서의 사용성 테스트와 참여자 수...

사용성 테스트와 관련하여 가장 논쟁이 많이 되고 있는 것이 참석자 수와 관련된 것이다. Jacob Nielson이 1993년도에 5명만을 가지고서도 충분히 사용성과 관련된 이슈를 발견할 수 있다고 주장한 이래 적정 참석자 수에 대한 논란은 끊이지 않고 있다. 5명이 정말로 필요충분 조건인가에 대해서는 많은 논란이 있고, 1993년도와 비교하여 지금은 웹 사이트가 너무나 복잡해졌기 때문에, 이에 대한 논란은 더 커지고 있다. 실무자의 입장에서는 다른 부서 사람들과 결과를 공유할 때 이 문제를 어떻게 설명해야 하는지 난감해질 때가 종종 있게 된다. 심지어, 결과에 대한 신뢰성 이슈까지 나온다면 난감해지는 정도가 아니라, 좌절까지 하는 사람들도 많이 봤다. 이것은 사용성 테스트의 목적, 학문 vs. 실무, 다른 부서원들의 리서치 방법론 이해도 등 다양한 방식으로 설명할 수 있지만, 결코 쉽게 해결될 수 있는 문제는 아니다.

 

더군다나 프로젝트 초기 단계라면 더더욱 고민이 된다. 프로젝트 초기 단계에서 프로토타입을 가지고 사용성 테스트를 할 때 다음과 같은 이슈가 등장하게 된다.

 

• 프로젝트 초기 단계에서 실시하는 사용성 테스트는 무엇보다 심각한 사용성 문제를 발견하는 것이 목적이다. 궁극적으로 실행불가능한 디자인 컨셉에 대해서 수정할 여유는 없다.
• 프로로타입은 프로젝트 초기 단계에서의 산출물이기 때문에, 프로젝트 후기에서 볼 수 있는 산출물과 비교하여 문제를 더 많이 가지고 있을 수 밖에 없다. 이것은 기술적인 문제일 수도 있고, 개념적인 문제일 수도 있다.
• 기존과 매우 다른 인터페이스를 적용하려고 한다면 당연히 사용자들은 사용하는데 어려워 할 수 밖에 없다. 한 마디로 익숙하지 않기 때문이다. 그렇다고 이것이 사용성에 문제가 있다고 말할 수 있을까?

 

프로젝트 초기 단계에서 사용성 테스트를 할려고 하면, 어느 정도 완성이 되는 단계에서 실시하는 것과 매우 다른 생각과 접근 방식을 해야 한다. 그렇기 때문에, 더 많은 고민을 해야 하는 것이다. 그리고 그 중에서 몇 명을 대상으로 해야 하는 것인가에 대해서 더 많은 고민을 하게 한다. (다른 사람을 일단 설득해야 하지 않는가?)

 

많은 논란이 있긴 하지만, 그래도 사용성 테스트를 실시할 때 참석자 수의 범위는 대략 3~20명 정도이다 (연구자에 따라 이 범위 안에서 적정 수를 주장한다). 그 중에서 대략 5~10명 정도면 기본은 할 수 있을 것이다 (사이트의 복잡성, 인터랙션의 복잡성 등 이슈가 증가하면 참석자 수를 Saturation이 나타날 때까지 증가시키면 된다). 이런 것들을 고려할 때, 프로젝트 초기 단계에서는 빠른 검증이 중요하기 때문에 이것보다 적은 수의 참석자를 대상으로 하더라도 문제가 없을 것이다(Ritch Macefield, 2009). 일단, 2~3명이라도 전혀 이해하지 못하면 개념적으로 무언가 문제가 있다고 생각할 수 있을테니까...