Selling Usability : User Experience Infiltration Tactics

지금 서울여대 교수님으로 계신 전 NHN UX Lab의 이지현 교수님과 함께 랩원들은 그 동안 한국에 UX를 전파하고, 회사 내에서도 UX Process를 만들기 위해서 많은 고생을 했다. UX에 대해서 잘 알려지지 않은 시절, 한국에서 성공적인 사례가 없었던 시기부터 UX를 알리기 위해서 정말 많은 고생을 한 것이다. 그 결과 나름 한국 기업 중 UX Process를 만든 성공적인 사례로 만들었고, 벤치마킹을 하고 싶은 부서로 만들지 않았나 생각한다. 하지만 그렇다고 NHN 내에서도 UX Process를 완벽하게 구축했다고 생각하지 않는다. 우리의 역할에 대해서, 그리고 사내에 더 많은 사람에게 UX를 단순한 지식이 아닌 서비스를 제공하는 주요 관점 중 하나로 알리기 위해서 더 많은 노력을 하고 있다.

 

그런 과정 속에 있는 나는 얼마 전에 아마존에서 한 권의 책을 알게 되었고, 지금은 너무나 정신없이 이 책을 읽고 있는 중이다. 그 책을 보면서 지난 고생했던 시절과 함께 앞으로 사내에, 더 나아가 한국에 UX를 제대로 정착시킬 것인가에 대해서 더 많은 고민을 하게 되었다. 그리고 그 안에서 나름 방법을 찾게 된 것은 아닌가 하는 생각을 하게 된다.

 

 

그 책은 John S. Rhods가 쓴  Selling Usability : User Experience Infiltration Tactics  책이다. John S. Rhods는 한국에는 잘 알려지지 않았지만, 꾸준히 UX를 전파하기 위해서 열심히 노력한 사람이다. 우리가 보기에 미국이라는 나라에서 IBM, MS, Google 등 많은 대기업 내에 UX 부서가 있고, 그들의 위치가 나름 확고하다고 생각하고 있다. 그래서 미국은 UX의 천국이 아닌가 하는 생각을 하게 될지도 모른다.

 

 

 

하지만, 미국도 아직까지는 더 많은 기업들이 UX에 대해서 제대로 이해하고 있지 못하며, 실제 조직 내에서도 그 필요성에 대해서 제대로 인식하고 있지 못한다. 그래서, UX를 하는 사람들의 고충도 한국 못지 않게 큰 것이 사실이다. 오죽했으면 User-Centered Design Stories: Real-World UCD Case Studies 이라는 책이 나올 정도였겠는가... 미국 기업 내에서도 UX를 한다는 것은 한국에서와 마찬가지로 아주 힘든 상황인 것이다.

 

Selling Usability : User Experience Infiltration Tactics  에서는 UX에 대해서 전혀 알지도 듣지도 못한 기업일지라도 어떻게 하면 UX를 정착시킬 수 있는지 나름 Tips을 제공하고 있다. 이 Tips은 John S. Rhods가 UX 컨설팅을 하면서 겪은 경험에 기초해서 나온 것이다. 실제 경험에서 나온 만큼 매우 유용한 것들이 많으며, 현재 내게 닥친 이슈에 대해서 어떻게 해결하면 좋을지 해결 방향에 대해서 조언을 해 주고 있다. 더 많은 생각과 실타레를 푸는 방식을 말이다.

 

책 자체도 매우 쉽게 쓰여져 있다. 부담없이 읽을 정도이다. 하지만, 그 안에는 무수한 보물이 숨겨져 있으며, 우리가 전략적으로 어떻게 하면 UX를 사내에 전파시킬 수 있을지에 대해서 매우 유용한 Tips이 있다. 한국에서 UX를 하는 사람, 사내에 UX를 전파하고자 하는 사람은 꼭 읽어봤으면 한다. UX를 전파한다는 것은 매우 고도화된 전략과 접근이 필요한 것이다.

 

 

왜 진작에 이런 책이 나오지 않은 것이지!!!!

 

사용성 테스트 결과를 어느 수준까지 써야 하는가?

사용성 테스트를 하여 사용성 문제를 발견했을 때, 보고서에 어느 정도 수준까지 써야 하는지 생각해 볼 때가 있다. 사용성 문제에 대해 보고할 때 고려할 수 있는 수준은 다음과 같다.수준 1에서 3까지의 차이는 사용성 문제에 대해서 어느 범위까지 관여를 할 것인가에 대한 차이이다.

 

수준 1. 무엇이 문제인지 기술한다.

수준 2. 무엇이 문제인지 기술한 후, 이슈 해결을 위한 제언을 한다.

수준 3. 무엇이 문제인지 기술하고, 이슈 해결을 위한 제언을 한 뒤,

           개선 시안까지 작성한다.

 

수준 1의 문제는 사용성 이슈를 발견할 것까지는 좋지만, 그래서 무엇을 해야 하는가(So what?)에 대해서는 전혀 알려주지 못한다. 수준 2는 그나마 무엇을 해야 하는지 알려주기는 하지만 구체적으로 어떤 액션을 취해야 하는지에 대해서는 알려주지 못한다는 한계가 있다.

 

수준 3은 구체적인 대안을 제안함으로써, 어떤 액션을 취해야 할지에 대해서 쉽게 결정을 할 수 있다. 실제 Hornbaek과 Frokaer의 연구(2005), Dumas, Molich와 Jeffries(2004)의 연구에 따르면, 디자이너와 개발자도 수준 3 까지 보고서를 작성했을 때, 더 선호한다고 주장하고 있다.

 

하지만, 수준 3까지 작성할 때 주의해야 할 점이 있다. 먼저, 유관부서와의 협력 관계를 긴밀하게 유지해야 한다. 자칫하면 유관부서에서 자기의 R&R을 침범했다고 오해할 소지가 있다. 새로운 개선 시안을 제시했을 때 기획이나 디자이너 직무에 있는 유관부서원들이 왜 자신이 해야 할일을 시키지도 않았는데 했냐고 이야기할 수도 있다. 이런 문제를 해결하기 위해 평소 유관부서원들과 지속적인 커뮤니케이션과 좋은 관계를 유지해서 같은 목표를 향해 나아가는 협력자임을 느끼게 해 줘야 한다.

 

두번째는 사용성 평가 전문가 또는 UX Researcher라고 할지라도 IA 설계나 Interaction 설계에 대한 역량을 충분히 갖고 있어야 한다. IA 설계 능력이나 Interaction 설계에 대한 역량이 부족하다면 새로운 개선 시안을 제안할 수 없게 된다.

 

사용성 평가라는 것은 단지 문제가 있다는 것을 발견하는 것만이 목적이 아니다. 문제를 해결함과 동시에 사용자 경험을 더욱 좋게 만들기 위해서 적극적인 제안을 하는 것이 더 큰 목적인 것이다. 사용성 평가 결과 보고서를 작성할 때 이점에 대해서 명심해야 한다.

 

참고로, Molich, Ede, Kaasgaard와 Karyukin(2004)은 대부분의 사용성 평가 보고서와 다음과 같은 문제로 효용 가치가 떨어진다고 이야기하고 있다.

 

• 보고서가 너무 길다. (보기에도 부담스럽다)
• 요약 페이지가 없다. (무엇이 핵심인지 파악하기가 쉽지 않다)
• 문제의 심각성에 대한 심각성 정도를 알 수 없다. (무엇부터 개선해야 하는지 알지 못하겠다)
• 문제가 무엇인지 명확하지 않거나 모호하다. (도대체 문제가 무엇인지 모르겠다)

 

보고서는 한번에도 무엇이 문제이고 그 문제를 어떻게 하면 해결할 수 있는지 명확하게 작성해야 한다.

 

 

다음 논문은 앞에서 이야기한 내용에 많은 시사점을 줄 수 있을 것이다.

 

Rolf M., Robin J., & Joseph D. (2007), Making Usability Recommendations Useful and Usable

 

 

뉴로마케팅... 과연 현실적으로 적용할 수 있을 것인가?

지난 4일 Nature Reviews Neuroscience에 듀크대학교의 행동경제학자인 Dan Ariely교수와 에머리대 경제뉴로정책과의 Gregory S. Berns 교수는 'Neuromarketing: The hope and hype of neuroimaging in business'라는 제목으로 논문을 발표했다. 논문의 요지는 광고주나 마케팅 전문가들은 설계 단계에 있는 제품의 고객 호응도를 뇌 분석(Brain Activity Analysis)를 통해 구매충동 시점과 결정과정까지 들여다 본 후 이를 바탕으로 제품을 출시할 수 있다는 것이다. 이 과정에서 fMRI(Functional Magnetic Resonance Imaging)이라는 장비를 이용하게 된다.

 

fMRI는 신경과학이나 심리학 등의 뇌 관련 분야에서 많이 활용되고 있는 연구 장비이다. 특정 뇌 부위가 활성화되면 뇌 혈관 속의 혈액 흐름은 빨라지고, 혈액 공급 속도를 바탕으로 어떤 뇌 부위가 활성화되는지 색상의 구분으로 실시간 파악이 가능하다는 장점이 있다. 이것을 통해서 어떤 상황에서 어떤 뇌 부위가 활성화되는지 우리는 알 수 있는 것이다.

 

 

fMRI를 통해 나타난 뇌 활동 이미지 결과

 

 

Dan Ariely교수와 Gregory S. Berns 교수는 이런 fMRI를 활용하여 구매시점, 구매 결정과정 등의 뇌 활동을 분석함으로써, 고객들이 정확하게 언제 구매 결정을 하는지, 구매 결정 시 뇌의 어느 부위가 담당하는지 등에 대한 실마리를 얻을 수 있다고 주장하는 것이다. 그리고 이것을 통해 제품 개발 단계에서 효과적으로 이용할 수 있다고 주장한다. 심지어 fMRI 분석은 고객 자신이 몰랐던 고객의 생각, 느낌, 반응, 그리고 궁극적으로 소비에 대한 정보까지 제공하게 될 것이라고 전망하고 있다.

 

신경과학(Neuroscience) 분야에서 인지 처리 활동과 관련된 뇌 분야를 연구하기 위해서 fMRI 뿐만 아니라 EEG(Electoencephalography, 뇌파 측정으로 알려져 있음), PET(Position Emission Tomography)와 같은 다양한 방법을 사용하고 있다. 그리고 이런 방법론은 신경 세포(neuron) 단위가 아닌 영역 단위(Region)로 뇌를 연구하고 이해하려는 것이다. 이런 방법들을 통해 우리는 과거에 비해 뇌에 대해서 조금 더 많이 이해를 할 수 있게 되었다.

 

하지만, fMRI를 포함하여 현재 활용하고 있는 EEG와 PET 등을 활용한  뉴로마케팅(Neuromarketing)은 우리가 생각하는 것보다 너무나 치명적인 한계가 너무 많다. 그리고 그 한계로 인해 우리는 뉴로마케팅(Neuromarketing)을 활용하여 고객이나 사용자에 대한 이해가 가능한 것인지 다시 한번 생각해 봐야 한다.

 

첫번째는 가격이다. fMRI와 PET와 같은 장비는 아직까지 매우 고가이다. 그래서 거의 모든 병원이나 의대에서는 장비를 구입하기 보다는 렌탈해서 사용하고 있다. 일반 기업 입장에서 구입을 하거나 업체를 통해 테스트를 하기에는 효과 대비 비용 이슈가 크게 나타난다.

 

두번째는 자연스러운 행동을 방해한다는 것이다. 인터넷을 사용하거나, 모바일을 통해서 웹 서비스에 접근하거나, 물건을 사는 것은 맥락(Context)에 영향을 많이 받는다. 테스트 시 맥락(Context)에 얼마나 가까운 환경을 조성해 주느냐가 매우 중요한 역할을 한다. fMRI나 PET, EEG와 같은 뇌 활동을 측정해 주는 방법을 활용할 때는 이것이 무엇보다 중요하다 (뇌 활동은 많은 요인에 의해서 결정되지만, 맥락이 달라지게 되면 활동 패턴도 매우 민감하게 변화한다). 하지만 아래 사진을 보면 맥락(Context)을 고려하여 테스트 하는 것이 얼마나 힘든 것인지 알 수 있다. 장비의 특성 때문이다.

 

 

Berkeley's 4T fMRI Scanner, Wikipedia 참조

 

 

EEG를 부착한 상태

 

 

EEG를 부착하고 테스트를 수행하고 있는 모습

 

 

즉, 매우 부자연스러운 환경을 조성할 수 밖에 없다는 것이다. 이런 환경이라면 일반적인 환경과 다른 뇌 활동 패턴이 나타날 수 밖에 없다는 것을 감안해야 한다. (기저선 Baseline을 설정해 놓고 비교를 하면 되지만, 테스트 목적을 감안했을 때 과연 그 결과가 신뢰롭고 타당한 것인지에 대해서는 다시 생각해봐야 한다.)

 

세번째는 결과에 대한 모호성이다. 신경 세포(Neuron) 단위로 측정해서 사람들의 생각이나 태도 등을 안다는 것은 아직까지 아주 먼 세상 이야기이다. 현재 과학기술로는 절대 불가능하다 (미래라면 가능할지 모르지만, 누구도 그 시점이 언제인지 알지 못한다). 이것은 영역 단위(Region)로 연구하는 것도 마찬가지이다. 아래는 EEG의 결과를 예시이다.

 

 

EEG 결과 예시

 

 

학계에서도 결과를 해석할 때 논란의 여지가 많아 너무나 신중하게 분석하고 제안한다. 예를 들어, 전전두엽(Prefrontal Lobe)이 작업 기억(Working Memory)와 주의(Attention)에 관련이 있다는 것은 알고 있다. 그리고 특정 태스크를 수행하는데 있어서 fMRI를 통해 전전두엽(Prefrontal Lobe)이 활성화되는 것은 알 수 있지만, 정말 그것이 의미하는 것이 무엇인지는 알지 못한다. 즉, 뇌 활동의 아주 일부를 알 수 있지만, 현재로서는 인간의 고등 정신 과정, 예를 들면 사고나 감정, 의지, 태도에 대해서는 여기서 획득한 데이터로는 해석하거나 판단하는 것은 불가능하다. 이것은 뇌에 대해서 알려진 것이 아직까지 거의 없다는 사실과 관련성이 높다.

 

 

뉴로마케팅(Neuromarketing)은 언젠가 시간이 지나 기술이 발전된다면, 분명 가능할 것이다. 하지만, 현재로써는 답이 없다는 것이 분명 진실일 것이다. 왠지 말 자체가 멋있어 보여서 한번 해봐야 하는 것이 아닌가 하는 생각도 할 것이다.

그러나 새로운 것을 도입하려고 한다면 반드시 이론이나 방법론 자체에 대해서 꼼꼼히 따져보고 해야 할 것이다. 섣부른 도전은 오히려 신뢰성을 낮추고 실망감을 안겨 줄 수 있을테니까...

 

 

프로젝트 초기 단계에서의 사용성 테스트와 참여자 수...

사용성 테스트와 관련하여 가장 논쟁이 많이 되고 있는 것이 참석자 수와 관련된 것이다. Jacob Nielson이 1993년도에 5명만을 가지고서도 충분히 사용성과 관련된 이슈를 발견할 수 있다고 주장한 이래 적정 참석자 수에 대한 논란은 끊이지 않고 있다. 5명이 정말로 필요충분 조건인가에 대해서는 많은 논란이 있고, 1993년도와 비교하여 지금은 웹 사이트가 너무나 복잡해졌기 때문에, 이에 대한 논란은 더 커지고 있다. 실무자의 입장에서는 다른 부서 사람들과 결과를 공유할 때 이 문제를 어떻게 설명해야 하는지 난감해질 때가 종종 있게 된다. 심지어, 결과에 대한 신뢰성 이슈까지 나온다면 난감해지는 정도가 아니라, 좌절까지 하는 사람들도 많이 봤다. 이것은 사용성 테스트의 목적, 학문 vs. 실무, 다른 부서원들의 리서치 방법론 이해도 등 다양한 방식으로 설명할 수 있지만, 결코 쉽게 해결될 수 있는 문제는 아니다.

 

더군다나 프로젝트 초기 단계라면 더더욱 고민이 된다. 프로젝트 초기 단계에서 프로토타입을 가지고 사용성 테스트를 할 때 다음과 같은 이슈가 등장하게 된다.

 

• 프로젝트 초기 단계에서 실시하는 사용성 테스트는 무엇보다 심각한 사용성 문제를 발견하는 것이 목적이다. 궁극적으로 실행불가능한 디자인 컨셉에 대해서 수정할 여유는 없다.
• 프로로타입은 프로젝트 초기 단계에서의 산출물이기 때문에, 프로젝트 후기에서 볼 수 있는 산출물과 비교하여 문제를 더 많이 가지고 있을 수 밖에 없다. 이것은 기술적인 문제일 수도 있고, 개념적인 문제일 수도 있다.
• 기존과 매우 다른 인터페이스를 적용하려고 한다면 당연히 사용자들은 사용하는데 어려워 할 수 밖에 없다. 한 마디로 익숙하지 않기 때문이다. 그렇다고 이것이 사용성에 문제가 있다고 말할 수 있을까?

 

프로젝트 초기 단계에서 사용성 테스트를 할려고 하면, 어느 정도 완성이 되는 단계에서 실시하는 것과 매우 다른 생각과 접근 방식을 해야 한다. 그렇기 때문에, 더 많은 고민을 해야 하는 것이다. 그리고 그 중에서 몇 명을 대상으로 해야 하는 것인가에 대해서 더 많은 고민을 하게 한다. (다른 사람을 일단 설득해야 하지 않는가?)

 

많은 논란이 있긴 하지만, 그래도 사용성 테스트를 실시할 때 참석자 수의 범위는 대략 3~20명 정도이다 (연구자에 따라 이 범위 안에서 적정 수를 주장한다). 그 중에서 대략 5~10명 정도면 기본은 할 수 있을 것이다 (사이트의 복잡성, 인터랙션의 복잡성 등 이슈가 증가하면 참석자 수를 Saturation이 나타날 때까지 증가시키면 된다). 이런 것들을 고려할 때, 프로젝트 초기 단계에서는 빠른 검증이 중요하기 때문에 이것보다 적은 수의 참석자를 대상으로 하더라도 문제가 없을 것이다(Ritch Macefield, 2009). 일단, 2~3명이라도 전혀 이해하지 못하면 개념적으로 무언가 문제가 있다고 생각할 수 있을테니까...

 

 

 

데이터에 대한 환상... 그리고 그 결과...

For usability engineering purpose, one often needs to draw important conclusions on basis fairly unreliable data, and one shoul certainly do so since some data is better than no data.

- Jacob Nielson, 1993

 

즉, Jacob Nielson은 데이터가 전혀 없는 것보다 있는 것이 낫다고 주장한다. 심지어 그것이 부정확한 신뢰롭지 못한 데이터라도... 물론, 데이터가 없는 것보다 조금이라도 있는 것이 낫다. 하지만, 그 데이터가 부정확하고 신뢰롭지 못한 데이터라면 문제가 달라진다. 우리는 잘못된 데이터로 잘못된 결론에 도달할 가능성이 그만큼 커지게 된다.

 

실제 현장에서 일을 하다보면, 데이터 부재라는 상황에 많이 부딪힌다. 우리가 원하는 정도의 풍부한 데이터는 없다. 이곳 저곳에서 데이터를 끌어오고, 자체적으로 다양한 리서치를 수행한다고 하더라도 항상 데이터에 대한 갈증에 목 마르게 된다. 그렇다고 해서, 우리는 Insights를 뽑기 위해 멈출 수는 없는 것이다. Jacob Nielson의 말처럼 종종 부정확하고 신뢰롭지 못한 데이터에서 Insights를 뽑아내야 하는 상황에 부딪히게 된다. 이때 고민을 하게 된다. 과연 우리는 Insights를 어떻게 뽑아야 하고, 그 Insights가 맞다고 확신할 수 있을까? 쉽지 않은 일다.

 

하지만, 확실한 것은 있다. 그 어떤 상황이라도 데이터에 대해서 신중하게 접근하여 분석해야 하고, 조금이라도 더 많은 데이터를 확보하려고 노력해야 한다는 것이다. 그리고 가능한 많은 다양한 관점으로 데이터를 보려고 해야 한다는 것이다. 어떤 종합적인 시각으로 볼 것인지, 어떤 부분이 빠져 있고 그로 인해 발생할 수 있는 문제점은 무엇인지, 그 문제를 해결하기 위해서는 어떻게 해야 하는지에 대해서 고민, 고민, 또 고민을 해야 한다.

 

프로젝트에서 한 순간의 실수는 그 이후의 작업 및 결과에 대해서 심각한 문제를 초래할 수 있다. 데이터에 대한 접근 및 분석에 있어서도 마찬가지이다. 이 사실을 절대 잊지 말아야 한다.

 

[Book] Web Form Design

2008년 야후의 Luke Wroblewski가 쓴 Web Form Design이라는 책이 출판되면서, 그 동안 많은 사람들이 무심코 지나갔던 Web Form에 대해서 다시 한번 생각하게 되는 계기가 되었다. Web Form은 우리가 그동안 생각했던 것 이상으로 매우 중요함에도 불구하고, 웹 사이트를 기획하거나 설계하는 과정에서 상대적으로 중요도를 낮게 평가하고 그 결과로 Web Form은 대강대강 해도 된다는 인식이 우리도 모르게 자리 잡혀버혔다. 하지만, 대다수의 Web Form은 사용자에게 더 나은 경험을 제공하기 위한 준비 단계로써 매우 중요한 역할을 하기 때문에 중요성에 대해서 절대 간과해서는 안 되는 것이다 (특히, 회원 가입에 대한 Web Form의 경우 그 중요성은 우리가 생각하는 것 이상으로 판단해야 한다.)

 

Luke Wroblewski는 Eyetracking Research를 포함하여 다양한 UX Research 결과물을 토대로 Web Form 디자인 시 고려해야 하는 사항들에 대해서 정리한 것이 Web Form Design이라는 책이다. Luke Wroblewski는 책을 출판한 이후, Web Form과 관련된 다양한 질문을 받은 것 같다. 과거 연구 결과들을 바탕으로 책을 썼지만, 그렇게 하면 정말로 효과가 있느냐 그리고 어떻게 하면 효과가 가장 극대화할 수 있느냐에 대해서 지속적으로 질문을 받은 것 같다.

 

Lusk Wroblewski는 이와 관련하여 타당성 검증을 실시하였고, 가장 최근에 그 결과를 A List Apart라는 사이트에 'Inline Validation in Web Forms'로 발표하였다. 연구 결과는 기존의 책에서 주장한 내용과 동일하다. Web Form Design 이라는 책을 읽어보신 분이 있다면 이 연구 결과도 같이 한번 읽어보는 것이 좋을 것 같다.

 

 

 

 

우리는 사용자가 아니다.

프로젝트를 진행하면서, 우리는 기획자와 디자이너, 그리고 개발자와 함께 작업을 한다. 작업을 하면서 각자 자신의 생각을 말하면서 사용자가 이러이러한 것을 원할 것이라고 이야기한다. 그러면서 나도 사용자 중 한 사람이기 때문에 사용자를 대표할 수 있다고 이야기한다. 하지만, 여기에서 우리는 한 가지 생각할 문제가 있다. 우리가 과연 사용자일까?

 

내가 대학원에 다닐 때 나의 지도교수님이신 김영진 교수님 - 도널드 노먼 교수가 쓴 '디자인과 인간심리'를 번역하신 분 중 한 분이다 - 께서 술 자리에서 이런 말씀을 하셨다.

 

"넌 전문가가 무엇이라고 생각하냐?"

"네? 그 분야에 대해서 잘 아는 사람이 아닐까요? 전문적으로 연구도 하고..."

"일반인과 전문가의 차이는 전문 용어를 잘 쓰느냐 못 쓰느냐의 차이야."

 

난 이말의 의미를 몰랐었다. 도대체 전문용어만 잘 쓰면 전문가가 될 수 있다는 말이 무슨 말인가?

 

그러나 곰곰히 생각해 보면 그 말이 무슨 말인지 알 수 있을 것이다. 전문가는 해당 영역에 대해서 잘 알고 있다. 그리고 그것을 정리한 개념인 전문용어에 대해서도 잘 알고 있다. 그래서 해당 영역의 전문가끼리 모여서 이야기를 하면 복잡한 내용이라도 쉽게 정리하며 이야기할 수 있는 것이다. 하지만, 그 중에 해당 영역에 대해서 잘 모르는 사람이 있다면, 그 사람은 무슨 이야기를 하는지 도대체 알 수가 없다. 그런 상황이면 하나씩 하나씩 용어부터 자세하게 설명해 줘야 한다. 그러다 보면 한 문장으로 이야기할 수 있는 것도 밤새도록 설명해 줘야 간신히 이야기가 될 수 있는 상황이 되기도 한다.

 

다시 앞으로 돌아가보자. 프로젝트 참여자들은 해당 서비스의 핵심 목적이나 컨셉, 그리고 서비스가 속해 있는 도메인 영역, 웹 서비스에 대한 개념, UI 등에 대해서 잘 알고 있다. 그래서 커뮤니케이션을 하는데 있어서 그렇게 어려움을 느끼지 않을 수 도 있다. 하지만, 실제 사용자들의 대부분은 그런 내용에 대해서 생각보다 잘 알지 못한다. 예를 들어, 우리 부모님 세대들에게 URL이 어쩌고 저쩌고 하면서 블로그에 포스팅을 어쩌고 저쩌고 이야기한다면, 부모님들은 기겁을 하시고 도대체 무슨 말을 하는건지 전혀 이해를 못한다.

 

우리가 스스로 사용자이긴 하지만, 일반 사용자라고 가정할 수 없다. 프로젝트에 참여한 순간부터 이미 우리는 사용자라는 범위에서 벗어난 것이다. 그리고, 그 때부터는 우리의 눈이 아닌 사용자의 눈으로 볼려고 노력을 하며, 우리의 언어가 아닌 사용자의 언어로 이야기하려고 노력해야 한다. UX 리서치를 활용하건 VOC를 활용하건 직접 사용자와 접촉해서 실제 사용자가 원하는 것은 무엇이고 사용자가 어려워 하는 것은 무엇인지 파악해야 한다. 그리고 그것을 중심으로 서비스를 만들어 나가야 하는 것이다.

 

우리의 사용자는 과연 누구인가? 그리고 그들은 무엇을 원하고 있는가? 나도 사용자이지만 사용자를 대표할 수 있다고 할 수 있을까? 다시 한번 생각해 보자.

 

 

 

좋은 모더레이터가 되기 위한 조건

이것은 해외 법인에서 근무하고 있는 UX Lab 멤버에게 교육시키기 위해 작성했던 것이다. 좋은 모더레이터가 되기 위해서 어떤 자세로 어떤 노력이 필요한지 생각해 봤으면 한다.

 

 

1. Introduction

 

The test moderator is in charge of the actual test, and as such has primary responsibility for all that occurs during the test. The test moderator will, at minimum, greet, interact with, and debrief each participant, and take ultimate responsibility for compiling and communicating test results to the development team. Since this is such an important role and the person in conducting the usability test or the playtest, the test moderator should keep the following the several guidelines to become a good moderator.

 

 

 

2. Characteristics of a Good Test Moderator

 

Regardless of who conducts the test, either yourself or other team member or external staff, and regardless of the background of that person, there are key characteristics that the most effective test moderators share. These key characteristics are listed and described in the paragraphs that follow. If you want to become a good moderator, use these key characteristics as a checklist of the skills you need to acquire. If you consider hiring an external person to perform this role, use these key characteristics to help evaluate the person’s capabilities.

 

 

2.1. Grounding in the basics of usability engineering

 

Grounding in basics of human information processing, cognitive psychology, and user-centered design helps immensely because it enables the moderator to sense, even before the test begins, which interactions, operations, messages, or instructions are liable to cause problem. Test moderators with this background have a knowledge of which problems can be generalized to the population at large and which are more trivial. This helps to ascertain when to probe further and what issues need to be explored thoroughly during the debriefing session. Additionally, this background can also prevent the need to test situations that are known to cause problems for users, such as inappropriate use of color or the incorrect placing of a note in a manual. Lastly, a strong background in usability engineering helps the test moderator to focus on fixing the important issues after a test is complete.

 

In addition of grounding in the basics of usability engineering, you should track the recent trends related the test fields such as games. Through the deep and broad understandings of the recent trends, you can take a hint for solving the problems. Never stop getting any information related to the various backgrounds that could help conducting the usability test.

 

 

2.2. Quick Learner

 

An effective test moderator need not be expert in the intricacies of the specific product or service being tested. For example, if the product is a database management system, the moderator need not be an expert in database management. However, moderator must be able to absorb new concepts quickly and to integrate these concepts into your thinking, vocabulary, and prior backgrounds related to usability engineering. The moderator also needs to absorb all the peripheral issues surrounding a product, such as its positioning the market place, competitors, and historical problems. During the test itself, the moderator must be able to understand the actions and comments of the participant quickly, as well as the implications behind those actions and comments. Being a quick learner enables the moderator to probe and question effectively.

 

 

2.3. Instant Rapport with Participants

 

Bringing in participants to evaluate your product is an auspicious and very opportune point in the development cycle that should not be squandered. If for some reason a participant is not at ease and is not able to function as he or she normally would, it represents a lost opportunity and potentially misleading results. If you are able to test only five participants, one uneasy participant represents a potential loss of 20 percent of your data set. The test moderator’s ability to quickly size up each participant’s personality, make friends, and put the person at ease is essential to getting the most from the testing process. Some participants need coddling, some need stroking, and some are businesslike and require a more formal research. Whichever the case, the test moderator must make each person feel comfortable and secure. To make participants feel comfortable and secure, when participants enter the test room, the test moderator should greet them with a warm smile and tell them “please, you imagine that you meet your friends, and take it easy”. The test moderator should make them feel like that they are in the familiar place. The test room which is full of strange equipments to participants – cameras, one-way mirror, and etc – would make participants feel strange and scared.

 

Especially, when facing children, the test moderator must make them feel that you are not a strange adult but a close friend. If children feel that the test moderator are not a friend but a strange adult, they are scared and never tell honestly what they tell related to the test. Don’t say or think all in the view of an adult. Do say, think, and see all in the view of children. If so, you are able to make the easy and comfortable relationship with children.

 

During the warming-up session of the test, the test moderator should develop rapport with participants at maximum. IF the test moderator fails to develop rapport with them, the test will not go well and the loss of the data will happen.

 

 

2.4. Excellent Memory

 

Some might believe that since usability test sessions are videotaped, the test moderator need not rely on memory from conducting and evaluating a test session. Actually, memory is called into play well before a test session has ended. Since a test session can be two to three hours or even longer, the test moderator needs to remember behaviors or comments that took place earlier in the session in order to cross-check and probe those behaviors later in the session. For example, a participant may attempt to perform the same task in two or three different ways, and the test moderator may want to probe to understand why the participant performed the task differently each time.

 

Memory is also required to recall the results of a test session after its completion. Since there is often very little time to devote to searching the videotapes after a test, except as insurance against missing some point entirely, the test moderator often must rely heavily on memory and notes.

 

The test moderator must take precautions against taking notes during a test session. You would take notes in detail on all whatever participants tell. However, such test moderator’s behavior would make participants uncomfortable. The test moderator should take notes on only important things and remember other things that would happen during a test session. If you want details related to the test, you are able to refer to a full script or videotapes and other team member such as an observer may help you to understand and know other things that you may not see or remember.

 

 

2.5. Good Listener

 

Listening skills involve the test moderator’s ability to hear with “new ears” during each session and to lay aside personal biases and strong opinions about what he or she is seeing and hearing. The test moderator needs to understand both the content and the implication of a participant’s comments, as there are often mixed messages of all kinds during testing. The test moderator must pick up on the subtle nuances of speech and emphasis, as a participant’s comments are often indirect and less than forthcoming.

 

When the test moderator conducts the test especially with children, the test moderator must be careful. Children are affected easily by situations surrounding them, other opinions, or impulsive feelings. The moderator should be able to distinguish the real and important comments from impulsive comments. In the case of adults, this may not be somewhat different from children. It is so important to understand the rationale behind the participant’s behavior, because the rationale often signals whether a change in the service is required or not.

 

It is also important not to suggest to participants what you think about. Just simple gestures or words of the moderators would make participants tell something opposed to their real thoughts. Do not compel participants to follow the moderator’s thoughts consciously or unconsciously. Just be a good listener.

 

 

2.6. Comfortable with Ambiguity

 

Usability is not a precise science consisting of formulas and black and white answers. Even if a usability test is conducted under the most rigorous conditions, which is atypical, you are still not assured that all of the results are valid and generalizable to your entire user population. Instead usability testing can often be an imprecise, ambiguous enterprise, with varying and sometimes conflicting observations, not surprising for any venture that has human beings as its focus. A test moderator, then, must understand and be comfortable with ambiguity. For example, a function is good to someone, but other participant may tell you that it is not very easy to use this function and do not know why it is necessary. However, it is important to exactly know what real problems are and grasp the nature of problems.

 

Another example is followed. Prior to testing you may think that there are only two ways to perform a particular task. During testing though, you discover that the participants have found four other ways to perform the same task. Or, you discover that you are no closer to a clear-cut resolution of a service’s problems after a week of testing than you were before you began. Or, when testing multiple versions of a service, no clear winner emerges. The versions are all equally bad or, if you are lucky, equally good. These situations require patience, perseverance, and very often skill at negotiation. Without tolerance for ambiguity and the patience to persevere, the test moderator tends to rationalize and to blame the participants for making unplanned choices during the test.

 

 

2.7. Flexibility

 

Another related characteristic of an effective test moderator is flexibility, which has to do with knowing when to deviate from the test plan. There are times when a particular participant does not have the expected skills or simply views the task in a completely different way than was originally intended.

 

When conducting the usability test, the moderator would face the various situations that may not be expected or considered in the stage of test planning. However, the moderator may ignore these situations and conduct the test according to the guideline. But such actions waste time and labors. Sometimes, the test may not run to test plan. When you face such a situation, never lose one’s presence of mind. Roll with a punch with the punch.

 

Before the test begins, the moderator must fully know and understand the overall progresses and the guideline. If fully knowing and understanding, the moderator is able to cope with the various situations that may not expected or considered.

 

 

2.8. Long Attention Span

 

Experienced test moderators share a secret: Usability testing can be tedious and boring. There are long stretches when seemingly nothing is happening, when participants are reading and absorbing, thinking, and sometimes just resting. The moderator cannot posses the type of personality that needs new stimulation every five to ten minutes. The moderator must be able to pay attention for long periods of time because there is no predicting when a gem of discovery will arise during a test session. In addition, since the moderator may view up to 10, 15, or 20 seconds, all of which observing the same or similar tasks, the ability to stay focused is extremely vital.

 

Bear in mind that participants may feel that the moderator feels tedious and boring. Participants are very sensitive to the moderator’s feeling and behaviors. If the moderator make participants feel that the moderator are tedious, tired, or bored, the test may not run as the moderator expects. To become a good moderator, the moderator should be able to maintaining his or her conditions consistently and never make participants feel that he or she are tedious, tired, or bored.

 

 

2.9. Empathic “People Person”

 

Participants will relate more readily to a test moderator who is an empathic individual. This may not be all that critical during the test session itself, especially if the session requires little probing or exploration on the part of the test moderator. However, empathy can play a major part during the debriefing session when the test monitor is trying to elicit a participant’s innermost thoughts and feelings about the previous two hours of work. Participant will tent to hold back if they feel that the test moderator cannot relate to their particular situation, this being especially true if the session was unusually frustrating or difficult.

 

 

2.10. “Big Picture” Thinker

 

There is so much data collected during a usability test and there is so much data that could be collected during a test that it is very easy to lose sight of the forest for the trees. The test moderator must be able to weed out the significant from the insignificant, and this ability takes two concrete forms.

 

1.                The ability to draw together all of the various inputs, comments, and data from a single test to form a cohesive picture of a participant’s performance.

2.                The ability to draw together the varied inputs from different from different test sessions and focus on the most important and critical findings.

 

It is very easy to get lost in the details and focus on trivial observations. It is also easy to be influenced by the last participant and forget all that has come before. An effective test moderator, however, avoids these difficulties by staying focused on the big picture.

 

 

2.11. Good Communicator

 

Good communication skills are essential in usability testing. The test moderator must communicate with individual members of the development team, participants, observers, and other individuals who may be helping to administer the test in one way or another. The test moderator must be skillful at persuading others to make changes that are in their best interest, and he or she must be able to explain the implications behind the test result. Good writing skills are also essential because the test report is often the sole means of communicating test results to those who did not attend the test sessions. The written report is also the important historical document that relied upon months or years later to review or revisit the test results.

 

 

 

2.12. Good Organizer and Coordinate

 

A usability test is a project within a project. Even a simple test requires the management of an astonishing number of small details, events, and milestones. Ensuring that equipment is in running order, getting all participants to the site on time, and making sure that the service is ready for testing are ultimately the responsibility of the test moderator. In addition, the test moderator is the focal point for the other test team members, and must coordinate their activities as well as those of any outside consultants into a unified effort. Therefore, the test moderator should be a good organizer and coordinator.

 

 

3. Typical Test Moderator Problems

 

Now that you have reviewed some of the important characteristics that a test moderator should possess, let’s review some of the behaviors that test monitors should avoid. In this session, I will cover the most common “errors” that test moderator make while conducting a test, many of which I have learned from experience and books. Consider it a list of “what not to do.” Even experienced test moderators can benefit from taking a few moments just prior to testing to review the list. As with the previous list of characteristics, you can use this list to evaluate and improve your own performance or to evaluate the performance of someone you hire to conduct usability testing for you.

 

 

3.1. Leading Rather Than Enabling

 

Behavior that leads rather than enables is usually caused by the test monitor being too close to the service and unintentionally providing cues to the participant about correct performance. The test moderator’s tone of voice, a nod of the head, cutting short tasks when the participant struggles, even the type of question the most monitor asks can all influence the participant and the test results. Please, refer to the following a table as examples.

 

Correct Question	False Question	Reason
Would you tell me what you think about now?	Do you think _________ now ?	Even if the moderator know what the participant think about, the moderator never ask a direct question because the moderator’s guess of the participant’s thoughts may be incorrect. When the moderator ask the participant directly for why to do, the participant may think that their behaviors may be evaluated, and, then, guess that they may do the task in the wrong way.
Would you tell me what you will do?	Do you tend to _________ ?
Would you explain what you will tend to?	Do you tent to ________ due to _______ ?
Would you tell me whether it is easy to use the product or not?	Is it easy to use the product?	It is not easy to request participants to explain their opinions about the specified features. However, in any situation the moderator do not ask direct questions of participants. If you use direct questions, you suggest that participants should follow the moderator’s thoughts and attitudes.
Would you tell me whether you are able to understand the usage description or not?	Is it difficult to use the product?
Do you think the error message helped you or disturb you ?	Did the error message help you?
How do you feel?	Are you confused?

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Just an unconscious question may affect the participants’ behaviors and attitudes very much. This potential problem is the main reason why professional testing often conducted from a control room, although subtle hints are still possible even from there. To avoid the problem of leading rather than enabling, remember that the moderator is there to collect data, not to compel participants to follow the moderator’s attitudes and thoughts, and to ensure that the test environment remains as neutral as possible.

 

 

3.2. Too Involved with the Act of Data Collection

 

While the purpose of the test is to collect as much information as possible, the act of collecting that information should not interfere with direct observation of what is occurring. The test moderator needs to stay aware of what the participant is doing at all times, even if that means that every aspect of the participant’s behavior is not written down. That’s the purpose of videotaping or recording the test, of developing coding categories, and of having others help with the more rote collection of such things as timings and number of references to an index. All of these aids help ensure that the test moderator does not become so engrossed in the collection process that the moderator misses important behaviors or words.

 

 

3.3. Acting too Knowledgeable

 

This problem occurs when the test moderator and participant are in the same room during the test. Participants will tend to defer to the test moderator and ask many questions if they feel that test moderator knows all the answers. Being too knowledgeable can also intimidate a participant who may be somewhat nervous and self-conscious about his or her abilities. Another problem is that being too knowledgeable makes the participants depend on the moderators. Even whenever the participants are able to complete their task easily, they give up the task and ask advices of the moderator with ease.

 

One simple way to counteract the problem of acting too knowledgeable is for the test moderator to “play dumb.” That is, the test moderator downplays any knowledge of the service and takes on the role of a research technician who is simply collecting data. Frequently, there are shown that participants change their entire demeanor when it became clear that they were not going to receive any assistance from the test moderator. They began to try harder and to behave as if they were alone in their home or office.

 

 

3.4. Too Rigid with the Test Plan

 

An experienced test moderator will know when to deviate from the test plan. It is important for the moderator to sense when the test design is not achieving its objectives and is not exposing the product’s deficiencies to the fullest extent. At those times, it is up to the moderator to make the appropriate changes so that a participant’s time and efforts are not wasted. Sometimes a participant with a different background that what was expected will appear. Sometimes the tasks are the wrong ones for addressing the problem statements. Whatever the case, it is up to the moderator to revise the plan accordingly.

 

 

3.5. Not Relating well to Each Participant

 

Participants come in all shapes, sizes, and demeanors. Regardless of whether a particular participant is shy, arrogant, moody, intimidated, self-conscious, or whatever, the test moderator needs to adjust his or her style in order to allow the participant to be comfortable and at ease. The test moderator should not get involved with battling, belittling, or in any way making a participant feel like anything but a guest. As far as the test moderator is concerned, the participant is always right.

 

 

3.6. Using the Technical Terms

 

One of the frequent mistakes of inexperienced test moderator is to use the technical terms or terms that are used only within the company. Participants never hear, know, or understand what the terms mean. For example, when the moderator conduct the playtest of a FPS game and ask the following question, “How about this FPS game?”, the participants who don’t know the term “FPS game”, especially children, never answer this question. Just use the term that are very familiar, easy, and plain to participants. Never use the technical terms that are used only within the company. The moderator should see, think, and tell everything in the view of participants.

 

 

3.7. Jumping to Conclusions

 

Inexperienced test moderators tent to overreact to early results. This can cause other members of the test team to act on the data prematurely. It is up to the test moderator to maintain a cool, steady demeanor and remind everyone to avoid forming conclusions until all of the results are in, especially in the playtest of games. One of the reasons for testing multiple participants is just for that purpose: to get  a rounded, comprehensive view of the service through the eyes of different types of people with different types of backgrounds. While it is important for the test moderator to pick up patterns in the behavior of participants as early as possible, this does not necessarily mean reacting to that behavior. Avoiding premature conclusions will help to keep members of the test team from making major service changes before all the data is in.

 

 

4. How To Improve Your Test Moderating Skills

 

Conducting a usability test is an extremely challenging and worthwhile endeavor on a variety of levels. On the most ordinary level, you are working very closely with people in an attempt to design a product for maximum utility and benefit. On a deeper level, it is a very profound experience that forces you to confront your own mind and its tendency to be biased, distracted, and flighty. Moderating a test puts you on the spot and forces you to be extremely mindful and disciplined. You spend long periods of time maintaining concentration while observing people, all the time being as unobtrusive as possible.

The following guidelines will help you to become a excellent moderator. Carefully read the guidelines.

 

 

4.1. Learn the Basic Principles of Human Factors / Ergonomics

 

Learn the basic principles of human information processing, experimental psychology, cognitive psychology, statistics, interface design, and usability engineering. Attend seminars and study basic psychology course. These will be very helpful to conduct the usability test.

 

 

4.2. Learn from Watching Others

 

Watching other test moderators is a key to success. When you have an opportunity to watch an experienced test moderator at work, you get to see what works and what does not firsthand. If the opportunity presents itself, ask the test moderator why he or she uses a particular technique that caught your interest. Take notes about particular techniques and behaviors, and so forth, that seem particularly effective and try them out yourself. Again, do not let your concern for making mistakes prevent you from exploring new techniques.

 

 

4.3. What yourself on Tape

 

One of the benefits of taping your test sessions is that you have an ideal medium for reviewing your own performance. Take advantage of this technology by reviewing your sessions with the intent of improving your skills. Take notes on what you do well and on behaviors that need improvement. That way you will remember to work on those aspects the next time you conduct a test.

 

 

 

4.4. Work with a Mentor

 

Work closely with an experienced test moderator. Help the test moderator work on a test and have that moderator do the same for you. If it is a test with many participants, perhaps you can conduct some of the sessions. Have your mentor watch you and critique your performance.

 

 

4.5. Practice Moderating

 

Start with the right attitude. Do not be a perfectionist. You are going to make mistakes, bias participant, reveal information you should not, and invent new ways to invalidate a test session’s results. This is just par for the course. Usability testing has a twofold saving grace – testing multiple participants and iterative design. Testing multiple participants means that if you invalidate one session, there is always another opportunity to do it right. Iterative design also makes up for any mistakes you might make, because you have several chances throughout the service development life cycle to catch problems with the service. The important thing is not to get discouraged. Continue to practice, continue to learn, and continue to improve. Even the most experienced test moderator make mistakes.

 

 

4.6. Run a Pilot Test Prior to the Main Test Session

 

If you conduct a pilot test before the main test session, you will find many problems as not expected. These problems are the flow of the test session, your words, attitudes, test duration, and etc. As the pilot test is conducted, you may have a chance to correct the problems related to moderating the test. In any case, you should run a pilot test before the main test sessions.