[서비스경험디자인기사] 5. 전달하기 Deliver (1) 개념정리 (프로토타입평가, 파일럿테스트, AEIOU, 정성적데이터분석, 정량적데이터분석, 사용성평가, 휴리스틱평가)

 

서비스경험디자인기사 필기, 실기시험에 핵심정보인 개념정리를 보다 쉽고, 이해될 수 있도록 정리한 포스팅입니다.

아래의 내용은 전달하기 단계의 프로토타입 평가에 해당하는 파일럿테스트, AEIOU, 정성적데이터분석, 정량적데이터분석, 사용성평가, 휴리스틱평가의 개념을 정리하였습니다. 

 

5. 전달하기 Deliver 

서비스디자인의 Deliver(전달) 과정은 앞선 아이디어들에 대한 다양한 의견을 수렴하여 서비스경험디자인 과정동안 만들었던 콘셉트와 제안들을 명료하게 전달하는 과정이다. 

 

5.1 프로토타입 평가

• 서비스 디자인 중반부 프로토타이핑 - 아이디어 전개과정에서 이루어지는 낮은 충실도(Lo-Fi)로 신속하게 제작되면서 이해관계자들 간의 활발한 상호작용을 통해 서비스 콘셉트를 검토하고 테스트하며 발전시키는데 목표
• 전달(Deliver) 과정 프로토타이핑 - 충실도가 높으며 (Hi-Fi) 시간이 걸리더라도 상세하게 서비스를 테스트 할 수 있도록 정교한 작업, 고객 반응 및 시장 반응을 최종적으로 확인하여 평가하기 위한 목적  

 

5.1.1 프로토타입 평가 목표

📌 프로토타입 평가는
제안된 서비스가 초기의 기획 의도와 가치를 제대로 구현했는지 확인함과 동시에 사용자와 이해관계자들로부터 평가를 받음으로써 실제 구현단계에 들어가기 전에 품질과 성능을 확인하기 위한 것이다. 

 

	프로토타입 평가목표	목적
이해	제품과 서비스에 대한 고객의 핵심 문제와 개발단계에서 인지하지 못하는 다양한 문제를 다룰 수 있다.(Lo-Fi)	- 다른 대안의 선택 - 고객 플로우에 대한 이해 - 전략에 대한 이해
소통	추상적인 해결책을 물리적 매체 혹은 디지털 미디어를 통해 명료하게 드러내므로, 모호하고 일반화된 생각들을 구체적인 오브젝트로 바꿀 수 있다.	- 디자이너와 소통 - 이해관계자와의 소통 - 투자자와의 소통
평가와 개선	문제가 제대로 해결되고 있는지 사용자 평가를 통해 확인 받고자 하며, 이 평가가 이해관계자들의 합의 안에서 서비스 설계의 고도화를 진행하게 된다.	- 고객/사용자 평가 - 가설검증(사용성, 가치 제안, 비즈니스 전략을 위한 내용으로 구성) - 고객과의 직접적인 상호작용
지지와 옹호	고객의 통찰력을 활용하므로 고객이 보여주는 사용자경험의 변화들을 적극적으로 지원할 수 있다. 또한 팀원들 또는 이해관계자들의 평가에도 활용된다.	- 인사이트를 통해 실제 서비스/ 제품에 적용 - 팀원들/ 이해관계자 간의 관계성 향상

 

 

5.1.2 프로토타입 평가 과정

프로토타입 평가 방법은 프로토타입의 형식, 일정과 예산, 목적, 대상자에 따라 달라질 수 있다.
평가는 방법과 대상, 형태, 진행에 따라 내용이 달라지기에 프로토타입에 대한 반응을 볼 것인가, 프로토타입에 대한 문제점을 진단할 것인가에 따라 목적을 명확하게 정의하는 것이 필요하다. 

 

1. 평가를 위한 사전준비

• 평가 계획
• 진행자 및 참여자 선정
• 평가 공간 및 기록물 준비
• 동의서 및 사전, 사후 질문지 준비 

2. ⭐파일럿 테스트
: 정식 평가를 진행하기 앞서 준비된 프로토타입과 평가의 목적이 서로 부합한가를 확인하기 위해 진행한다.

 

• 사용성평가에서의 파일럿 테스트 (동시 혹은 순차적으로 진행)

목적	효과	비고
기술체크	최소인원과 최소 시간 설정이 필요함, 제품 생산 시 품질보증 엔지니어가 사용하는 에지 케이스를 돌려보기 위하여 사용하는 체크리스트와 비슷함	* 에지 케이스 (edge case) 극단적인 상황에서 발생하는 문제나 상황
사용성 체크	참여자 평가 시, 평가하고자 하는 과업을 제대로 이해하는지, 과업을 진행하기 위해 내비게이션을 할 수 있는지 등을 확인하는 과정으로, 2-3명의 인원이 2-3시간 정도의 과정을 거침	가이드를 포함한 평가에 대한 소개, 사전질문지, 일반질문과 과업들, 참여자가 접하게 될 서비스, 평가의 전반적인 흐름과 수행시간, 평가 결험에 대한 전반적인 만족도 등
데이터 체크	대규모 인원을 대상으로 참여자 수에 비례하여 예행연습을 수행하는 단계. 데이터의 질적인 면과 데이터의 '분별'에 더 집중함.	오류를 범하는 이유 - 시간이슈, 다른 답변/경로, 기술적 결함, 해석의 오류 등

 

3. 프로토타입 평가 실행
: 평가 진행 시에는 진행자, 부진행자, 기록자, 참여자를 도와주는 사람, 기록장치 담당자, 평가 장소 담당자 등으로 나누어 진행한다. 

 

• 프로토타입 평가 실행 방법

프로토타입 평가 실행방법

 

 

5.1.3 프로토타입 평가 결과 분석

프로토타입 평가 후 생성된 미가공 데이터를 취합한 수 데이터를 분류하고 분석하여 최종보고서를 통해 이해관계자들에게 배포하고 보완한다. 프로토타입 평가 데이터는 관찰과 인터뷰 등을 통해 얻은 정성적 데이터와 사용성 평가 등으로 얻은 정량적 데이터로 나뉜다. 

 

 

 1. 정성적 데이터 분석 (관찰 및 인터뷰)

📌 정성적 데이터 
: 대부분 인터뷰나 관찰 등을 통해 나온 주관적 데이터로, 참여자들의 특정한 심리속성을 이해하기 위해 분석적 도구로 사용된다. (언어적 표현, 비언어적 표현, 행동, 맥락 등)

 

• 분석방법 : 데이터 실체화 (⭐친화도지도, 리서치 윌) → 데이터분류  (⭐*AEIOU 등) → 데이터분석 (⭐고객여정지도, 서비스 터치포인트 매트릭스) →이슈 사항 도출 및 작성
•  *AEIOU : 요소별 행동 측면에서 관찰조사 데이터를 분류하여 작성한 후 이에따른 통찰 등 한눈에 알아보기 쉽도록 정리한 기록지이다. 

Activity 활동 : 사람들은 어떤 행동을 하며 목적과 과정은 무엇인가요?
Environment 환경 : 활동이 일어나는 시간·공간적 환경, 분위기는 어떤가요?
Interaction 상호작용 : 사람 간 또는 사람과 환경 사이 어떤 상호작용이 있나요?
Object 대상 : 어떤 사물과 도구를 사용하며 활동에 어떤 영향을 주나요?
User 사용자 : 관찰환경 내 누가 있고, 역할, 관계, 행동 등은 어떤가요?

 

 

 2. 정량적 데이터 분석(사용자 평가)

📌 정량적 데이터
: 사용성 평가 등 실증연구에서 진행된 평가 결과로 변수 또는 수량, 상호간의 관계를 드러내는 숫자 데이터 등이 포함된다. 

 

  A. 정량데이터 준비하기

분류	내용	비고
성공데이터	성공변수를 기록하는 방법, 텍스트 데이터를 숫자로 바꾸는 방법	ex) "1"은 성공, "0"은 실패를 의미하는 것으로 빈도분석, 교차분석, 카이제곱분석 같은 기본적인 통계함수 수행을 위해 필요하다.
시간변수	과업을 진행하면서 걸린 시간을 표시하는 것
자가보고변수	자가 보고 변수의 척도가 긍정에서 부정으로, 혹은 부정에서 긍정으로 바뀐 경우와 같이 평가 태도가 달라지게 한 변수들을 나열하는 것이 유용하다.	전반적인 만족도, 사용용이성에 대한 평가, 과업에 대한 신뢰와 같은 자가 보고 변수들은 따로 변환 또는 기록할 필요가 없다.
클릭 스트림 데이터	참여자들이 과업을 수행하는 동안 어떻게 이동했는지 보여주는 상세한 *로그기록	*로그(Log) 정보기술에서 발생되는 모든 행위와 이벤트 정보를 시간에 따라 남기는 기록 데이터를 의미한다. 일반적으로 방문한 화면, 화면 별 소요시간, 이동 경로 등을 보여줌으로써 서비스를 얼마나 쉽게 이용했는지, 어떤 화면이 얼마나 혼란을 주었는지, 어떤 화면과 기능이 목표에 도착할 때까지 중요한 역할을 했는지에 대한 내용을 제공한다.

 

 B. 정량데이터 분석하기

• 데이터 경향을 파악하고 과업, 조건, 평가 참여자 간 차이점을 알아봄으로써 디자인상의 사용성/ 유용성/ 효과성 등의 이슈를 식별하거나, 디자인 간 또는 버전 간 차이를 비교해야 한다. 정량적인 데이터는 빈도수를 합산하거나 평균, 표준편차 등을 구해서 그래프로 나타낼 수 있다. 

분류	내용(기준)
과업성과 데이터	참여자의 행동을 대변한다. (과업 성공 여부, 시간, 효율성)
자가보고 데이터	참여자의 반응을 나타내는 것으로 개별적인 과업과 세션 수준에서 수집된 것이다. (평가척도, 선호대상, 순위, 코멘트, 추가답변)
클릭 스트림 데이터	사용자의 니즈와 페인포인트를 확인해 볼 수 있다.

 

 

 C. 핵심이슈 도출하기 

• 대부분의 정량적 평가에는 디자인에 대한 사용성 이슈를 식별하거나 디자인 대안을 비교하는 활동을 통해 핵심이슈를 도출하는 과정이 포함된다.

분류	내용
문제 과업에 대한 초점	- 낮은 과업 성공률, 가장 긴 시간, 제일 낮은 과업의 용이성 등을 통해 문제가 되는 과업을 추출 * 클릭 스트림 데이터를 이용하면 과업을 실패한 참여자의 이동 경로를 찾아낼 수 있으므로 문제가 되는 지점에 대한 인사이트를 제공 받을 수 있다.
오류 분석	사용성 이슈가 오류를 만들어내고, 오류가 사용성을 만들어 내기 때문에 참여자가 오류를 일으켰을때, 사용성 이슈를 식별하는 데 도움을 준다.
코멘트 분석	과업별 참여자, 사용자들의 의견들 간에 숨어 있는 공통 주제를 찾아내고, 참여자가 지적한 근본적인 사용성 이슈를 발견하는 것이 중요하다.

 

 

▶ 사용성 평가 척도 

시스템 성능 측정과 사용자 성능 측정이 포함되어 있기 때문에 경쟁사들과의 평가, 출시 전 의사결정이 가능하다. 
(시스템 응답시간, 발생 에러 수, 과업을 완료하기까지 소요되는 시간, 과업 성공률, 사용자 만족도 평가 등이 포함되는 평가 척도)

• 유용성 : 참여자들이 특정 목표를 달성하기까지의 정확성과 완전성
• 효율성 : 사용자들이 원하는 목표를 달성하기 위해 정확성과 완전성에 기울이는 자원
• 만족도 : 사용에 대한 편리성 및 수용성 

 

 

5.1.4 프로토타입 보완 및 문서화

프로토타입은 평가와 보완의 반복적인 과정을 진행하면서 최적화된 프로토타입을 제작한다.

프로토타입 보완 및 문서화

 

▶ 핵심사항 공유

: 보고서를 만들기 전에 문제 해결 방법과 평가를 통해 확인된 기회들을 극대화 하기 위한 여러 변경 사항에 대해 이해관계자로부터 승인을 받기 위해 이슈사항, 개선사항, 해결책, 권고사항들을 공유한다. 

 

▶ 평가결과 문서화 

: 보고서 개요/ 참여자에 대한 정보/ 보고서 해석 방법/ 명확한 핵심 사항 및 다음 단계 

 

 

 

5.1.5 사용성 평가(Usability Test)

실제 대상 고객과 사용자를 불러와서 직접 사용하는 상황을 제공하고 주어진 과업과 단계를 수행하도록 요청함으로써 실제 의견을 듣고 사용하는 모습을 관찰한다. 
정확도, 효율성, 시간, 에러 발생률 등 수치적인 측정을 통해 프로토타입에 대한 사용자들이 느끼는 사용성 품질을 정량적으로 평가한다. 

 

유형	탐구형	평가형	비교형
방식	- 와이어프레임 - Lo-Fidelity 프로토타입	- Mid, Hi-Fidelity 프로토타입	- 두 가지 이상의 다양한 제품과 서비스 비교
목적	- 콘셉트 이해도 확인 - 제품 사용 시 사용자의 멘탈 모형이 어떻게 작동하는지 알아내기 위해 사용	- 앱이나 웹 사이트의 효율성 평가 - 사용자들의 반응 관찰 - 시스템상 에러 수집	- 게릴라 테스트 - 불특정다수를 대상으로 무작위로 대상자를 선정하여 평가받는 방식 - 구체적인 사용성 보다는 고객의 호응도/ 선호도 측정

 

 

▶ 일반 사용성 평가

일반 사용성 평가

1. 실험실 사용성 평가 (대면테스트, 평가자와 사용자가 동시에 같은 장소에서 상호작용)
 : 평가를 진행하기 위해서는 스크립트, 프로토콜 문서가 사전에 작성되어야 하며, 그 안에 들어가는 구성은 소개, 사전인터뷰 내용, 과업목록, 사후 인터뷰 내용을 포함하고 있다. 

           

 

2. 사용성 평가 (원격으로 사용자에게 일련의 도전과 과업을 부여하고 질의응답)
: 원격 사용성 평가는 평가자와 개발자, 참여자가 처한 물리적인 한계를 극복하게 하고, 동시에 참여자의 평소 작업 및 기술의 맥락 안에서 평가를 진행하여 더 자연스러운 결과를 얻을 수 있다는 이점이 있다. 

 

동기식 원격 사용성 평가	진행자가 평가를 진행하는 실시간 커뮤니케이션 방식
비동기식 원격 사용성 평가	진행자 없이 참여자와 진행자/평가자가 서로 다른 시간대에 평가를 하는 방법 *평가 진행 순서 : 과업 소개 > 사전 질문 준비 > 파일럿 테스트 수행 > 과업/ 평가 수행 후 만족도 조사

 

3. 전문가 평가
: 제안된 서비스나 프로토타입의 사용성 문제를 확인하기 위해 사용성 원칙, 인지심리학의 원리를 이용하여 전문가의 시각으로 검사하는 과정이다. 

 

4. ⭐휴리스틱 평가
: 가장 일반적인 품질측정 방법으로 서비스의 성능과 품질이 적절한지를 평가하는 발견적 조사방법이다.

• 서비스 디자이너, 서비스 경험 디자이너, 사용성 전문가, 사용자 인터페이스 전무나, 정보 구조 전문가 등 전문가들이 서비스 품질과 가치의 관점에서 전문적인 지식과 경험을 기반에 두고 평가하며, 전문가의 지식과 경험, 노하우로 빠르게 서비스를 평가하여 문제점 및 개선 방향을 제시 할 수 있다. 
• (*휴리스틱이란 시간이나 정보가 불충분할 때 사용자가 합리적인 판단을 할 수 없거나, 굳이 체계적인 판단을 할 필요가 없는 상황에서 신속하게 사용하는 어림짐작의 기술을 의미한다.)

 

휴리스틱 평가

 

⭐제이콥 닐슨이 정리한 휴리스틱의 기준

 

✔ 시스템 상태의 가시성 

✔ 시스템과 현실 세계의 일치

✔ 사용자 제어 및 자유

✔ 일관성 및 표준

✔ 오류 방지

✔ 회상보다 인정

✔ 사용의 유연성과 효율성

✔ 미학적이고 미니멀한 디자인

✔ 사용자 오류 인식, 진단 및 복구

✔ 도움말 및 문서 

 

 

 

 

긴 글 읽어주셔서 감사합니다.

다음 포스팅에서는 서비스경험디자인 전달하기 단계의 모델 개발 방법 포스팅으로 찾아올게요.

 

 

 

▼서비스경험디자인기사 개념정리 다른 글▼

[서비스경험디자인기사] 0.서비스경험디자인의 이해 (디자인씽킹, 서비스디자인, 사용자경험디

 

[서비스경험디자인기사] 1.준비하기 Align 개념정리 (제안요청서, 사전질의서, 디자인브리프, 알렌

 

 

[서비스경험디자인기사] 2. 발견하기 Discover _ (1) 환경조사 개념정리 (데스크리서치, 2차연구, PEST,

 

 

[서비스경험디자인기사] 2. 발견하기 Discover(2) 관찰조사 개념정리 (자문화기술지, 온라인 에스노

 

 

[서비스경험디자인기사] 2. 발견하기 Discover (3) 관찰조사 개념정리 (비참여관찰, 모바일에스노그

 

[서비스경험디자인기사] 3. 정의하기 Define 개념정리 (페르소나, 고객여정지도, 사일로현상, 이해

 

 

[서비스경험디자인기사] 4.개발하기 Devlop (1,2)개념정리 (공동창작, 퍼실리테이션, 브레인스토밍,

 

 

[서비스경험디자인기사] 4. 개발하기(3) 개념정리 (프로토타입, 로우/하이 피델리티, 오즈의마법