UMUX

사용성을 점수로 바꾸는 표준은 이미 있었습니다. 시스템 사용성 척도가 문항 열 개로 0에서 100 사이 값을 내고, 평균선이 68점으로 알려져 바깥과 견주기도 좋았습니다. 조사실에 참여자를 앉혀 놓고 돌릴 때는 문항 열 개가 문제되지 않습니다.

문제는 이 설문을 제품 안으로 들고 들어갔을 때 생겼습니다. 화면 한쪽에 설문 조사를 띄워 열 문항을 물으면 사람들이 세 번째에서 창을 닫습니다. 설문 조사는 같은 질문을 여러 사람에게 물어 분포를 보는 조사입니다. 앞의 몇 개만 채우고 나간 응답은 점수를 낼 수 없어 버려집니다.

페이지덱도 같은 자리에서 막혔습니다. 편집기를 새로 낸 뒤 설문을 띄웠는데 끝까지 답한 비율이 4퍼센트였습니다. 표본이 서른 명을 못 채워 점수를 내 봐도 다음 분기와 견줄 수가 없었습니다. 설문이 길다는 이유 하나로 측정이 성립하지 않은 겁니다.

UMUX는 이 상황을 겨냥한 축약판입니다. 문항을 넷으로 줄이면서도 눈금은 앞선 설문과 같은 0에서 100 사이로 맞췄습니다. 새 눈금을 만들지 않은 이유는 짧게 물어 얻은 값을 기존 점수와 같은 자리에 놓고 읽게 하려는 것이었습니다.

문항 네 개에 각각 7점 눈금으로 답을 받고, 네 답을 점수로 환산해 더한 다음 만점으로 나눠 100을 곱합니다.

문항은 긍정문과 부정문이 둘씩 섞여 있습니다.

1. 이 제품의 기능이 내가 필요한 것을 충족한다 — 긍정문입니다.
2. 이 제품을 쓰는 일은 답답하다 — 부정문입니다.
3. 이 제품은 쓰기 쉽다 — 긍정문입니다.
4. 이 제품을 쓰면서 잘못된 것을 고치는 데 시간을 너무 많이 쓴다 — 부정문입니다.

답은 전혀 그렇지 않다(1)에서 매우 그렇다(7)까지 7단계로 받습니다. 긍정문과 부정문을 섞는 이유는 모든 문항에 같은 쪽으로만 답하는 응답을 걸러 내려는 것입니다. 긍정문과 부정문에 똑같이 7을 준 응답지는 읽지 않고 답한 것이라 분석에서 뺍니다.

환산은 문항 방향에 따라 다릅니다.

1. 긍정문은 답에서 1을 뺍니다. 6이라고 답했으면 5점입니다.
2. 부정문은 7에서 답을 뺍니다. 2라고 답했으면 5점입니다. 답답하다는 문항에 낮게 답한 것이 좋은 신호라 방향을 뒤집습니다.
3. 네 점수를 더합니다. 문항마다 최대 6점이니 합계는 0에서 24 사이입니다.
4. 합계를 24로 나누고 100을 곱합니다.

한 응답자가 6·2·6·3 으로 답했다면 환산값은 5·5·5·4, 합계는 19입니다. 19를 24로 나눠 100을 곱하면 79점입니다. 이 계산을 응답자마다 따로 하고 나온 점수들의 평균이 그 조사의 점수입니다. 개인별 점수를 내 두면 흩어진 정도를 함께 볼 수 있습니다.

1번과 3번만 물어 같은 방식으로 환산하는 두 문항짜리 판도 있습니다. 화면 안에서 물어야 해 넷도 길 때 씁니다.

68점 근처가 보통입니다. 눈금을 표준 설문과 같게 맞춰 설계했으니 그쪽 평균선을 함께 씁니다. 80점을 넘으면 사용성에서 걸리는 것이 거의 없다는 뜻이고, 50점 아래면 과업을 끝내기 자체가 어려운 상태로 봅니다.

절대값보다 두 가지를 먼저 봅니다. 하나는 표본 수입니다. 문항이 적으면 응답 하나가 평균을 흔드는 폭이 커집니다. 열 명에게 얻은 72점은 다음 조사에서 65점이 나와도 나빠졌다고 말할 수 없습니다. 서른 명을 최소로 잡고 시점끼리 견주려면 쉰 명 넘게 모읍니다.

다른 하나는 점수가 흩어진 정도입니다. 평균 68점이 나왔을 때 개인 점수가 62에서 74 사이에 몰린 경우와 절반이 90점, 절반이 45점인 경우는 전혀 다른 상태입니다. 뒤쪽은 사용자층이 갈렸다는 신호입니다. 오래 쓴 사람은 쉽다고 답하고 이번 주에 들어온 사람은 막히는 경우가 이렇게 나옵니다.

이 점수의 주된 쓸모는 같은 제품의 시점끼리 견주는 것입니다. 다른 제품과 견주려면 조건이 맞아야 합니다. 어떤 과업을 시킨 뒤 물었는지, 아무 안내 없이 화면에 띄워 물었는지에 따라 점수가 몇 점씩 움직입니다.

"SUS 열 문항은 응답률이 안 나와서 UMUX 네 문항으로 바꿔 돌렸어요."

설문 길이가 표본을 막고 있어 축약판으로 갈아탔다는 뜻입니다.

"이번 UMUX 71점인데 표본이 열두 명이에요. 숫자로 쓰기는 이릅니다."

점수가 나왔지만 표본이 적어 시점 비교에 못 쓴다는 말입니다.

"평균은 그대론데 분포가 갈라졌어요. 신규 사용자 쪽이 확 내려갔습니다."

평균 하나로는 안 보이던 사용자층 차이가 드러났다는 뜻입니다.

페이지덱은 편집기를 고친 뒤 분기마다 한 번씩 재기로 정했습니다. 민서는 문항을 제품 안에 띄우지 않고 정량 조사 메일에 실어 보냈습니다. 정량 조사는 얼마나 그런지를 숫자로 재는 조사입니다. 화면에서 물으면 응답이 빠르지만 지금 막힌 사람만 답해 점수가 낮은 쪽으로 쏠렸기 때문입니다.

첫 회차가 64점, 다음이 69점이었습니다. 5점 올랐다고 좋아할 일인지 지현이 되물었고, 표본이 각각 마흔 명대라 이 정도는 우연으로도 생긴다는 답이 돌아왔습니다. 그래서 세 회차까지는 방향만 보기로 하고, 함께 받은 자유 서술은 언모더레이티드 테스트의 과업 목록을 짜는 데 썼습니다.

점수 하나가 무엇을 고쳐야 하는지 알려 준다고 읽는 경우가 가장 많습니다. 숫자가 낮으면 원인도 그 숫자 안에 있을 것처럼 느껴집니다. 하지만 이 설문은 사용성 전체에 대한 인상을 한 값으로 눌러 놓은 것이라 어느 화면의 어느 단계가 막혔는지는 담고 있지 않습니다. 55점으로 할 수 있는 일은 문제가 있다는 확인뿐이고, 어디인지는 사람을 앉혀 보거나 기록을 봐야 나옵니다.

만족도 점수와 같은 것으로 읽는 것도 흔합니다. 둘 다 설문으로 받은 값이라 나란히 놓고 싶어집니다. 하지만 묻는 대상이 다릅니다. 순추천지수나 만족도 점수는 제품을 좋아하는지를 묻고 이쪽은 쓰기 쉬운지를 묻습니다. 쓰기 어려운데 대안이 없어 계속 쓰는 제품은 사용성 점수가 낮고 만족도는 중간쯤 나옵니다. 두 값을 합쳐 보고하면 이 상태가 지워집니다.