시스템 사용성 척도

사용성 조사의 결과는 오랫동안 문장으로만 남았습니다. 참여자 다섯 명 중 셋이 저장 버튼을 찾지 못했다, 초대 화면에서 권한을 고르지 않고 넘어가려 했다 같은 관찰입니다. 이 문장들은 다음에 고칠 목록으로는 훌륭했지만 견줄 수 없었습니다.

페이지덱에서도 같은 벽에 부딪혔습니다. 규원이 지난 분기보다 쓰기 편해졌느냐고 물었을 때 민서가 내놓을 숫자가 없었습니다. 두 조사가 다른 과업을 주고 다른 참여자를 모았으니 관찰을 나란히 놓아도 나아졌는지를 말할 수 없었습니다. 기능이 늘고 화면이 바뀌는 동안 좋아지고 있는지 나빠지고 있는지를 아무도 답하지 못하는 상태였습니다.

그래서 사용성을 하나의 점수로 바꾸는 설문이 만들어졌습니다. 이 척도가 자리를 잡은 이유는 정확해서가 아니라 바뀌지 않았기 때문입니다. 수십 년 동안 같은 열 문항이 같은 순서로 쓰여서, 우리 점수를 우리의 지난 분기와도 견주고 다른 조직이 공개한 값과도 견줄 수 있습니다. 문항을 우리 제품에 맞게 고치면 그 비교 가능성이 그 자리에서 사라집니다.

열 문항에 각각 1에서 5로 답을 받고, 그 답을 0에서 4로 바꿔 더한 다음 2.5를 곱합니다. 네 단계입니다.

1. 답을 모읍니다. 문항은 긍정과 부정이 번갈아 놓여 있습니다. 홀수 번째는 이 시스템을 자주 쓰고 싶다처럼 긍정이고, 짝수 번째는 불필요하게 복잡하다처럼 부정입니다. 답은 전혀 그렇지 않다 1에서 매우 그렇다 5까지입니다.
2. 방향을 맞춥니다. 홀수 문항은 답에서 1을 빼고, 짝수 문항은 5에서 답을 뺍니다. 둘 다 0에서 4 사이가 되고, 값이 클수록 좋은 쪽입니다. 부정 문항을 섞어 둔 이유는 응답자가 생각 없이 한 열로 체크하는 것을 막기 위해서입니다.
3. 열 개를 더합니다. 0에서 40 사이가 나옵니다.
4. 2.5를 곱합니다. 0에서 100 사이가 되고 이것이 한 사람의 점수입니다. 여러 사람의 점수를 평균 낸 값이 그 제품의 점수입니다.

예를 들어 홀수 문항에 4·4·5·4·4로 답하고 짝수 문항에 2·2·1·2·2로 답한 사람이 있습니다. 홀수는 3·3·4·3·3이 되고 짝수도 3·3·4·3·3이 되어 합이 32이고, 2.5를 곱하면 80입니다.

받는 시점은 과업을 끝낸 직후입니다. 모더레이티드 테스트처럼 진행자가 함께 앉아 관찰하는 조사를 돌린 뒤 마지막에 붙이는 방식이 흔합니다. 다만 이 척도는 숫자로 견주는 정량 조사에 속해서 표본이 필요합니다. 관찰은 다섯 명으로 충분하지만 점수는 최소 스무 명쯤을 모아야 값이 흔들리지 않습니다.

68점이 기준선입니다. 여러 제품에서 받은 점수를 모아 놓았을 때의 평균값으로 알려져 있어서, 우리 점수가 바깥과 견줘 어디쯤인지 말할 수 있는 유일한 근거입니다.

대략의 구간은 이렇습니다. 50점 아래는 사람들이 쓰면서 계속 막히고 있다는 뜻이라 화면 구조를 다시 봐야 하는 수준입니다. 68점 근처는 평범한 제품의 자리입니다. 80점을 넘으면 상위권으로 보고, 90점대는 문항 열 개에 거의 최고점을 준 사람이 많아야 나오는 값이라 흔하지 않습니다.

절대값보다 중요한 것은 변화폭입니다. 같은 과업을 주고 같은 조건의 참여자에게 받아야 두 시점을 견줄 수 있습니다. 조건을 바꾼 채 71점과 78점을 나란히 놓으면 제품이 좋아졌는지 참여자가 달라졌는지 가릴 수 없습니다. 차이가 작을 때도 조심해야 합니다. 스무 명 표본에서 3점이나 4점 차이는 같은 제품을 두 번 재도 나올 수 있는 폭입니다.

이 점수가 알려 주지 않는 것도 분명합니다. 어디가 문제인지는 나오지 않습니다. 62점이라는 값은 어딘가 막히고 있다는 신호일 뿐이고, 무엇을 고칠지는 녹화와 관찰이 답합니다. 열 문항을 학습성과 사용성으로 쪼개 따로 보는 관행도 있지만 표본이 백 명 단위가 아니면 그 두 값은 우연에 가깝게 흔들립니다.

순추천지수와 섞지 않는 편이 낫습니다. 추천할 의향을 묻는 쪽은 제품 전체에 대한 만족이고, 이 척도는 쓰기 편한지만 묻습니다. 값이 싸고 편한데 만족은 낮은 제품과 그 반대가 모두 존재합니다.

"지난 분기 71점이었고 이번엔 78점이에요. 같은 과업으로 22명에게 받았습니다."

조건을 고정했으니 두 값을 견줘도 된다는 설명입니다.

"62점이면 평균 아래예요. 어디가 문제인지는 이 숫자로 안 나오니 녹화부터 봅시다."

점수를 신호로만 쓰고 원인은 다른 방법으로 찾자는 판단입니다.

"여덟 명한테 받은 점수는 보고에 넣지 맙시다. 그 숫자로는 아무 말도 못 해요."

표본이 모자라 우연한 값일 수 있다는 경계입니다.

민서는 초대 흐름을 고치기 전과 후에 같은 방식으로 점수를 받았습니다. 과업은 두 번 모두 동료 세 명을 각각 다른 권한으로 초대하는 것이었고, 참여자는 유료 플랜을 쓰는 20인 팀의 관리자 22명이었습니다. 고치기 전 점수는 64점, 고친 뒤는 76점이었습니다. 규원에게는 그 두 숫자와 함께 무엇을 바꿨는지를 한 줄로 적어 보냈습니다. 점수만 보내면 다음 분기에 또 올리라는 목표가 되고, 바꾼 내용이 함께 있으면 무엇이 효과를 냈는지가 남습니다.

100점 만점의 백분율로 읽는 경우가 가장 많습니다. 0에서 100 사이의 값이니 자연스러운 오해입니다. 하지만 이 값은 답을 0에서 40으로 바꾼 뒤 2.5를 곱해 눈금만 늘린 것이라 퍼센트가 아닙니다. 80점은 사용자의 80퍼센트가 만족했다는 뜻도, 열 문항 중 여덟 개에서 좋은 답을 받았다는 뜻도 아닙니다. 퍼센트로 읽으면 68점이 낙제점처럼 보여서, 평균인 제품을 심각한 상태로 보고하게 됩니다.

점수가 낮으면 무엇을 고쳐야 하는지 알려 준다고 보는 오해도 흔합니다. 숫자가 나왔으니 원인도 그 안에 있을 것 같기 때문입니다. 그런데 이 설문은 사용자가 느낀 결과만 담고 그 느낌이 어느 화면에서 생겼는지는 담지 않습니다. 점수만 들고 회의에 들어가면 각자 자기가 의심하던 화면을 원인으로 지목하게 되고, 그렇게 고른 대상은 실제로 막히던 자리와 다를 수 있습니다.