선호도 테스트

시안이 둘로 갈렸을 때 결정이 회의실 안에서 나지 않는 일이 잦았습니다. 근거가 각자의 감각이라 누가 더 오래 말하는지로 결론이 났습니다.

페이지덱의 요금제 화면이 그랬습니다. 민서가 만든 두 시안을 놓고 한쪽은 값이 커 보인다고 하고 다른 쪽은 값이 숨겨져 있어 못 믿겠다고 했습니다. 두 주장 모두 화면을 처음 보는 사람의 눈을 대신 말한 것이었는데, 회의실에 그런 사람은 없었습니다. 열 번 이상 본 사람들이 처음 보는 사람의 인상을 추측한 셈입니다.

선호도 테스트는 그 추측을 밖으로 내보냅니다. 화면을 처음 보는 사람 수십 명에게 두 시안을 함께 보여 주고 어느 쪽이 나은지 고르게 합니다. 여기서 얻는 것은 정답이 아니라 회의실 안에 없던 시선입니다. 이유까지 함께 물어 두면 고른 비율보다 그 문장들이 더 쓸모 있을 때가 많습니다.

무엇을 물을지 한 문장으로 정하는 것이 첫 단계이고, 시안을 나란히 놓고 고르게 하는 것은 그다음입니다.

1. 질문을 속성 하나로 좁힙니다. 어느 쪽이 더 좋으냐고 물으면 취향이 돌아오고, 어느 쪽이 더 믿을 만해 보이냐고 물으면 판단이 돌아옵니다. 요금제 화면이라면 어느 쪽이 값을 이해하기 쉬운지가 그 속성입니다.
2. 시안은 두세 개까지만 둡니다. 네 개가 넘으면 응답이 흩어져 차이가 보이지 않습니다. 40명에게 네 시안을 보여 주면 28대 26대 24대 22처럼 나오는데, 이 값들로는 어느 것도 앞섰다고 말할 수 없습니다.
3. 시안 사이에 다른 점을 하나로 맞춥니다. 색과 배치와 문구를 동시에 바꾼 두 시안은 어느 쪽이 이겨도 무엇이 이긴 것인지 알 수 없습니다. 값을 표로 늘어놓은 안과 카드로 나눈 안을 견주려면 문구와 색은 양쪽을 같게 둡니다.
4. 보여 주는 순서를 사람마다 무작위로 섞습니다. 먼저 본 것이 기준이 되는 성질이 있어서, 고정된 순서로 돌리면 앞자리 시안이 유리해집니다.
5. 고른 다음 이유를 열린 질문으로 받습니다. 어디를 보고 그렇게 판단했는지를 한두 문장으로 적게 합니다. 이 답이 다음에 고칠 자리를 알려 줍니다.
6. 참여자는 제품을 쓸 만한 사람으로 30명에서 50명을 모읍니다. 비율을 읽는 조사라 다섯 명으로는 6대 4와 5대 5를 구분하지 못합니다.
7. 결과는 비율과 이유를 함께 읽습니다. 62대 38처럼 벌어지면 한쪽을 고르고, 52대 48이면 두 시안의 차이가 없다는 결론으로 받아들이고 이유 문장에서 공통으로 지적된 자리만 고칩니다.

방향이 갈려 결정이 멈춰 있고 아직 내보낼 화면이 없을 때 가장 잘 맞습니다. 출시 전에는 행동 데이터가 없으니 인상이라도 밖에서 받아 오는 편이 회의실 안의 추측보다 낫습니다. 로고나 일러스트처럼 성과 지표로 판정하기 어려운 대상에도 씁니다.

한계는 넷입니다.

1. 선호가 성과를 예측하지 못합니다. 보기에 좋다고 고른 화면이 실제로 더 많이 눌리는 화면과 다를 수 있습니다. 내보낼 수 있는 화면이라면 두 안을 무작위로 나눠 보여 주고 결과를 견주는 A/B 테스트가 답을 더 정확히 줍니다.
2. 참여자는 디자이너가 아닙니다. 파란색이 낫겠다는 답을 설계 지시로 받으면 안 됩니다. 그 답에서 건질 것은 색이 아니라 지금 화면이 차갑게 읽힌다는 사실입니다.
3. 쓰기 쉬운지는 알려 주지 않습니다. 화면을 보고 고르는 조사라서 실제로 과업을 해내는지는 사용성 테스트에서 따로 봅니다.
4. 이유를 묻지 않으면 취향 투표로 끝납니다. 6대 4라는 숫자만 남으면 무엇을 고칠지가 남지 않습니다.

이 조사는 숫자로 비율을 재는 정량 조사와 말로 이유를 잡는 정성 조사가 한 문항 안에 섞인 형태입니다. 그래서 둘 중 어느 쪽으로도 깊지 않고, 방향을 좁히는 초기 단계에서 값이 큽니다.

"두 시안 선호도 테스트 돌렸는데 62대 38로 갈렸습니다."

한쪽이 뚜렷하게 앞섰으니 그 안으로 정하자는 보고입니다.

"51대 49면 차이가 없다고 봐야 해요. 이유 쪽을 봅시다."

비율로는 결론이 나지 않았으니 적어 준 문장에서 공통점을 찾자는 말입니다.

"이건 선호도 말고 A/B 로 가죠. 이미 붙어 있는 화면이잖아요."

행동 데이터를 얻을 수 있는 대상이라 인상 조사를 건너뛰자는 제안입니다.

민서가 요금제 화면 두 시안으로 이 조사를 돌렸습니다. 참여자 44명 중 27명이 표 형태를 골랐지만, 이유를 읽어 보니 표를 고른 사람 절반이 연간 결제 할인 문구를 못 찾았다고 적었습니다. 결정은 표 형태로 났고, 그 자리에서 할인 문구의 위치를 바꾸는 작업이 함께 생겼습니다. 비율이 정한 것은 방향 하나였고 나머지는 이유 문장이 정했습니다.

다수가 고른 시안이 성과도 좋을 것이라고 읽는 경우가 가장 많습니다. 사람들이 직접 고른 결과라 그럴듯해 보입니다. 하지만 응답자는 그 화면에서 실제로 돈을 쓰거나 가입하는 상황에 있지 않고, 나란히 놓인 두 화면을 견주는 상황에 있습니다. 실제 사용자는 한 화면만 봅니다. 선호를 성과로 읽고 내보냈다가 전환율이 떨어져 되돌리는 일이 실제로 생기고, 그때는 조사가 틀린 것이 아니라 조사가 답하지 않은 질문에 답을 받아 온 것입니다.

팀 내부 투표로 대신할 수 있다고 보는 것도 흔합니다. 같은 화면을 보고 고르는 일이니 결과가 비슷할 것 같습니다. 실제로는 팀이 그 화면을 수십 번 본 사람들이라 처음 보는 사람이 어디에서 헤매는지 이미 알지 못합니다. 이름을 줄여 쓴 메뉴 글자가 팀에는 읽히고 밖에서는 읽히지 않는 식입니다. 만든 사람이 한 명이라도 끼어 있으면 그 사람이 어느 쪽을 골랐는지가 옆자리에 전해지는 문제도 함께 생깁니다. 내부 투표로 결론을 내면 그 차이가 그대로 화면에 남고, 출시 뒤 문의로 돌아옵니다.