HEART 프레임워크

화면을 고친 뒤에 무엇이 좋아졌는지 말하는 일은 오래 어려웠습니다. 손에 쥔 숫자가 접속자 수와 설문 점수뿐이었기 때문입니다. 접속자 수는 화면이 좋아져서 오를 수도 있고 마케팅이 사람을 더 데려와서 오를 수도 있어, 어느 쪽인지 갈라 주지 않습니다.

페이지덱에서 이런 대화가 있었습니다. 민서가 초대 화면을 다시 만들어 내놓자 태오가 무엇이 좋아졌는지 물었습니다. 민서는 덜 헤매게 됐다고 답했지만 그 말을 받칠 숫자가 없었습니다. 다음 회의에서 민서가 가져온 것은 그 화면의 조회 수였는데, 조회 수는 오래 헤맬수록 같이 오르는 값이라 반대 방향을 가리켰습니다.

반대쪽 실패도 흔했습니다. 재기 쉬운 것만 목표로 삼다 보면 보기에는 좋지만 다음 결정을 바꾸지 못하는 허무 지표가 목표 자리에 들어옵니다. 화면을 복잡하게 만들면 체류 시간은 늘어나므로, 그 숫자를 올리라는 목표는 경험을 나쁘게 만드는 쪽으로도 달성됩니다.

구글의 리서치 팀이 이 두 문제를 함께 풀려고 내놓은 것이 HEART 입니다. 잴 수 있는 숫자를 모아 놓고 고르는 대신, 무엇이 좋아지길 바라는지를 먼저 적고 그 문장에서 지표를 끌어냅니다.

다섯 축은 행복, 참여, 채택, 유지, 과업 성공입니다. 앞의 한 축은 사용자가 어떻게 느끼는지를 묻고, 뒤의 네 축은 사용자가 무엇을 했는지를 기록에서 셉니다.

1. 행복 — 태도를 설문으로 잽니다. 순추천지수, 고객 만족도, 고객 노력 점수가 여기 들어갑니다.
2. 참여 — 쓰는 사람이 얼마나 깊이 쓰는지입니다. 한 사람이 한 주에 문서를 몇 번 편집하는지 같은 값으로, 인게이지먼트를 재는 자리입니다.
3. 채택 — 새로 쓰기 시작한 사람이나 팀의 수입니다. 기능을 새로 냈을 때 가장 먼저 움직이는 축입니다.
4. 유지 — 쓰던 사람이 계속 돌아오는 정도로, 리텐션이 그대로 여기 해당합니다.
5. 과업 성공 — 하려던 일을 해냈는지입니다. 성공률, 걸린 시간, 오류율을 씁니다.

절차는 네 단계입니다.

1. 무엇을 잴지 범위를 정합니다. 제품 전체인지 기능 하나인지에 따라 축도 지표도 달라집니다.
2. 이 범위에 해당하는 축만 고릅니다. 다섯을 다 채우지 않습니다.
3. 축마다 목표를 한 문장으로 적습니다. 이 기능이 잘되면 사용자에게 무엇이 달라지는지를 씁니다.
4. 그 목표가 이뤄졌을 때 제품에 나타날 신호를 적고, 그 신호를 셀 지표를 적습니다.

페이지덱이 문서 공유 기능에 이 순서를 적용한 결과는 이랬습니다. 채택 축의 목표는 공유를 처음 써 보는 팀이 늘어나는 것, 신호는 초대 링크를 처음 만든 워크스페이스, 지표는 주간 신규 공유 워크스페이스 수였습니다. 과업 성공 축의 목표는 공유받은 사람이 헤매지 않는 것, 신호는 링크를 연 뒤 문서를 여는 데까지 걸린 시간, 지표는 그 시간의 중앙값이었습니다. 개편 전 90초가 개편 후 22초가 되면서 민서가 처음에 하고 싶었던 말에 숫자가 붙었습니다.

기능 하나의 효과를 말해야 하는 자리에 가장 잘 맞습니다. 여러 팀이 서로 다른 숫자를 들고 와 자기 쪽이 좋아졌다고 말할 때, 같은 다섯 자리에 각자의 숫자를 놓아 보면 무엇이 비어 있는지가 드러납니다.

한계는 넷입니다.

1. 다섯 축을 다 채우려는 순간 억지 지표가 생깁니다. 결제 화면에 참여 축을 붙이면 그 화면에 오래 머무는 것이 좋은 일이 됩니다.
2. 채택과 참여는 비율로 적지 않으면 사용자 증가에 묻힙니다. 주간 신규 공유 워크스페이스가 40개에서 60개로 늘었어도 전체 워크스페이스가 그 사이 두 배가 됐다면 실제 비율은 내려간 것입니다.
3. 쓰는 사람이 아직 없는 제품에서는 돌아가지 않습니다. 기록이 쌓이지 않았으니 뒤의 네 축이 전부 비고, 그때는 사용성 테스트처럼 사람을 직접 보는 방법이 먼저입니다.
4. 축끼리 부딪힐 수 있습니다. 알림을 늘리면 참여는 오르고 과업 성공은 내려갑니다. 이 틀은 그때 어느 쪽을 택할지 정해 주지 않으므로, 범위를 정할 때 어느 축이 주인공인지를 함께 적어 둡니다.

"이번 개편은 HEART 로 치면 과업 성공 축이에요. 참여가 조금 떨어져도 성공률이 오르면 성공입니다."

어느 축을 보고 판단할지를 미리 못 박는 말입니다.

"다섯 축 다 채우지 마세요. 이 기능은 채택하고 과업 성공 둘만 봅니다."

관계없는 축에 지표를 만들어 붙이지 말자는 뜻입니다.

"목표는 적혀 있는데 신호가 비어 있어요. 이게 이뤄지면 제품에서 뭐가 달라지죠?"

목표에서 지표로 바로 건너뛰었다는 지적입니다. 가운데를 건너뛰면 재기 쉬운 숫자가 지표 자리에 들어옵니다.

페이지덱에서는 기능 기획서를 쓸 때 이 표를 한 장 끼워 넣습니다. 지현이 축과 목표를 먼저 적고, 신호와 지표는 태오와 함께 채웁니다. 기록으로 셀 수 있는지가 여기서 갈리기 때문입니다. 링크를 연 뒤 문서를 여는 시간을 재려면 두 시점에 기록이 남아야 하고, 없으면 기록을 심는 일이 개발 항목으로 들어갑니다. 이 대화를 개발이 끝난 뒤에 하면 출시하고 두 주가 지나서야 아무것도 재지 못했다는 사실을 알게 됩니다.

HEART 를 지표 목록으로 읽는 경우가 가장 많습니다. 다섯 글자가 각각 이름을 갖고 있어 그대로 가져다 쓰면 될 것처럼 보이기 때문입니다. 축 이름은 지표가 아니라 지표가 들어갈 자리입니다. 참여를 재자는 말은 아직 아무것도 정하지 않은 상태이고, 같은 축 아래에서도 문서 편집 횟수를 셀지 댓글 수를 셀지에 따라 결과가 반대로 나옵니다. 축 이름을 그대로 기획서에 옮겨 적고 끝내면, 반년 뒤에 그 숫자가 무엇을 뜻했는지 아무도 설명하지 못합니다.

이 틀이 좋은 값이 몇인지 알려 준다고 기대하는 것도 자주 봅니다. 틀이 다섯 자리를 정해 주니 합격선도 함께 올 것 같지만, 이 틀은 무엇을 잴지만 정하고 얼마면 괜찮은지는 말하지 않습니다. 기준은 같은 문항과 같은 방식으로 잰 지난 분기 값, 사용자 무리별로 갈라 본 값의 차이, 그리고 그 값과 실제 행동의 연결에서 만듭니다. 밖에서 가져온 평균값을 합격선으로 삼으면 언제 누구에게 잰 값인지 모르는 숫자와 우리 숫자를 견주게 됩니다.