22장. 결과가 나오기 전에 판단을 기록했다.

온보딩에서 두 방향을 놓고 결정해야 했다. 하나는 제품이 무엇을 해 주는지 먼저 설명하는 화면이었다. 다른 하나는 설명을 줄이고 작동 모습을 바로 보여 주는 즉시 시연 화면이었다. 둘 다 사용자가 처음 만나는 제품을 이해시키려는 안이었다. 이해를 만드는 순서가 달랐다.

나는 작동 모습을 먼저 보여 주는 쪽을 골랐다. 약속을 읽게 하기보다 제품이 실제로 하는 일을 먼저 보게 하는 편이 다음 행동으로 이어질 것이라고 봤다. 결과는 없었다. 선택할 때 가진 것은 두 대안과 그 판단뿐이었다.

설명보다 작동 모습을 먼저 골랐다.

설명 화면에는 분명한 장점이 있었다. 낯선 제품이 어떤 문제를 다루는지 말로 정리할 수 있고, 사용자가 앞으로 보게 될 기능의 맥락을 먼저 줄 수 있었다. 제품의 작동만으로 가치가 바로 드러나지 않는다면 설명은 빈칸을 채운다. 처음부터 모든 것을 알아내게 하는 부담도 줄인다.

즉시 시연 화면은 다른 위험을 감수했다. 작동 모습이 충분히 명확하지 않으면 사용자는 제품의 가치를 보기 전에 낯선 화면과 마주친다. 시연이 제품의 가장 좋은 순간을 대표하지 못하면 설명을 줄인 선택이 오히려 이해를 늦출 수도 있다. 보여 준다는 사실만으로 이해가 생기지는 않는다.

그래도 시연을 먼저 골랐다. 이 제품에서는 약속의 문장보다 실제 작동을 앞세워야 한다고 판단했다. 설명을 읽고 믿은 뒤 기능으로 들어오는 순서보다 작동을 본 뒤 더 알고 싶은 사람이 움직이는 순서를 택했다. 설명의 완성도보다 제품이 스스로 증거를 보여 줄 수 있는지를 먼저 시험하고 싶었다.

이 결정은 설명이 쓸모없다는 판정이 아니었다. 설명을 첫 순서에서 뒤로 밀었다. 시연을 본 뒤 맥락이 필요한 사람에게는 여전히 설명이 필요할 수 있었다. 두 방향 중 하나를 고르면서 버린 것은 설명 자체가 아니라 설명으로 이해를 먼저 통제할 가능성이었다.

결정 당시 어느 방향이 더 좋은 결과를 낼지는 알 수 없었다. 화면의 완성도만 보고 고를 수 있는 문제도 아니었다. 두 안이 예상한 사용자 행동이 달랐다. 설명 우선은 이해한 뒤 움직이기를 기대했고, 시연 우선은 작동을 본 뒤 의미를 붙이기를 기대했다. 선택은 그 기대 가운데 하나를 앞세운 일이었다.

과거 같으면 여기서 선택 이유를 문서에 남기고 작업을 닫았을 것이다. 결과가 좋으면 시연이 맞았다고 기억하고, 나쁘면 시연이 부족했다고 설명했을 가능성이 크다. 어느 쪽이든 결과를 본 뒤 이야기를 고칠 수 있었다. 이번에는 그 여지를 줄이려고 결과가 나오기 전에 판단을 적었다.

판단에 불리하게 셈할 관찰을 먼저 적었다.

기록에는 무엇을 골랐고 왜 골랐는지뿐 아니라 어떤 후속 관찰이 판단에 불리하게 셈될지도 넣었다. 작동 모습을 먼저 보여 주면 사용자가 제품의 가치를 더 빨리 알아차리고 다음 행동으로 이어질 것이라는 기대였다. 그 기대와 반대되는 행동이 나타나면 시연 우선 판단을 다시 봐야 했다.

구체적인 수치와 관찰 기간은 이 글에 공개할 기록으로 남아 있지 않다. 뒤에서 그럴듯한 임계값을 만들지 않는다. 확인할 수 있는 사실은 선택 전에 판정 기준을 기록했고, 다음 증거가 사용자의 행동에서 와야 한다고 정했다는 데까지다.

사소해 보이는 차이가 결정의 성격을 바꿨다. 선택 이유만 남기면 문서는 결정을 방어하는 데 쓰이기 쉽다. 판단에 불리한 관찰을 함께 적으면 문서가 나중의 결과를 받아들이는 자리가 된다. 그 관찰이 실제로 도착했을 때 기록이 판단을 바꾸는지는 별도로 봐야 한다.

사전 기록도 완전한 보호 장치는 아니다. 사람은 자신에게 유리한 관찰을 고를 수 있고, 모호한 기준을 써서 어떤 결과든 지지로 읽을 수 있다. 기록을 했다는 사실만으로 판단이 정직해지지는 않는다. 무엇을 보면 틀렸다고 셀지 구체적으로 적고, 결과 뒤에 그 기준을 슬쩍 바꾸지 않아야 한다.

온보딩 결정에서 가장 가까운 대안을 함께 남긴 이유도 여기에 있었다. 설명 화면이 있었다는 사실이 사라지면 시연 화면은 유일한 길처럼 기억된다. 선택하지 않은 안이 무엇을 지킬 수 있었는지 알아야 결과가 나쁠 때 어디서부터 다시 볼지 정할 수 있다. 대안은 실패 뒤에 급히 만들어 붙이는 처방이 아니라 이미 검토한 다른 경로였다.

기록 시점도 중요했다. 화면을 내보낸 뒤 이유를 쓰면 실제 판단과 결과를 본 해석이 섞인다. 당시의 기대가 결과에 맞춰 더 영리한 문장으로 바뀔 수 있다. 선택 전에 적은 짧은 기록은 완성된 설명보다 거칠지만, 적어도 결과가 나오기 전의 믿음을 보존한다.

기록이 판단으로 돌아오려면 결과를 보는 사람에게 다음 결정을 바꿀 권한도 있어야 한다. 행동 자료를 받아도 화면을 고칠 수 없다면 기록은 보고서에서 끝난다. 반대로 화면을 고치는 사람이 원래 선택과 후속 관찰을 함께 보면, 같은 종류의 결정을 내릴 때 이전 믿음을 그대로 반복할지 바꿀지 선택할 수 있다.

한 번의 온보딩 판단만으로 그 변화가 드러나지는 않는다. 비슷한 결정을 거듭 내리고 결과가 돌아와야 기록이 다음 선택을 실제로 제약하는지 볼 수 있다. 이 사례는 그 연속의 첫 항목에 가깝다. 지금은 루프가 잘 작동한다는 증거보다 루프를 닫기 위해 비워 둔 칸이 더 많다.

지지, 반박, 판정 불가

후속 관찰은 세 상태로 나눠 읽기로 했다. 기대한 행동이 예상한 방향으로 움직이고 해석을 뒤집을 만한 다른 변화가 없다면 판단을 지지하는 쪽에 놓는다. 시연 우선 화면이 선택한 가치를 실제 행동에서도 지켰다는 뜻이다. 한 번의 지지가 영구적인 정답을 만들지는 않는다.

같은 조건에서 행동이 기대와 반대로 움직인다면 반박으로 본다. 사용자가 작동 모습을 먼저 보고도 가치에 도달하지 못하거나 다음 행동으로 이어지지 않는다면, 설명을 뒤로 미룬 선택을 다시 열어야 한다. 화면의 세부 완성도가 문제였는지, 시연 우선이라는 방향이 문제였는지는 그다음에 나눌 일이다.

판정 불가도 결과다. 노출이 부족하거나 계측이 실패했을 때, 같은 시기에 다른 변화가 겹쳐 온보딩의 영향을 떼어 읽을 수 없을 때는 기존 판단을 지지하거나 반박하지 않는다. 움직임이 서로 엇갈려 한 방향으로 읽기 어려운 경우도 여기에 놓인다. 빈칸을 성공으로 채우지 않기 위한 상태다.

세 상태는 정밀한 연구 분류가 아니다. 제품 결정을 다음 결정과 연결하려고 만든 거친 구분이다. 결과를 받은 뒤 판단을 지지하는 이야기만 남겨서는 안 됐다. 반박과 판정 불가가 기록에서 사라지면 결정 장부는 학습보다 성공담을 보존한다.

지지는 가장 다루기 쉬운 상태다. 처음 기대를 유지하면 되기 때문이다. 반박은 선택 이유와 화면 구현을 다시 나눠야 하고, 판정 불가는 관찰 자체를 고쳐야 한다. 세 상태를 같은 무게로 기록하지 않으면 어려운 결과일수록 문서에서 빠지고, 남은 기록은 판단이 늘 맞았던 것처럼 보이게 된다.

반박이 나오면 설명 화면으로 곧바로 돌아갈 필요는 없다. 시연의 내용을 바꾸거나, 경로를 줄이거나, 시연 뒤의 설명 위치를 조정할 수 있다. 행동은 기존 기대를 기각할 수 있지만 다음 대안을 자동으로 골라 주지는 않는다. 다시 열린 자리에는 또 다른 판단이 필요하다.

판정 불가가 반복될 때도 기록은 불편해진다. 관찰 설계가 약했는지, 제품의 노출이 부족했는지, 애초에 결과와 연결하기 어려운 판단을 측정하려 했는지 살펴야 한다. 계속 판정하지 못한다면 정교한 기록을 쌓았다는 사실보다 그 기록이 다음 선택을 제약하지 못했다는 사실을 받아들여야 한다.

결과는 아직 나오지 않았다.

온보딩 결과는 나오지 않았다. 시연 우선 선택이 사용자의 다음 행동을 바꿨는지 확인할 수 없다. 설명을 먼저 보여 줬을 때보다 나았는지 비교한 결과도 없다. 현재 기록된 것은 선택과 이유, 판단에 불리하게 셈할 관찰뿐이다.

이 빈칸을 서둘러 채우면 책의 마지막은 깔끔해질 수 있다. 실제 작업은 그렇게 닫히지 않았다. 결과를 기다리는 동안에도 다른 화면을 만들고 다른 결정을 해야 한다. 미확정 상태는 잠시 멈춘 이야기가 아니라 계속되는 작업의 일부다.

결과가 좋게 나오더라도 한 번의 온보딩 선택이 모든 제품의 원칙이 되지는 않는다. 작동 모습이 가치를 바로 드러내는 제품과 설명 없이는 위험한 제품의 조건은 다르다. 결과가 나쁘게 나와도 모든 시연 우선 화면이 틀렸다는 결론은 남지 않는다. 이 결정의 화면과 대상, 당시 조건 안에서 판단을 다시 읽게 된다.

판정 기준을 적었다는 사실의 효용도 확인되지 않았다. 기록이 실제로 다음 결정을 바꿀지, 나중 사람이 읽을지, 과거 선택에 더 강하게 묶이게 할지는 알 수 없다. 문서를 만드는 비용만 늘고 행동은 달라지지 않을 수도 있다. 그런 일이 반복되면 기록의 항목과 적용 범위를 줄여야 한다.

기록은 결과를 깨끗하게 만드는 장치도 아니다. 온보딩과 함께 다른 화면이 바뀌거나 계측이 흔들리면 원인을 분리하지 못할 수 있다. 그때는 불확실성을 없애려 하지 않고 판정 불가로 남겨야 한다. 판단을 다시 여는 데 필요한 것은 언제나 명확한 승패가 아니라, 이번 결과로 무엇을 말할 수 없는지 구분하는 일일 때도 있다.

결과를 기다리는 상태는 불편하다. 원칙을 적는 일은 끝났고 실제 행동은 답하지 않았다. 이때 할 수 있는 일은 확신을 더 매끄럽게 설명하는 것이 아니라 처음 적은 판단과 다음 관찰 사이의 거리를 그대로 두는 것이다.

다시 열 조건

이 결정을 다시 여는 가장 분명한 계기는 반박에 해당하는 행동이다. 시연 우선 화면이 기대한 다음 행동으로 이어지지 않는다면 선택 이유를 다시 본다. 판정 불가가 반복되어 어떤 결과도 읽을 수 없다면 관찰 방법과 결정 단위를 함께 다시 본다.

설명 화면을 버린 비용이 예상보다 컸다는 관찰도 다시 열 조건이 된다. 사용자가 작동 모습을 보면서도 제품이 무엇을 하는지 이해하지 못한다면, 설명을 뒤로 미룬 순서가 실제 사용에 맞지 않았을 수 있다. 그때는 설명을 복원할지, 시연 자체를 바꿀지, 두 화면의 순서를 다시 나눌지 결정해야 한다.

반대로 기대한 행동이 나타나고 다른 변화로 설명하기 어렵다면 시연 우선 판단을 당분간 유지할 수 있다. 유지도 영구 승인과 다르다. 대상과 제품이 달라지거나 시연이 가치를 대표하지 못하게 되면 같은 선택을 다시 검토한다.

결과가 오기 전의 기록은 결정을 대신하지 않는다. 다음 판단이 처음의 믿음을 몰래 고쳐 쓰지 못하게 붙잡아 둔다. 그 정도의 역할을 실제 작업에서 해내는지도 이번 결과와 뒤이은 결정에서 확인해야 한다.

첫 장의 리뷰에서는 어느 판단이 맞았는지 알려 줄 다음 관찰이 없었다. 마지막 장의 결정에는 그 자리를 비워 두었다. 답은 오지 않았다. 답이 도착했을 때 처음의 이유를 고쳐 쓰지 않고, 그 판단을 계속 둘지 다시 열지 결정할 수 있는지가 남았다.