14장. 결정의 기억을 얼리는 법

왜 맥락을 얼리는가?

결정을 나중에 평가하려면 결과만으로는 부족하다. 결과는 무엇이 선택됐는지 알려 주지만, 선택 전에 어떤 질문이 닫혔고 어떤 질문이 남았는지는 따로 보존하지 않는다. 관찰은 단순하다. 같은 최종 규칙도 입력 맥락이 달라지면 다른 실행 조건이 된다. 해석은 여기서 시작한다. 비교하려는 것은 모델의 즉흥성이 아니라, 같은 조건에서 결정 기억이 어떤 차이를 남기는지다.

그래서 실험은 먼저 맥락을 얼린다. 절차는 과제, 조건, 반복, 실행 기록의 형태를 사전에 고정하고 그 뒤에 생성을 시작하는 순서다. 해석은 더 좁다. 동결은 비교 조건을 보호하지만 좋은 가설을 만들지는 않는다. 나쁜 질문을 얼리면 나쁜 질문이 안정될 뿐이다. 동결은 성과의 근거가 아니라 비교를 가능하게 하는 작업 조건이다.

동결이 필요한 까닭은 사후 기억이 너무 쉽게 좋아지기 때문이다. 결과가 나온 뒤에는 애초부터 그 질문이 중요했다고 말하기 쉽고, 반대로 실패한 조건은 원래 주변적이었다고 줄이기 쉽다. 절차는 이 흔들림을 줄이려고 실행 전에 목록과 범위를 고정한다. 해석은 조심해야 한다. 고정된 목록이 연구자의 편향을 없애지는 않는다. 편향이 결과를 본 뒤 조용히 바뀌는 경로를 좁힌다.

또 하나의 이유는 비교의 언어를 보존하는 데 있다. 실험이 끝난 뒤에는 실행이 남긴 문장과 표만 보인다. 그 표가 어떤 선택의 흔적인지 모르면 숫자는 쉽게 성격을 바꾼다. 절차는 과제와 조건을 먼저 묶어 두고, 해석은 그 묶음 안에서만 말한다. 이 순서가 없으면 관찰은 결과처럼 보이고, 결과는 원래 의도였던 것처럼 보인다.

질문과 조건

실험에서는 결정 기억이 최종 규칙에서 빠진 미해결 질문을 보존하는지 물었다. 관찰 단위는 개별 실행 기록이다. 해석과 일반화는 같은 설계 셀과 이 표본의 범위 안에서만 묶인다. 효용은 측정 대상에서 빠졌다. 어떤 조직에서 더 좋은 결정을 내리게 하는지, 속도를 높이는지, 비용을 줄이는지는 별도 질문이다.

절차상 범위는 모델 2개, 조건 3개, 과제 5개, 반복 3회, 90회다. 조건은 기준 입력만 둔 경우, 결정 기록을 더한 경우, 더 넓은 결정 기억을 더한 경우로 나뉜다. 과제는 같은 수로 각 모델과 조건에 배치되고, 각 칸은 세 번 반복된다. 이 설명은 표본의 모양을 밝히는 문장이다. 여기서 곧바로 어떤 조건이 낫다고 해석하면 절차와 결과를 섞게 된다.

90회라는 숫자는 실행 수다. 독립적인 90개 일반화 단위가 아니다. 같은 과제와 같은 조건에서 나온 세 반복은 서로 다른 로그를 만들지만 같은 설계 셀에 묶인다. 두 모델도 세 조건도 임의로 뽑은 모집단을 대표하지 않는다. 90회 실행은 비교표를 채우는 크기이지, 일반화의 크기가 아니다.

과제 5개라는 숫자도 같은 방식으로 읽어야 한다. 절차의 관찰은 다섯 과제가 반복 구조 안에 들어갔다는 사실이다. 해석은 과제의 폭이 좁다는 한계를 함께 붙인다. 한 과제가 미해결 질문을 잘 드러내도록 설계됐을 수 있고, 다른 과제는 그런 신호가 나타나기 어려웠을 수 있다. 이 차이는 결과가 아니라 설계의 배경 조건이다.

반복 3회는 같은 설계 셀을 세 번 실행한 절차 기록이다. 관찰은 같은 셀을 세 번 채웠다는 사실이고, 해석은 그 세 실행을 서로 독립적인 세 세계로 키우지 않는 데 있다. 같은 과제 문장, 같은 조건, 같은 평가 구조를 공유하기 때문이다. 세 반복이 모두 같은 방향을 보이면 흥미로운 신호가 될 수 있지만, 그 신호는 셀 안의 신호다. 셀 밖의 과제와 모델로 이동하려면 새 설계가 필요하다.

90칸의 구성

행렬은 이 구분을 눈에 보이게 만든다. 행은 모델과 과제를 묶고, 열은 조건과 반복을 묶는다. 한 줄에는 한 모델의 한 과제가 놓이고, 그 줄을 가로질러 세 조건과 세 반복이 지나간다. 절차의 관찰은 90칸이 모두 같은 틀에서 실행됐다는 사실이다. 해석은 그 틀이 독립 사례 90개를 만든다는 말이 아님을 확인하는 데 있다.

이 그림이 보여 주는 것은 절차의 균형이다. 각 모델은 같은 수의 과제를 받고, 각 조건은 같은 반복 수를 가진다. 해석은 그 균형의 한계를 함께 읽어야 한다. 과제 5개가 넓은 업무 세계를 대표한다고 볼 수 없고, 모델 2개가 모델 생태계를 대표한다고 볼 수도 없다. 균형 잡힌 작은 표본은 작은 표본이다.

각 칸을 읽는 순서도 중요하다. 먼저 칸이 실제 실행을 뜻한다는 점을 확인한다. 다음으로 그 실행이 어느 모델, 어느 조건, 어느 과제, 어느 반복에 놓였는지 본다. 마지막에야 그 칸을 다른 칸과 비교한다. 이 순서를 거꾸로 하면 눈에 띄는 차이가 먼저 보이고, 그 차이가 어떤 설계 셀에서 나온 것인지 나중에 찾게 된다. 해석은 그런 역순을 피해야 한다.

동결이 보호한 것

동결이 보호한 첫 대상은 비교 조건이다. 절차는 실행 전에 과제 수와 반복 수를 고정하고, 각 실행이 어느 조건에서 나왔는지 남긴다. 그래서 나중에 결과를 볼 때 어느 조건은 어려운 과제만 받았고 어느 조건은 쉬운 과제만 받았다는 의심을 줄일 수 있다. 해석은 제한된다. 이 보호는 배치의 공정성에 관한 것이지, 가설의 참에 관한 것이 아니다.

질문의 순서도 동결 대상이다. 절차는 먼저 무엇을 비교할지 정하고, 그다음 실행하고, 그다음 검증한다. 결과를 본 뒤 질문을 바꾸는 방식은 비교를 흐린다. 해석은 이 순서가 연구자의 판단을 정지시킨다는 뜻이 아니다. 무엇을 물을지는 사람이 골랐다. 결과가 나온 뒤 질문의 경계를 바꾸는 일을 공개적인 위반으로 만든다.

동결은 두 종류의 오류를 나눠 보게 한다. 하나는 실행 전 오류다. 과제를 잘못 골랐거나 조건을 불공정하게 만들었을 수 있다. 다른 하나는 실행 후 오류다. 결과를 본 뒤 의미를 키우거나 줄이는 해석의 오류다. 절차는 두 오류를 모두 없애지 못한다. 해석은 어느 오류가 남았는지 더 분명히 말하게 한다는 데서만 동결의 가치를 찾는다.

실패의 위치도 함께 동결한다. 절차가 고정돼 있으면 나중에 문제가 생겼을 때 과제 설계의 실패인지, 실행의 실패인지, 해석의 과장인지 나눠 볼 수 있다. 해석은 실용적이다. 실패가 어디서 났는지 모르면 같은 결과를 두고도 방법을 탓하거나 모델을 탓하거나 질문을 탓하는 말이 섞인다. 동결은 그 책임 소재를 자동으로 정하지 않지만, 구분할 칸을 마련한다.

이 보호가 성과를 뜻하지 않는다는 점은 반복해서 남겨야 한다. 조건이 잘 보존됐다는 말은 같은 경기장을 썼다는 말에 가깝다. 그 경기장에서 어느 쪽이 더 설득력 있는 결과를 냈는지는 별도 판정이다. 관찰은 경기장의 선이 지워지지 않았다는 사실이고, 해석은 그 선 덕분에 나중의 판정이 어디까지 가능한지 정하는 일이다.

원본 표류가 드러낸 것

원본 표류는 동결의 반대편에서 중요하다. 절차는 실행에 쓴 입력과 나중에 열람한 원본이 같은지 확인한다. 원본이 바뀌면 결과가 틀렸다는 결론이 바로 나오지는 않는다. 관찰은 원본 상태가 달라졌다는 사실이고, 해석은 그 차이가 어느 비교에 영향을 줄 수 있는지 따져야 한다는 요구다.

표류 확인은 사소한 관리 항목이 아니다. 공개 자료, 참조 문서, 의존한 규칙은 시간이 지나며 바뀔 수 있다. 실행 당시에는 맞던 판단이 나중에는 어긋나 보일 수 있고, 반대로 당시에는 부족해 보인 판단이 원본 변경 때문에 설명될 수도 있다. 절차는 바뀐 사실을 표시한다. 해석은 그 표시를 성과나 실패의 증거로 곧장 바꾸지 않는다.

표류가 보이면 안정성도 불안정성도 성급하게 읽을 수 없다. 겉으로 안정돼 보이는 결과는 모델이 맥락을 잘 보존해서가 아니라 과제가 쉽게 변하지 않는 구조였기 때문일 수 있다. 반대로 불안정해 보이는 결과는 결정 기억의 부족이 아니라 원본의 갱신, 공개 자료의 이동, 실행 시점의 접근 차이에서 생겼을 수 있다. 경쟁 설명을 남기는 까닭은 관찰을 해석보다 먼저 세우기 위해서다.

결정 기억의 효용을 말할 때도 직접 관찰과 비교 절차를 나눈다. 한 모델과 한 과제에서 탐색 신호가 보였더라도 그것은 신호다. 효용이라고 부르려면 사전에 정한 반복 실험에서 같은 종류의 열린 문제 보존이 다시 나와야 한다. 그 반복에서 재현되지 않거나, 기록 비용이 열린 문제 보존보다 크게 나타나면 효용 주장은 철회된다.

반대로 표류가 없었다고 해서 안정성이 입증되는 것도 아니다. 같은 원본을 보았더라도 모델이 같은 방식으로 이해했는지는 별도 문제다. 입력이 안정돼도 해석이 흔들릴 수 있고, 입력이 흔들려도 과제가 그 차이에 둔감할 수 있다. 관찰은 표류의 유무이고, 해석은 그 유무가 실험 질문과 어떤 거리를 갖는지 따지는 일이다.

실험 설계가 증명하지 않는 것

이 설계는 결정 기억이 모든 작업에서 유용하다는 주장을 증명하지 않는다. 절차가 말하는 것은 다섯 과제와 두 모델과 세 조건의 실행 구조다. 해석이 말할 수 있는 것은 그 구조 안에서 어떤 질문을 조심스럽게 볼 수 있는지다. 결과의 크기, 정확도 변화, 모델과 조건의 폭은 뒤 장에서 따로 다룰 문제다.

이 설계는 자동화된 판단이 사람의 판단을 대체한다는 주장도 증명하지 않는다. 실험은 실행과 검증의 흔적을 남기지만, 어떤 손실을 감수할지 정하는 판단을 없애지 않는다. 절차는 비교를 가능하게 하고, 해석은 비교의 한계를 밝힌다. 두 문장을 바꾸면 동결은 쉽게 권위의 장식이 된다.

작은 실험은 작게 써야 다음 실험을 만든다. 절차가 남긴 관찰을 해석보다 앞에 두면, 뒤이어 수치가 나오더라도 그 수치가 말할 수 있는 범위를 잃지 않는다. 빨리 결론을 내리면 동결의 이유가 사라지고, 고정된 절차가 곧 타당성의 증명처럼 읽힌다. 사전 등록한 지표가 과업의 핵심을 놓쳤다면, 절차가 깨끗하게 지켜졌다는 사실은 잘못 고른 지표를 더 또렷하게 반복했음을 뜻할 뿐이다. 동결은 질문을 대신 검토해 주지 않는다.

효용 주장의 철회 조건도 같은 이유로 본문 안에 남긴다. 사전등록된 반복에서 열린 문제 보존이 다시 나오지 않거나, 보존된 질문이 후속 판단에 쓰이지 않거나, 기록 비용이 비교 가능한 이득보다 크면 결정 기억의 실용 주장은 물러난다. 절차는 그 철회를 가능하게 하는 기록을 만든다. 해석은 철회 가능한 주장만 실험 뒤에 남길 수 있다는 데서 출발한다.

보고의 형식도 이 한계를 따라야 한다. 절차 문장은 무엇을 얼렸고 무엇을 실행했는지 말한다. 해석 문장은 그 절차가 어떤 비교를 허용하고 어떤 비교를 막는지 말한다. 둘을 한 문단 안에 함께 둘 수는 있지만, 역할은 섞지 않는다. 이 구분이 있어야 독자는 결과를 결과로 읽고 동결을 절차로 읽는다.

결정 맥락을 얼리면 나중에 무엇을 비교했는지 더 분명히 말할 수 있다. 얼린 맥락의 품질은 별도 문제다. 90회 실행은 실험의 발자국이고, 독립적인 90개 일반화 단위가 아니다. 여기서 정한 것은 결과가 놓일 울타리다. 이후 수치는 이 울타리 안에서만 관찰값이고, 밖에서는 아직 시험하지 않은 해석이다. 그 선을 넘으면 해석은 결과보다 앞서 달린다.