18장. 이 실험이 증명하지 않은 것

관찰한 것

같은 얼린 실험에서 실행 구조, 인용 정확도의 평균 변화, 모델과 조건 사이의 폭, 미해결 쟁점 탐지의 작은 신호를 따로 읽었다. 이제 새 결과를 더하지 않고 이미 나온 관찰과 아직 말할 수 없는 것을 분리해 증거 부를 닫는다. 경계는 장식이 아니라 결론의 일부다.

닫는 장에서 특히 피해야 할 일은 여러 약한 문장을 하나의 강한 문장으로 묶는 일이다. 평균은 움직이지 않았고, 폭은 모델 쪽에서 더 컸고, 작은 신호는 한 셀에 남았다. 이 셋은 한 방향의 승부가 아니라 서로 다른 경고다. 그래서 관찰한 것, 관찰하지 못한 것, 다음 검증을 같은 높이에 놓고 읽어야 한다.

한 관찰은 절차의 크기다. 90회 실행은 절차였고 독립 단위가 아니었다. 두 모델, 세 조건, 다섯 과제, 세 반복이 만든 실행 기록은 비교표를 채웠다. 같은 과제와 같은 조건을 공유하는 반복을 서로 독립적인 세계처럼 세면 표본이 커진 듯 보인다. 이 실험에서 실행 수는 기록의 크기이고, 일반화의 크기가 아니다.

다른 관찰은 인용 정확도의 평균 변화다. 완성된 시스템 문서 조건에서 결정 기억 조건으로 옮겼을 때 평균 델타는 마이너스 1.8퍼센트포인트였다. 같은 분석은 반복 셀 안의 평균 흔들림을 6.5퍼센트포인트 노이즈 바닥으로 두었다. 관찰값은 그 안에 있었다. 그래서 결정 기억이 정확도를 높였다고 말할 수 없다. 반대로 정확도를 낮췄다고도 말할 수 없다.

짝지을 수 있는 비교 셀도 같은 방향으로 읽힌다. 8개 셀 가운데 2개는 나아졌고, 3개는 나빠졌으며, 3개는 그대로였다. 방향은 한쪽으로 모이지 않았다. 평균에 쓴 8칸은 두 모델과 네 과제를 대응시킨 값이며 서로 독립된 반복 검증이 아니다. 셀 수를 반복 횟수나 증거의 강도로 읽으면 안 된다. 관찰 단위는 여전히 처음에 범위를 정해 얼린 표 하나다.

또 다른 관찰은 폭의 크기다. 이 표본에서 모델 폭은 0.126이었고, C1과 C2 조건 폭은 0.029였다. 둘을 같은 축에 놓으면 모델 폭이 조건 폭보다 약 4.3배 컸다. 이것은 모델 선택이 더 중요하다는 보편 명제가 아니다. 특정 모델의 일반 우열도 아니다. 같은 얼린 표 안에서 두 종류의 거리 중 어느 쪽이 더 크게 관찰됐는지를 말할 뿐이다.

마지막 관찰은 사람 판정에서 남은 한 칸이다. 미해결 쟁점 탐지는 C0 0/4, C1 0/4, C2 3/5였다. 바람직 판단은 모두 한 모델, 한 과제, C2 조건의 한 셀에 있었다. 세 실행은 독립적이지 않다. 같은 셀의 반복이다. 이 숫자는 결정 기억이 열린 물음을 보존할 수 있다는 가능성 신호로만 남는다.

이 네 관찰은 서로를 보강하기보다 서로의 범위를 줄인다. 실행 구조는 숫자가 놓인 격자를 보여 주고, 평균 변화는 쉬운 정확도 개선 기대를 낮춘다. 폭 비교는 모델 의존성을 앞으로 끌어내며, 미해결 쟁점 신호는 결정 기억이 어느 한 자리에서 다른 종류의 단서를 남겼을 수 있음을 보인다. 넷을 한 문장으로 합치면 작은 신호가 무개선 결과를 구해 주거나, 큰 모델 폭이 그 원인을 설명하는 것처럼 읽힌다. 그런 인과 연결은 관찰되지 않았다.

관찰하지 못한 것

관찰하지 못한 것은 관찰한 것만큼 분명하게 써야 한다. 이 실험은 정확도 향상을 보지 못했다. 하지만 발견하지 못했다는 말은 효과가 없다는 말과 다르다. 작은 개선이 실제로 있었더라도 이 표본과 평가 방식이 그것을 안정적으로 잡지 못했을 수 있다. 무개선 관찰은 무효과 증명이 아니다. 더 좁게 쓰면, 이 표본에서 개선이라고 부를 움직임을 찾지 못했다.

정확도라는 말도 좁혀 써야 한다. 여기서 정확도는 얼린 채점표가 적용 가능 결정에 닿았다고 본 인용 적중이다. 문서가 읽기 쉬워졌는지, 설명이 설득력을 얻었는지, 사람이 나중에 검토하기 쉬웠는지는 같은 점수로 재지 않았다. 평가 방식이 한 면을 잘라 보았으므로 결과도 그 면에 머문다. 점수의 침묵을 문서 품질 전체의 침묵으로 바꾸면 안 된다.

인과적 해로움이나 이로움도 관찰하지 못했다. C2의 입력은 결정 기억만 달라진 순수 처치가 아니었다. 입력 길이가 달라졌고, 문장 배열과 목표 식별 정보도 조건마다 달라질 수 있었다. 더 많은 재료가 도움이 됐는지, 찾을 대상을 흐렸는지, 모델별 인용 습관이 섞였는지는 이 설계만으로 가를 수 없다. 동결은 비교 조건을 보호했을 뿐 가설의 참을 보호하지 않았다.

일반 모델 우위도 관찰하지 못했다. 두 모델 사이 폭이 C1과 C2 사이 폭보다 컸다는 말은 이 표본의 거리 비교다. 두 모델을 모델 전체의 모집단으로 바꾸면 안 된다. 모델 의존성은 해석의 한계이지, 순위표의 근거가 아니다. 다른 모델 묶음, 다른 버전, 다른 실행 환경에서는 폭의 순서가 바뀔 수 있다.

미해결 질문 보존의 일반성도 관찰하지 못했다. C2에서 3/5가 보였지만 그 세 판단은 한 모델, 한 과제, C2 조건의 한 셀에 모였다. 결정 기억이 모든 미해결 질문을 보존한다고 말할 수 없고, 일반 실무에서 열린 문제 발견을 늘린다고도 말할 수 없다. 여기서 남는 문장은 가능성 신호다. 그 신호는 우연, 모델에 맞은 표현, 과업 의존성과 함께 놓여야 한다.

실무 효용과 더 넓은 작업 흐름의 병목 주장도 관찰하지 못했다. 이 실험은 후속 작업자가 더 빨리 고치거나, 더 정확히 이전 결정을 복원하거나, 조직의 책임 배분이 바뀌는지를 재지 않았다. 기록이 유용하려면 보존된 질문이 나중의 판단에 쓰여야 한다. 이 실험은 그 재사용을 측정하지 않았다. 병목이 어디로 옮겨 갔는지에 관한 넓은 문장은 아직 가설로 남는다.

한계는 여러 겹이다. 작은 표본은 가장 앞에 있다. 90회 실행이 있어도 독립 단위는 더 작고, 미해결 쟁점 신호는 세 실행으로 줄어든다. 모델 의존성과 과업 의존성도 남는다. 한 모델과 한 과제에서 보인 신호를 다른 모델과 다른 과제로 옮겨 말할 수 없다. 천장 효과도 있었다. 근거 없는 서술과 기권 물음은 차이를 보일 여지가 거의 없었다.

천장 효과는 특히 조용한 한계다. 값이 모두 좋아 보이면 좋은 결과처럼 읽히기 쉽지만, 차이를 볼 기회가 사라진 상태일 수도 있다. 이미 만점에 가까운 물음에서는 조건이 더 나아질 공간이 없다. 그런 물음을 근거로 결정 기억이 해롭지 않았다거나 유용했다고 말하면, 측정되지 않은 자리를 측정된 자리처럼 다루게 된다. 이 실험에서 천장은 결과가 아니라 설계가 남긴 낮은 분해능이다.

평가 방식의 한계도 따로 남긴다. 기계 점수는 인용 적중의 한 면을 보았고, 사람 판정은 제한된 물음 몇 개를 보았다. 판정 패킷은 식별자와 순서를 가렸지만 출력 내용이 조건을 짐작하게 했을 가능성은 남았다. 차단 범위는 식별자와 순서까지였다. 루브릭 기회가 제한됐다는 점도 중요하다. 미해결 쟁점 물음은 넓은 과제 전체가 아니라 특정한 충돌 자리에 붙어 있었다.

이 한계들은 결과를 무효로 만들지 않는다. 결과를 어디까지 읽을지 정한다. 작은 표본, 모델 의존성, 과업 의존성, 천장 효과, 평가 방식, 입력 길이와 목표 식별 정보의 교락, 판정자와 출력 내용의 누출 가능성, 제한된 루브릭 기회는 모두 같은 일을 한다. 관찰을 결론으로 키우는 길을 좁히고, 다음 검증에서 무엇을 먼저 고쳐야 하는지 알려 준다.

다음 검증

다음 검증의 첫 묶음은 분기점 식별 신뢰도다. 같은 디자인 사례를 여러 실무자가 독립적으로 읽고 분기점을 기록하게 해야 한다. 무엇이 갈라지는지, 지키는 가치가 무엇인지, 감수한 손실이 무엇인지 서로 얼마나 맞는지를 본다. 여기서 묻는 것은 결정 기억이 좋은가가 아니다. 사람들이 같은 사건에서 같은 분기점을 찾을 수 있는가다.

다른 묶음은 결정 기억의 실무 효용이다. 결과만 있는 기록과 분기점 기록을 나누어 후속 작업자에게 주고, 열린 문제 발견, 이전 선택 복원의 정확도, 수정 결정 시간을 재야 한다. 이 방법이 있어야 기록이 실제 판단에 쓰였는지 볼 수 있다. 좋은 기록이라는 느낌이나 풍부한 설명이라는 인상은 충분하지 않다. 재사용되는 판단의 변화가 따로 측정돼야 한다.

또 다른 묶음은 집계 목표 분기다. 사전 등록된 집계 목표를 먼저 두고, 어느 목표를 택했을 때 어떤 결과가 나오는지 나눠 보아야 한다. 동시에 평가자 모집단과 자극의 한계를 공개해야 한다. 한 집계 목표에서 좋아 보이는 후보가 다른 목표에서도 좋다는 보장은 없다. 평가는 누구에게 무엇을 보였는지에 묶인다.

이 세 묶음은 이번 결과를 입증하기 위한 체크리스트가 아니다. 더 넓은 모델과 과제를 넣고, 입력 길이와 목표 식별 정보를 통제하며, 사전 등록한 분모와 판정 조정을 먼저 세우기 위한 설계 조건이다. 판정자가 볼 출력에서 조건이 새어 나갈 수 있는지도 별도로 기록해야 한다. 갈림 판단을 어떻게 처리할지, 어떤 루브릭 기회를 분모에 넣을지도 실행 전에 정해야 한다.

모델과 과제를 넓히는 일은 수를 늘리는 데 그치지 않는다. 같은 종류의 인용 과제만 늘리면 같은 좁은 채점표가 커질 뿐이다. 열린 질문이 생기는 방식, 근거가 문서에 남는 방식, 선택의 손실이 나중에 드러나는 방식을 달리해야 한다. 모델도 마찬가지다. 서로 비슷한 인용 습관을 가진 모델만 늘리면 모델 의존성이 약해 보일 수 있다. 후속 설계는 크기와 다양성을 함께 다루어야 한다.

분모와 판정 조정은 사소한 부속 절차가 아니다. 무엇을 정보 있는 판단으로 남길지, 판정자가 갈렸을 때 제외할지 재판정할지, 같은 셀의 반복을 어느 층위에서 묶을지 먼저 적어야 한다. 그래야 후속 결과가 나온 뒤 마음에 드는 분모를 고르는 일을 막을 수 있다. 이 경계는 같은 이유로 다음 검증의 문장 안까지 따라간다.

후속 검증은 현재 주장의 범위를 조정할 자료를 낸다. 미리 정한 철회 조건과 대조해야 하는 이유다. 분기점 식별이 낮게 나오면 결정 기억은 기록 양식을 바꾸기 전에 정의부터 다시 손봐야 한다. 실무 효용 비교에서 열린 문제 발견은 늘지만 수정 결정 시간이 길어질 수도 있다. 집계 목표를 나누면 하나의 우승 후보가 사라질 수도 있다. 그런 결과는 현재 주장을 어디까지 줄여야 하는지 알려 준다.

결정 기억의 가능성은 열어 두되, 증거의 범위는 여기서 닫힌다. 관찰한 것은 작지만 지워지지 않는다. 관찰하지 못한 것은 더 크고, 그것을 증명한 척하지 않아야 한다. 작은 결과를 실무의 일반 원칙으로 키워서는 안 된다. 대신 병목과 책임이 어디로 움직일 수 있는지, 아직 검증되지 않은 조건부 질문으로 옮겨 간다. 새 자료가 오면 경계부터 다시 쓴다.