17장. 그래도 남은 작은 신호

정확도 다음의 물음

평균 인용 정확도와 모델-조건 폭에는 이미 해석의 경계가 놓였다. 같은 집계 문장을 반복하지 않고 다른 물음을 꺼내 보자. 인용이 맞았는가가 아니라, 아직 닫히지 않은 쟁점을 출력이 알아차렸는가라는 사람 판정 물음이다.

사람 판정을 평균 정확도 대신 꺼낸 승부표로 쓰면 결과를 골라 보고하는 셈이 된다. 두 지표는 애초에 같은 것을 재지 않았다. 인용 적중은 얼려 둔 근거 앵커에 닿았는지를 보았고, 미해결 쟁점 물음은 출력이 아직 닫히지 않은 질문을 문장으로 알아차렸는지를 보았다. 측정 대상이 다르므로 결론도 따로 써야 한다.

출처에서 바로 확인되는 수치는 C0 0/4, C1 0/4, C2 3/5다. 여기서 바람직하다는 말은 미해결 쟁점을 알아차렸다는 뜻이다. 이 비율의 분모는 총 실행 수도, 판정표의 전체 표 수도 아니다. 보고와 판정 정리에서 쓰는 집계 규칙에 따라 정보 있는 비분할 판단만 셌다.

그래서 분모는 실행 수가 아니다. C0에도 관련 실행은 더 있었고, C1에도 관련 실행은 더 있었다. 두 판정자가 갈린 경우는 분모 밖에 두었다. 판정자 표의 전체 투표 수도 아니다. 판정자는 둘이었지만, 이 표는 투표수의 다수결을 분모로 삼지 않았다. 한 실행을 두 판정자가 같은 방향으로 읽었을 때에만 그 실행을 정보 있는 판단으로 남겼다. 그 정리 때문에 C0과 C1의 분모는 4가 되고, C2의 분모는 5가 된다.

이 집계 규칙의 사전 등록 여부는 근거로 삼을 수 없다. 확인되는 것은 더 좁다. 갈림 판단을 한쪽으로 밀어 넣지 않고, 보고와 판정 정리에서는 정보 있는 비분할 판단만 셌다. 분모는 작아지지만 무엇을 셌는지는 분명해진다.

셋이 아니라 한 칸

3/5가 나온 위치를 먼저 본다. C2에서 나온 세 바람직 판단은 흩어져 있지 않았다. 모든 바람직 판단은 한 모델, 한 과제, C2 조건의 한 셀에 있었다. 세 번의 실행은 서로 다른 사례가 아니라 같은 셀의 반복이다. 독립적인 세 사례가 아니다. 같은 모델이 같은 과제를 같은 조건에서 세 번 수행했고, 그 세 출력이 모두 미해결 쟁점을 알아차린 것으로 읽혔다. 이것은 셋으로 보이는 하나의 장소다.

이 구분을 놓치면 작은 신호는 금방 큰 주장으로 변한다. 이 표에서 세 바람직 판단이 있던 자리는 한 모델의 한 과제에 놓인 C2 셀 하나였다. 다른 모델의 같은 C2 셀과 그에 대응하는 C1 셀에서는 바람직 판단이 나오지 않았다. 이 말은 위치를 좁히는 데 그치며, 다른 과제나 배경 셀을 부정 관찰이나 실패로 바꾸지는 않는다. 미해결 쟁점 판정은 한 과제의 한 물음에 붙은 루브릭이었기 때문이다. 이 관찰은 넓은 표본의 반복 성공이 아니라, 하나의 설계 셀에서 남은 흔적이다.

한 셀이라는 말에는 두 가지 의미가 겹친다. 하나는 절차상의 위치다. 같은 모델, 같은 과제, 같은 조건이 세 번 실행된 자리다. 다른 하나는 해석상의 울타리다. 이 셀 밖으로 나가면 관찰은 곧장 약해진다. C2 전체가 그런 것이 아니고, 한 모델 전체가 그런 것도 아니며, 미해결 쟁점이라는 물음 전체가 안정적으로 그런 것도 아니다. 셀이라는 말은 숫자를 가두는 말이다.

도표는 먼저 분모를 보여 주어야 한다. C0과 C1에는 각각 네 개의 정보 있는 비분할 판단이 있었고, 그 안에는 바람직 판단이 없었다. C2에는 다섯 개가 있었고, 그중 세 개가 바람직했다. 세 개는 색만으로 표시하지 않는다. 채워진 기호, 굵은 테두리, 직접 레이블을 함께 써야 한다. 색이 빠져도 C2의 세 표식이 다른 표식과 구분되어야 한다.

도표 아래의 문구도 결과의 일부다. 일반화 단위 아님이라는 말은 주석이 아니라 독해 규칙이다. 이 문구가 빠지면 3/5는 작은 표본의 비율이 아니라 조건의 성격처럼 보인다. 실제로 이 숫자는 조건의 성격을 말하지 못한다. 정보 있는 판단 다섯 개 중 셋, 그리고 그 셋이 한 셀에 있었다는 사실을 보일 뿐이다.

가능한 해석들

가능한 해석은 세 가지 경쟁 설명으로 남는다. 우연이 먼저 남는다. 표본이 작고 셀 하나가 두드러졌으므로, 같은 절차를 다시 돌리면 사라질 수 있다. 모델에 맞은 표현일 수도 있다. 한 모델이 특정한 결정 기록의 문장 배열이나 질문 형식에 더 잘 반응했을 수 있다. 과제에 맞은 표현도 가능하다. 이 과제의 미해결 쟁점은 다른 과제보다 출력에서 말로 꺼내기 쉬웠을 수 있다. 한 번의 반복으로는 세 설명을 가를 수 없다.

출력 내용이 조건을 흘렸을 가능성도 있다. 판정 패킷은 식별자와 순서를 가렸지만, 출력 그 자체가 C2에서만 알 수 있는 쟁점을 말하면 조건을 짐작하게 만들 수 있다. 이것은 판정자 편향이 측정된 원인이라는 뜻이 아니다. 결과를 본 뒤 적은 한계다. 판정자가 모델이나 조건을 직접 보지 않았더라도, 출력이 품은 내용 때문에 완전한 차단은 아니었을 수 있다. 이 한계는 원인 설명이 아니라 다음 설계에서 막거나 따로 재야 할 위험이다.

재료가 필요하지만 충분하지 않았다는 읽기도 경쟁 해석일 뿐이다. 규칙 문서만 있는 C1은 미해결 쟁점을 말하지 못했고, 결정 기억을 더한 C2의 한 셀은 말했다. 그래서 결정 기억이라는 재료가 없으면 그 물음을 꺼내기 어려웠을 수 있다. 같은 재료를 받은 다른 모델 조건에서는 나오지 않았다. 필요와 충분을 나누는 설계가 없었으므로 이 가능성은 사실이 아니라 후속 가설로 남는다.

그래서 이 결과를 좁은 신호라고 부른다. 완전히 무시할 만큼 비어 있지는 않지만, 결론으로 삼을 만큼 안정적이지도 않다. 3/5만 떼어 쓰면 조건 전체의 성질처럼 보이고, 한 모델과 한 과제라는 주소만 쓰면 세 반복의 같은 방향이 사라진다. 숫자와 주소를 함께 남겨야 한다. 결정 기억이 열린 물음을 보존할 수 있다는 가능성은 남지만, 어느 모델과 과제에서 다시 나타나는지는 아직 모른다.

한 칸을 보이는 도표

다른 도표는 같은 사실을 다른 방식으로 접는다. 조건별 비율만 보면 C2라는 열이 좋아 보인다. 셀 격자로 보면 강조해야 할 곳은 하나뿐이다. 두 모델 열 묶음과 각 묶음 안에 세 조건 열, 다섯 과제 행으로 펼치면 대부분의 칸은 배경이다. 한 모델의 한 과제, C2 조건의 한 칸만 신호 셀이다. 그 안에 세 번의 실행 표시가 들어간다. 다른 칸은 문맥을 보여 주지만 강조하지 않는다.

이 도표는 한 조건의 승리나 세 개의 독립 사례를 보여 주지 않는다. 격자의 나머지 칸을 함께 놓아 신호가 얼마나 좁게 놓였는지를 보인다. 배경 셀이 비어 보일수록 결론이 약해지는 것이 아니라, 결론이 머물러야 할 자리가 더 정확해진다.

강조되지 않은 칸들은 비교 범위를 보여 주는 격자 문맥이며, 신호 부재가 판정된 자리가 아니다. 다른 과제 셀에는 이 미해결 물음 루브릭이 적용되지 않았다. 표시가 없다는 사실과 값이 0이라는 판정은 서로 다르다. 회색 칸을 모두 0으로 읽으면 측정하지 않은 자리가 실패로 바뀐다.

사실과 추론의 경계

출처에서 바로 확인되는 사실은 네 가지다. 하나는, 미해결 쟁점 물음에서 C0은 0/4, C1은 0/4, C2는 3/5였다. 다른 하나, 이 분모는 정보 있는 비분할 판단이다. 또 하나, C2의 세 바람직 판단은 한 모델, 한 과제, C2 조건의 한 셀에 모였다. 마지막 하나, 그 셀의 세 실행은 독립적인 세 사례가 아니다. 이 네 문장 밖으로 나가면 이미 추론이다.

추론은 더 조심스럽게 말해야 한다. 결정 기억이 최종 규칙 문서가 생략한 열린 물음을 보존할 수 있다는 가능성은 남는다. 그것은 우연, 모델에 맞은 표현, 과제에 맞은 표현, 출력 내용이 조건을 흘렸을 가능성과 나란히 놓인 신호다. 가능성을 쓸 때마다 한 모델, 한 과제, 한 셀이라는 주소가 따라붙어야 한다. 이 수치만으로 조건의 승패나 다른 과업의 결과를 정할 수 없다. 작은 신호는 다음 질문의 방향을 정할 수 있지만, 답을 대신하지 못한다.

철회 조건도 같은 경계에 붙는다. 원 판정이나 얼린 분석을 다시 계산했을 때 C0 0/4, C1 0/4, C2 3/5가 재현되지 않으면 수치 문장은 내려간다. 셀 위치가 흔들려 세 바람직 판단이 한 모델, 한 과제, C2 조건의 한 셀에 모였다는 귀속이 깨져도 내려간다. 사전 등록한 반복에서 같은 종류의 열린 물음 탐지가 재현되지 않으면 가능성 신호는 사례 기록으로만 남아야 한다.

의지하는 사실이 작으므로 철회 조건도 작고 구체적이어야 한다. 재계산이 표류하는 경우, 셀 귀속이 달라지는 경우, 사전 등록 반복에서 재현이 실패하는 경우가 그 경계다. 그런 검증을 통과하더라도 한 번의 반복만으로 일반화가 끝나지는 않는다. 통과한 반복은 다음 표본을 여는 근거이지, 모든 모델과 과제에 대한 답이 아니다.

다음 질문

후속 설계는 결론을 반복하는 방식이 아니라 분모와 판정을 먼저 고정하는 방식이어야 한다. 모델을 여러 개로 넓히고, 과제도 열린 물음이 서로 다른 방식으로 생기는 묶음으로 넓혀야 한다. 조건은 C1과 C2의 차이를 유지하되, 판정자가 볼 출력에서 조건이 새어 나갈 수 있는지를 따로 기록해야 한다. 무엇을 정보 있는 비분할 판단으로 셀지, 갈림을 어떻게 처리할지, 세 실행을 셀 단위 안에서 어떻게 묶을지도 실행 전에 정해야 한다.

마지막에는 이렇게 묻는다. 모델과 과제를 넓힌 사전 등록 반복에서, 분모를 정보 있는 비분할 판단으로 미리 정하고 갈림 처리와 셀 단위 묶음을 고정했을 때, 결정 기억 조건은 최종 규칙 문서 조건보다 미해결 쟁점 탐지를 더 자주 만들며 그 신호는 한 모델, 한 과제, 세 번의 실행에만 머물지 않는가. 이 질문 하나가 곧 일반화를 보장하지는 않는다. 지금의 한 칸을 다음 실험의 출발점으로 바꾸는 최소한의 형식이다. 다음 반복은 이 한 칸에서 출발한다.