15장. 정확도는 거의 움직이지 않았다.

기대가 먼저 있었다.

상식적인 기대는 이랬다. 더 많은 맥락을 주면 인용 정확도도 나아질 것이다. 최종 규칙만 주는 것보다, 그 규칙이 생긴 결정의 기억까지 주면 모델이 근거를 더 정확히 찾을 것처럼 보인다. 아직 확인되지 않은 가정이다. 이유와 남은 쟁점을 함께 주면 근거를 찾는 데 쓸 수 있는 단서가 늘어나고, 어떤 문장을 증거 후보로 삼아야 하는지도 더 또렷해질 것이라고 가정한다. 첫 실험은 인용 정확도가 실제로 올랐는지만 물었다. 설명의 질이나 실제 팀 판단의 변화는 이 측정 범위에 들어 있지 않다.

비교 대상도 좁았다. 한쪽은 완성된 시스템 문서에서 뽑은 규칙과 근거를 가진 조건이고, 다른 한쪽은 거기에 별도로 기록된 결정 기억을 더한 조건이다. 아무 문서도 없는 상태와 문서가 있는 상태의 차이를 재는 장이 아니다. 문서화 일반의 효용을 재는 장도 아니다. 이미 문서가 있는 조건 위에 결정 기억을 더했을 때, 같은 채점표에서 인용 적중이 움직였는지를 본다.

결과는 그 기대를 받쳐 주지 않았다. 완성된 시스템 문서 조건에서 결정 기억 조건으로 옮겼을 때 관찰된 평균 변화는 마이너스 1.8퍼센트포인트였다. 이 숫자는 효과 크기의 주장보다 먼저 관찰값이다. 같은 동결 절차, 같은 두 모델, 같은 다섯 과제, 같은 90회 실행과 채점 절차 안에서 나온 평균 델타다. 여기서 말할 수 있는 것은 이 표본에서 인용 정확도 개선이 보이지 않았다는 데까지다.

그렇다고 이 숫자를 악화의 증거로 읽어도 안 된다. 동결 분석은 반복이 있는 셀들의 내부 흔들림을 따로 계산했고, 그 평균 폭을 6.5퍼센트포인트로 두었다. 이 값은 신뢰구간도 표준오차도 유의성 문턱도 아니다. 얼린 분석에서 같은 설계 셀을 반복했을 때 생긴 평균 흔들림을 가리키는 노이즈 바닥이다. 관찰된 마이너스 1.8퍼센트포인트는 그 안에 들어간다.

이 실험은 개선도 악화도 입증하지 못했다. 결정 기억 조건이 완성된 시스템 문서 조건보다 정확했다고 말할 수 없고, 반대로 악화 효과가 있었다고도 말할 수 없다. 숫자는 작게 움직였지만, 그 움직임은 얼린 분석이 먼저 적어 둔 흔들림보다 작았다. 효과가 없었다는 확정이 아니라 개선 관찰이 없었다는 제한된 보고만 가능하다. 이보다 강한 문장은 숫자가 지지하지 않는다.

효과라는 단어는 이 결과를 설명할 때 특히 조심해서 써야 한다. 효과는 원인을 포함해 들린다. 하지만 이 결과는 조건을 바꾼 뒤 평균 적중률이 얼마나 달라졌는지를 보여 줄 뿐, 왜 그렇게 달라졌는지는 분리하지 못한다. 결정 기억이 도움이 되지 않았을 수도 있고, 도움이 되는 신호와 방해되는 신호가 섞였을 수도 있다. 작은 음수 하나가 그 갈림을 대신 판정하지 않는다.

여덟 개의 짝

짝지을 수 있는 셀은 8개였다. 두 모델과 앵커가 있는 네 과제를 같은 조건 변화로 맞춘 셀들이다. 그 8개에서 2개는 나아졌고, 3개는 나빠졌으며, 3개는 그대로였다. 방향이 한쪽으로 모이지 않았다. 이런 분포는 평균 델타 하나만 볼 때보다 더 차분하게 읽힌다. 평균이 작고, 셀 방향도 섞였다는 사실이 함께 놓인다.

하지만 이 8개는 독립적인 반복 검증 8개가 아니다. 같은 실험 설계에서 나온 짝이고, 과제와 모델을 공유한다. 한 셀이 움직이면 흥미로운 신호가 될 수는 있지만, 그 신호를 별도의 작은 실험 하나로 세면 표본이 커진 것처럼 보인다. 여기서 8이라는 숫자는 비교 가능한 짝의 수이지, 독립적인 세계의 수가 아니다.

개선된 두 셀도 같은 이유로 과장할 수 없다. 그중 하나가 눈에 띄게 좋아졌다면, 그 위치에서 결정 기억이 필요한 단서를 줬을 가능성은 남는다. 평균 결과는 그 가능성을 일반 결과로 키우지 않는다. 나빠진 세 셀도 마찬가지다. 어느 셀에서 값이 내려갔다고 해서 결정 기억이 해를 끼쳤다는 결론으로 곧장 갈 수 없다. 셀의 방향은 다음 질문을 만들 뿐이다.

그래서 도표는 0을 중심에 둔다. 관찰된 변화는 중심에서 왼쪽으로 조금 벗어나고, 노이즈 바닥은 그보다 넓은 폭으로 그려진다. 색이 없어도 읽히도록 관찰된 변화는 굵은 실선과 직접 레이블로, 노이즈 바닥은 점선과 패턴으로 표시한다. 독자는 색 이름을 기억하지 않아도 두 값의 관계를 볼 수 있어야 한다.

노이즈 바닥이 뜻하는 것

노이즈 바닥은 결과를 무효로 만드는 말이 아니다. 오히려 결과를 작게 읽게 만드는 장치다. 실험은 먼저 반복 셀 안에서 어느 정도 흔들림이 생기는지 보았고, 그 평균 폭을 6.5퍼센트포인트로 기록했다. 관찰된 변화가 그보다 작으면, 조건을 바꿔서 생긴 변화인지 반복 실행의 흔들림인지 구분하기 어렵다. 여기서 어려움은 통계 장식이 아니라 측정 분해능의 문제다.

이 구분이 없으면 마이너스 1.8퍼센트포인트는 쉽게 이야기거리가 된다. 누군가는 결정 기억이 방해됐다고 말하고, 다른 누군가는 모델이 더 많은 정보를 받아 헷갈렸다고 말할 수 있다. 동결 분석의 언어는 그렇게 멀리 가지 않는다. 그 값은 흔들림 안에 있었다. 흔들림 안의 작은 음수는 원인을 요구하는 사건이 아니라, 원인을 말하기 전에 멈춰야 하는 관찰이다.

검출력의 한계도 같은 자리에 놓인다. 표본은 두 모델, 다섯 과제, 90회 실행으로 구성됐지만 정보가 있는 비교는 설계 셀의 묶음 안에서 나온다. 작은 개선이 실제로 있었더라도 이 설계가 그것을 안정적으로 볼 힘은 부족했을 수 있다. 개선을 보지 못했다는 말은 효과가 절대로 없다는 말이 아니다. 이 표본과 채점 절차로는 개선이라고 부를 만한 움직임을 잡지 못했다는 뜻이다.

90회 실행이라는 숫자는 여기서 다시 작아진다. 실행은 충분히 많아 보이지만, 같은 과제와 같은 조건을 공유하는 반복은 서로 완전히 떨어진 사례가 아니다. 비교의 힘은 실행 수만으로 커지지 않는다. 과제의 폭, 모델의 폭, 반복의 독립성, 채점 기준의 분해능이 함께 따라와야 한다. 이 설계는 결과를 얼리고 확인하기에는 충분했지만, 작은 정확도 차이를 일반 명제로 키우기에는 좁았다.

경쟁 설명도 남는다. 결정 기억 조건은 좋은 기억만 더하지 않았고 입력의 모양과 분량도 바꿨다. 더 많은 문장이 도움이 됐을 수도 있고, 오히려 찾을 대상을 흐렸을 수도 있다. 또 모델마다 인용 습관이 달랐을 수 있다. 그러면 작은 평균 변화는 결정 기억 자체보다 입력 길이, 문장 배치, 모델별 인용 방식이 섞인 결과일 수 있다.

이 경쟁 설명은 핑계가 아니다. 실험에서 원인을 말하려면 원인이 아닌 것들을 치워야 한다. 아직 치우지 못한 것이 남아 있다. 결정 기억이 별도 문서로 들어갔다는 사실과, 입력이 길어지고 대상 식별 문장이 달라졌다는 사실을 완전히 분리하지 못했다. 그래서 인과 문장은 제한돼야 한다. 관찰은 좁고, 효과 해석은 더 좁다.

채점표가 잰 것도 인용의 한 단면이다. 이 실험의 기계 점수는 정해 둔 적용 가능 결정에 얼마나 맞게 닿았는지를 본다. 더 넓게 인용했는지, 보조 근거까지 얼마나 풍부하게 가져왔는지, 독자가 느끼는 설명의 설득력이 어땠는지는 같은 점수로 합치지 않았다. 정확도 관찰을 문서 품질 전체로 넓히면 안 된다. 여기서 붙잡는 말은 얼린 채점 절차가 잰 인용 정확도다.

같은 이유로 이 관찰은 다른 업무의 문서 전략을 바로 정하지 않는다. 어떤 팀에서는 결정 기억이 감사와 인수인계에 더 중요할 수 있고, 어떤 팀에서는 오래된 결정 기록이 오히려 현재 규칙을 흐릴 수 있다. 이 숫자는 그런 운영 판단을 대신하지 않는다. 정확도 자동 개선이라는 쉬운 기대를 내려놓게 한다.

무엇을 철회할 것인가?

철회 조건은 분명해야 한다. 동결된 분석을 다시 계산했을 때 평균 델타가 마이너스 1.8퍼센트포인트와 맞지 않으면 수치 관찰은 물러난다. 같은 파일과 같은 채점 절차에서 다른 값이 나오면, 설명보다 계산을 먼저 고쳐야 한다. 원본 리뷰의 앵커나 기계 판독 분석값이 표류해도 그림과 문장은 함께 내려가야 한다.

반복 연구에서도 철회 조건이 있다. 같은 질문을 사전에 정하고, 더 넓은 과제와 모델에서 결정 기억 조건이 노이즈 바닥 밖의 양의 변화를 일관되게 보인다면, 무개선 관찰은 더 이상 중심 문장으로 남을 수 없다. 특히 짝지은 셀의 방향이 개선 쪽으로 모이고, 그 변화가 입력 분량 같은 경쟁 설명으로 사라지지 않는다면 이야기는 바뀐다.

반대로 후속 연구가 다시 작은 혼합 방향을 보인다면 결론은 더 강한 부정이 아니라 더 조심스러운 범위 설정이 된다. 결정 기억은 인용 정확도를 자동으로 올리는 장치가 아닐 수 있다. 어떤 과제에서는 열린 쟁점을 보존하고, 어떤 과제에서는 인용 적중에 별 차이를 만들지 못할 수 있다. 어느 경우인지는 다음 실험에서 가를 문제다.

결정 기억의 가치 전체를 이 수치로 닫을 수는 없다. 가장 쉽게 기대한 정확도 개선이 이 얼린 표본에서 보이지 않았다고 적는 데 그쳐야 한다. 기대가 있었고, 숫자가 나왔고, 숫자는 흔들림 안에 있었다. 더 많은 맥락은 더 좋은 인용 정확도를 약속하지 않았다. 적어도 동결된 두 모델, 다섯 과제, 90회 실행과 이 채점 절차 안에서는 그렇다.

관찰 결과는 하나로 좁혀진다. 좋은 기록을 더하면 정확도도 좋아질 것이라는 기대는 매력적이지만, 관찰된 변화는 마이너스 1.8퍼센트포인트였고 노이즈 바닥은 6.5퍼센트포인트였다. 이 조합은 개선도 악화도 입증하지 못했다. 기록의 가치는 정확도 자동 개선이 아니라 어떤 질문을 보존하고 어떤 한계를 드러내는지에서 다시 물어야 한다. 정확도 밖의 효용은 별도 검증으로 남는다. 평균값과 셀별 편차를 함께 읽는다.