16장. 모델 폭과 조건 폭

먼저 폭을 정의해야 한다.

직전 관찰에서 조건을 바꿨을 때 평균 인용 정확도는 거의 움직이지 않았다. 같은 결과표에서 조건별 승패보다 모델 폭과 조건 폭의 차이를 본다. 이 비교는 결과를 설명하는 원인이 아니라 결과를 읽기 전에 놓아야 할 눈금이다.

모델 폭은 이 얼린 분석에서 두 모델의 집계 적중률 사이 차이를 말한다. 분석 코드는 같은 채점 행들을 모델 이름으로 나누고, 각 묶음의 적중률을 계산한 뒤 가장 높은 값과 가장 낮은 값의 차이를 냈다. 값은 0.126이었다. 이 계산은 모델 이름을 설명 변수로 삼아 결과를 쪼갠 뒤 생긴 거리만 남긴다. 표가 보여 주는 범위는 이 표본의 과제, 입력, 채점 기준, 두 모델 조합에서 관찰된 모델별 평균 사이의 거리까지다. 원인과 안정성, 다른 과제에서의 반복 여부, 모델의 일반 순위는 이 범위 밖이다.

조건 폭은 다른 계산이다. 같은 행들을 조건 이름으로 나누되, C0은 빼고 C1과 C2만 비교했다. C0은 결정 자료가 없는 조건이라 적중률 0이 구조상 정해져 있다. 그 값을 넣으면 문서가 있는가 없는가의 차이를 재게 된다. 여기서 필요한 값은 완성된 시스템 문서 조건인 C1에서 결정 기억을 더한 C2로 갔을 때의 폭이다. 그래서 조건 폭은 C1과 C2의 집계 적중률 사이 차이로만 계산됐고, 값은 0.029였다. 여기서 조건 폭은 방향을 버린 거리다. C2가 C1보다 좋아졌는지 나빠졌는지를 판단하려면 앞의 평균 델타와 노이즈 바닥을 따로 보아야 한다. 폭 비교는 방향 판단을 결코 대신하지 않는다.

두 값을 나란히 놓으면 모델 폭 0.126이 조건 폭 0.029보다 약 4.3배 컸다. 이 문장은 작고 정확해야 한다. 이 표본에서 두 모델 사이의 평균 거리와 C1, C2 사이의 평균 거리를 비교했더니 그런 비율이 나왔다는 뜻이다. 모델 선택이 조건 변화보다 4.3배 더 큰 효과를 냈다는 뜻이 아니고, 특정 모델의 일반 우열을 가르는 문장도 아니다.

C1과 C2의 경계

C1과 C2의 경계는 좁다. C1은 완성된 시스템 문서에서 규칙과 근거를 받은 조건이고, C2는 거기에 별도로 기록된 결정 기억을 더 받은 조건이다. 두 조건 모두 이미 문서가 있다. 이 비교는 문서 없음과 문서 있음의 비교가 아니다. 문서를 주었는가가 아니라, 문서가 있는 상태에서 결정 기억을 따로 더했는가를 본다.

이 경계를 지키지 않으면 조건 폭은 쉽게 커진다. C0을 조건 계산에 넣으면 한쪽 끝에는 구조상 0이 놓이고, 다른 쪽 끝에는 문서가 있는 조건들이 놓인다. 그때 커지는 값은 결정 기억의 폭이 아니라 재료 유무의 폭이다. 얼린 분석은 이 착시를 피하려고 C1과 C2만 조건 폭에 남겼다. 그래서 0.029는 방법의 전부가 아니라 이 좁은 조건 경계의 숫자다. 넓은 조건 폭을 보고 결정 기억이 강하다고 말하는 실수를 막으려면, 무엇을 비교에서 뺐는지도 본문에 남겨야 한다.

같은 이유로 0.126도 조심해서 읽어야 한다. 두 모델은 같은 과제 묶음과 같은 채점 절차를 통과했지만, 이 둘이 모델 세계 전체를 대표하지 않는다. 모델 폭은 이 둘을 골랐기 때문에 생긴 거리다. 다른 두 모델을 고르면 폭은 커질 수도 작아질 수도 있다. 같은 모델이라도 다른 버전, 다른 실행 환경, 다른 인용 습관에서는 다른 폭이 나올 수 있다.

과제 구성도 비율을 흔든다. 이 실험의 과제는 결정 문서에서 근거를 찾아 인용하는 일에 맞춰져 있었고, 앵커가 있는 과제와 구조상 기권이 기대되는 과제가 섞여 있었다. 어떤 과제가 더 많았는지에 따라 조건 평균도 모델 평균도 달라진다. 결정 기억이 특히 잘 맞는 과제가 늘어나면 조건 폭이 커질 수 있고, 모델별 인용 방식이 크게 갈리는 과제가 늘어나면 모델 폭이 커질 수 있다. 그래서 비율은 실험 설계의 성질을 함께 담는다. 과제가 바뀌면 같은 두 모델을 써도 0.126과 0.029의 관계가 그대로 남는다고 보장할 수 없다.

왜 조건 폭이 작아 보였나?

방법 차이가 작아서 조건 폭이 작았다고 단정할 수는 없다. 그래도 왜 그런 모양이 나왔는지는 설명할 수 있다. C1에도 이미 근거가 있었다. 완성된 시스템 문서는 규칙만 던진 빈 껍데기가 아니라, 규칙 문장 안에 이유와 예외를 일부 품고 있었다. C2가 더한 것은 그 위에 붙은 별도 결정 기억이다. C1에서 C2로 가는 손잡이는 생각보다 좁았다. 조건을 바꿨다고 해도, 두 조건이 이미 많은 재료를 공유하면 평균 적중률의 거리는 작게 남을 수 있다.

채점표도 그 폭을 좁게 만들 수 있다. 여기서 쓴 숫자는 적용 가능하다고 얼려 둔 결정에 인용이 닿았는지를 잰다. 더 풍부한 설명, 보조 근거, 설득력, 다음 검토의 편의는 같은 점수로 합쳐지지 않았다. 결정 기억이 그런 곳에서 도움이 됐더라도 이 숫자는 크게 움직이지 않을 수 있다. 조건 폭이 작다는 관찰은 채점표가 잰 면에서 작았다는 말이다. 채점표가 좁으면 좋은 변화도 보이지 않을 수 있고, 채점표와 잘 맞는 모델 습관은 더 크게 보일 수 있다. 측정 도구의 초점이 곧 결과의 모양을 만든다.

입력의 모양도 경쟁 설명으로 남는다. C2는 결정 기억을 더 받으면서 문장 수와 배열이 달라졌다. 더 많은 단서가 생겼을 수도 있고, 찾을 대상이 흐려졌을 수도 있다. 어느 쪽이 실제로 강했는지 이 설계만으로는 가를 수 없다. 조건 폭 0.029는 결정 기억 자체의 순수한 원인 값을 뽑아낸 결과가 아니라, 그 입력 묶음이 함께 움직인 뒤 남은 관찰 폭이다. 조건 폭이 작게 나왔다는 사실만으로는 결정 기억이 약하다고도, 입력 증가가 방해됐다고도 말할 수 없다.

모델 폭이 더 컸다는 말도 같은 절제를 요구한다. 모델마다 인용을 많이 시도하는 습관, 근거 문장을 고르는 방식, 불확실할 때 멈추는 방식이 다를 수 있다. 이런 차이가 채점표와 만났을 때 모델 평균 사이 거리가 벌어진다. 그 거리가 왜 벌어졌는지는 별도 분석이 필요하다. 관찰 범위는 폭의 크기까지다. 모델의 성격이나 능력을 일반 명제로 판정하지 않는다. 순위표가 아니라 해석의 경계선이다.

도표가 보여야 할 것

도표는 같은 0 기준 축 위에 두 폭을 놓는다. 모델 폭은 0에서 0.126까지 길게 뻗고, 조건 폭은 같은 축에서 0.029까지 짧게 뻗는다. 두 막대를 각자 끝까지 채우면 안 된다. 그러면 0.029도 꽉 찬 막대가 되어 보이고, 독자는 두 값이 같은 눈금에서 얼마나 다른지 잃는다. 같은 눈금은 이 시각적 착시를 막는다.

비교가 말하지 않는 것

모델 폭과 조건 폭의 관찰은 무개선 결과를 설명하지 않는다. 평균 변화가 노이즈 바닥 안에 있었다는 사실과 모델 폭이 조건 폭보다 컸다는 사실은 같은 결과표에서 나온 두 관찰이다. 하나가 다른 하나의 원인이라는 문장은 아직 없다. 모델 폭이 컸기 때문에 결정 기억의 개선이 사라졌다고 쓰면 계산이 주지 않은 이야기를 덧붙이는 셈이다. 둘 사이에 원인 화살표를 그으려면 모델을 고정하거나 더 많은 모델을 넣어 모델 통제와 모델 폭을 분리해야 한다. 입력 길이, 과제 구성, C2에만 있는 목표 식별 정보도 따로 통제하거나 분리해야 한다. 이런 통제는 필요하지만 충분하지 않다. 각 통제 뒤에도 어느 경쟁 설명이 남는지 확인해야 한다. 별도 무작위화나 대응 설계, 더 넓은 반복 표본, 각 경쟁 설명이 실제로 얼마나 움직였는지를 재는 후속 측정이 함께 있어야 인과 문장을 시험할 수 있다.

두 모델을 모델 모집단으로 바꾸는 일도 피해야 한다. 이 표본에는 두 모델만 있었다. 모델 폭 0.126은 두 모델 사이의 폭이지, 모든 생성 모델 사이의 평균 폭이나 산업 전체의 폭이 아니다. 이 숫자로 어느 계열이 늘 조건 변화보다 중요하다고 말할 수 없다. 새 모델 셋, 다른 과제 묶음, 다른 채점표가 들어오면 폭의 순서도 바뀔 수 있다. 모델을 하나 더 넣었을 때 가운데에 놓일지, 바깥쪽으로 멀어질지도 아직 모른다. 표본 밖의 분포를 상상해 숫자에 덧붙이면 관찰은 곧장 과장된다.

조건의 순위를 만드는 일도 조심해야 한다. 0.029는 C1과 C2 사이의 평균 거리다. 어느 조건이 더 좋은가를 말하려면 방향, 노이즈 바닥, 과제별 분포, 경쟁 설명을 함께 봐야 한다. 평균 방향은 작고 섞여 있었다. 조건 선택의 승패가 아니라, 같은 표에서 조건 폭이 모델 폭보다 작게 관찰됐다고만 쓸 수 있다.

철회 조건은 간단하다. 같은 얼린 분석을 다시 계산했을 때 모델 폭 0.126이나 조건 폭 0.029가 달라지면 수치 문장은 내려간다. 원본 리뷰와 기계 판독 분석의 앵커가 표류해도 마찬가지다. 더 넓은 사전 등록 표본에서 모델과 과제를 넓혔을 때 비율이 뒤집히거나 4.3배라는 관계가 사라져도 중심 문장은 새 표본 앞에서 물러나야 한다. 특히 모델을 넓혔는데 모델 폭이 줄고, 결정 기억을 겨냥한 과제를 늘렸는데 조건 폭이 커진다면 이 비율은 사례 기록으로만 남는다.

이 비교가 남기는 결론은 방법론에 한정된다. 조건별 평균만 보면 큰 차이가 조건에서 온 것처럼 보이기 쉽다. 그래서 먼저 모델 폭과 조건 폭을 같은 축에 놓아야 한다. 이 표본에서는 모델 폭 0.126, 조건 폭 0.029, 약 4.3배라는 관계가 관찰됐다. 그 관계는 모델을 줄 세우지 않고, 결정 기억의 인과 효과를 말하지 않고, C1과 C2라는 좁은 비교 안에서만 다음 질문의 크기를 정한다. 조건 변화가 작게 보이는 설계에서는 모델 의존성을 분리해 다시 재야 한다. 같은 눈금이 없으면 비교의 크기도 왜곡된다. 그렇게 읽으면 이 숫자는 다음 설계의 경고가 된다. 두 폭은 같은 표 안에서만 비교한다.