7장. 프롬프트 뒤에 숨은 취향

빈 문장에서 시작하지 않는다.

주간 지표를 지어낸 리포팅 봇 앞에서 가장 먼저 고친 것은 프롬프트였다. 계산되지 않은 값을 쓰지 못하게 하고 지시의 범위를 좁혔다. 무엇이 잘못인지 알고 있었으니 그 차이를 문장에 더 정확히 넣으면 문제가 멈출 것이라고 보았다.

프롬프트를 더 조여도 오류는 사라지지 않았다. 표현을 만드는 도구 안에 계산까지 남겨 둔 채 금지 문장만 덧붙이고 있었다. 지시는 더 정밀해졌지만 시스템이 맡은 역할은 그대로였고, 그 역할 안에서는 그럴듯한 서술과 근거 없는 수치가 함께 나올 여지가 남았다.

계산을 평범한 코드로 옮긴 뒤 모델은 계산된 값을 서술하게 했다. 이어진 여덟 번의 재검증에서는 날조가 다시 나타나지 않았다. 이것은 더 좋은 프롬프트를 찾은 성과라기보다 프롬프트가 맡지 않아야 할 일을 작업 흐름 밖으로 꺼낸 결과였다.

이 경험은 프롬프트가 무력하다는 뜻이 아니다. 프롬프트는 이미 가진 구별을 확대한다. 무엇을 정확한 값으로 보고 무엇을 서술 가능한 영역으로 둘지 먼저 구별했을 때 그 지시는 유용했다. 프롬프트는 정해진 경계를 전달할 수 있지만 그 경계를 저절로 발견하지는 않았다. 구별이 없으면 문장을 길게 써도 역할의 경계까지 대신 정해 주지는 않았다.

같은 지시, 네 개의 강조

같은 가상 지시를 하나 두자. 새 서비스를 소개하는 첫 화면을 만든다. 명확하고 신뢰할 수 있어야 하며 기존 제품과도 어울려야 한다. 실제 모델에 입력해 수집한 로그가 아니라 가치 차이를 설명하려고 구성한 예시다.

한 출력은 제목과 중심 행동만 크게 남긴다. 부가 설명은 다음 화면으로 미루고 한 번에 한 과업만 보이게 한다. 이 출력은 명확성을 우선한 것으로 읽힌다. 지킨 가치는 첫 이해이고, 감수할 수 있는 손실은 맥락과 탐색 범위의 축소다.

다른 출력은 익숙한 제목, 설명, 중심 행동, 신뢰 표식의 순서를 따른다. 기존 구성 요소와 간격을 유지해 새 규칙을 배울 필요를 줄인다. 이 출력은 익숙함을 우선한 것으로 읽힌다. 변화의 강한 인상은 약해질 수 있다.

또 다른 출력은 강한 제목과 예상 밖의 구성, 넓은 색 대비로 새 영역을 구별한다. 기존 제품과 이어지는 표식은 남기되 변화의 경계를 먼저 보여 준다. 이 출력은 차별성을 우선한 것으로 읽힌다. 연속성과 즉시 이해의 일부를 뒤로 미룰 수 있다.

마지막 출력은 첫 화면에 기능 범위, 대상, 조건, 다음 단계까지 비교적 많이 담는다. 사용자가 이동하기 전에 판단 재료를 얻도록 한다. 이 출력은 밀도를 우선한 것으로 읽힌다. 한눈에 파악하는 속도와 여백의 여유는 줄 수 있다.

네 출력은 모두 원래 지시를 만족한다고 주장할 수 있다. 명확함은 정보량을 줄이는 방식으로도, 필요한 설명을 충분히 주는 방식으로도 해석된다. 신뢰는 익숙한 규칙이나 자세한 정보, 강한 구별에서 각각 다른 근거를 얻을 수 있다. 지시의 형용사만으로 순서는 정해지지 않는다.

도식은 모델 편향을 측정한 결과가 아니다. 네 결과가 한 모델에서 실제로 나온 것도 아니고 반복 빈도도 없다. 특정 도구가 어떤 가치를 더 자주 택하는지 말하려면 모델과 버전, 표집 설정, 요구문 집합, 반복 횟수, 평가자 판정을 먼저 고정해야 한다.

가치 표식도 정답표가 아니다. 한 검토자는 한 출력에서 명확성보다 통제된 정보량을 볼 수 있고, 다른 검토자는 마지막 출력에서 밀도보다 충분한 설명을 볼 수 있다. 독립 검토자가 같은 표식을 안정적으로 붙이는지 확인하기 전에는 해석 틀에 머문다.

최종 후보만 보면 생성과 선택의 층도 섞인다. 모델이 네 방향을 고르게 냈지만 작성자가 익숙한 안만 저장했을 수 있고, 처음부터 한 방향의 결과만 나왔을 수도 있다. 전체 출력, 재요청, 삭제, 최종 선택을 함께 보지 않으면 최종안의 가치가 생성 기본값에서 왔는지 선택 기준에서 왔는지 가를 수 없다.

생략된 말이 하는 일

프롬프트에 적힌 말보다 적히지 않은 말이 결과를 크게 가를 수 있다. 명확하라고 쓰면서 누구의 어떤 과업인지 말하지 않으면 모델은 일반적인 첫 화면 관습을 빌릴 수 있다. 신뢰를 요구하면서 오류 비용이나 불안의 종류를 쓰지 않으면 신뢰의 표식도 널리 쓰이는 형태로 채워질 수 있다.

예시는 생략을 줄이지만 방향을 강하게 만든다. 두세 개의 참고 화면을 붙이면 원하는 구성과 밀도가 빠르게 전달된다. 동시에 참고 화면이 공유하는 전제를 문제 밖으로 밀어낼 수 있다. 예시가 다양한지보다 어떤 가치와 손실을 공통으로 품었는지 읽어야 한다.

부정 지시도 취향의 경계를 드러낸다. 복잡하지 않게, 평범하지 않게, 마케팅처럼 보이지 않게라는 말은 피할 표면을 알려 준다. 그 반대편에서 무엇을 지킬지는 여전히 열려 있다. 평범함을 피하라는 지시는 차별성을 요구할 수 있지만 접근성이나 신뢰와 충돌할 때의 순서를 정하지 않는다.

반복 수정은 프롬프트보다 더 많은 정보를 남긴다. 더 간결하게, 조금 더 대담하게, 정보를 더 보여 줘라는 요청의 순서는 사용자가 어떤 결과를 부족하다고 읽었는지 보여 준다. 최종 문장만 보면 사라지는 선택 흔적이다.

그렇다고 수정 기록이 작성자의 진짜 취향을 완전히 드러내는 것은 아니다. 일정에 쫓겨 쉬운 안을 택했을 수도 있고, 상사의 요구를 대신 입력했을 수도 있으며, 모델이 낸 범위 안에서만 비교했을 수도 있다. 기록은 선택의 출처를 묻는 단서이지 성격 진단이 아니다.

정밀한 프롬프트라는 반례

목표와 허용 손실이 안정적으로 명시된 과업에서는 암묵적 가치 문제가 크게 줄 수 있다. 예를 들어 송금 확인 화면에서 금액과 받는 사람을 첫 순서로 보여 주고, 기존 읽기 순서를 유지하며, 새로운 장식보다 오류 예방을 우선한다고 정할 수 있다. 이때 프롬프트는 이미 선택된 목표를 실행한다.

오류 기준과 구성 요소, 예외 처리, 정지 조건까지 충분히 고정돼 있다면 여러 후보를 가치 충돌로 다시 읽을 필요도 약해진다. 자동 평가가 규칙 위반을 제거하고 하나를 고를 수 있다. 별도 인간 판단이 남지 않을 수 있다는 5장의 반례와 같다.

정밀함은 문장이 길다는 뜻이 아니다. 짧아도 목표, 대상, 하한, 허용 손실이 분명할 수 있다. 반대로 긴 프롬프트가 스타일 형용사와 참고 자료만 쌓고 충돌 시 순서를 비워 둘 수도 있다. 글자 수는 판단의 양을 대신하지 않는다.

안정된 목표가 없는 과업에서는 세부 지시를 늘려도 문제가 이동할 뿐이다. 신뢰 40, 새로움 30 같은 가중치를 붙이면 계산할 수 있지만 왜 그 순서인지가 남는다. 평가 자동화는 판단을 목표 설정 단계로 옮길 수 있다는 가설이 여기서 나온다.

이 가설도 모든 과업에 적용되지 않는다. 평가 시스템이 목표 선택과 책임 추적까지 안정적으로 수행하고 예외가 드물다면 추가 결정은 줄어든다. 실제 도입 사례에서 목표 설정 일이 늘었는지 측정한 자료가 없으므로 판단이 이동했다고 결과처럼 말할 수 없다.

정밀 프롬프트를 표준으로 운영하려면 변경 권한도 정해야 한다. 누가 목표 문장을 고치고, 예외를 추가하며, 실패가 나타났을 때 이전 버전으로 돌아가는지 남긴다. 그렇지 않으면 잘 작동하던 프롬프트가 작은 수정 끝에 다른 가치를 실행해도 어느 선택에서 방향이 바뀌었는지 찾기 어렵다.

프롬프트 앞에서 묻는 네 질문

하나는, 이 결과를 경험할 사람과 중심 과업은 무엇인가. 사용자에게 명확하게보다 첫 방문자가 새 영역과 기존 기능의 관계를 알아보게 한다는 문장이 선택 범위를 좁힌다. 대상과 과업이 없으면 익숙한 일반 해법이 빈칸을 채우기 쉽다.

다른 하나, 반드시 통과해야 할 하한은 무엇인가. 접근성, 필수 정보, 법적 의무, 기술 규격을 가치 선호와 분리한다. 하한을 통과하지 못한 경로는 닫고, 남은 후보에서 실제 가치 충돌을 비교해야 한다.

또 하나, 충돌할 때 무엇을 먼저 지킬 것인가. 명확성과 밀도, 익숙함과 차별성이 함께 중요하다는 말만으로는 부족하다. 이번 조건에서 앞세울 결과와 그 때문에 약해질 수 있는 결과를 한 문장씩 적는다.

마지막 하나, 어떤 관찰이 선택을 다시 열 것인가. 첫 이해를 우선했다면 필요한 맥락이 빠지는지 보고, 밀도를 우선했다면 중심 행동을 놓치는지 본다. 재검토 조건이 있어야 프롬프트가 일회성 취향 명령이 아니라 운영 가능한 가설이 된다.

네 질문을 모두 프롬프트 안에 넣을 필요는 없다. 별도 결정 기록에 남기고 생성 도구에는 실행에 필요한 부분만 전달할 수 있다. 도구에 보낸 문장과 조직이 승인한 목표 사이의 연결은 잃지 않는다.

프롬프트 공유 문화도 이 구분을 필요로 한다. 잘 작동한 문장을 복사하면 산출 형식은 재현할 수 있지만 원래의 대상, 하한, 손실까지 함께 옮겨지는 것은 아니다. 맥락 없이 재사용된 프롬프트는 다른 과업에서 숨은 기본값이 된다.

취향을 책임의 언어로 바꾸기

취향은 제거할 잡음이 아니다. 무엇이 중요한 차이인지 빠르게 감지하게 하는 전문 능력일 수 있다. 자동 생성과 공유 프롬프트가 넓어질수록 취향이 어느 선택에서 들어왔는지 추적하기 어려워진다. 감각을 결과와 손실의 언어로 풀어야 책임을 이어받을 수 있다.

한 결과가 명확해 보인다면 무엇을 빨리 이해하게 하는지 묻는다. 익숙하다면 누구의 학습 비용을 줄이는지, 차별적이라면 무엇과 구별돼야 하는지, 밀도가 높다면 어떤 판단 재료를 보존하는지 묻는다. 형용사가 결과에 닿을 때 프롬프트 수정도 더 구체적이 된다.

네 출력이 보여 주는 범위는 가능한 해석까지다. 같은 지시에서 실제로 어떤 가치가 얼마나 자주 나타나는지, 모델과 사람의 선택이 각각 어느 정도 기여하는지는 별도 검사가 필요하다.

프롬프트 한 줄은 취향의 출발점이 아니라 여러 선택이 만나는 인터페이스다. 한 줄만으로는 그 출처를 가를 수 없다. 작성자의 구별, 모델의 기본 경향, 수정과 평가, 최종 승인 가운데 어느 단계에서 가치가 들어왔는지 나눠 보아야 한다.

숨은 가치의 흐름을 따라가면 책임의 위치를 표시해야 한다. 수동 제작, 생성 자동화, 생성과 평가 자동화에서 목표 설정, 예외 정책, 승인, 관찰, 정지 권한이 어디로 이동하는지 비교할 수 있다.

이 예시로 말할 수 없는 것.

네 출력과 가치 표식은 실제 모델 결과가 아니라 구성한 예시다. 특정 모델, 버전, 프롬프트 집합의 편향이나 출력 빈도를 뒷받침하지 않는다. 평가 자동화가 목표 설정 업무를 늘리는지도 현장 자료가 없어 미검증 가설로 남긴다. 확인할 자료는 아직 비어 있다.