모델이 답을 고르는 방법

분류기의 마지막 층은 후보마다 logit이라 부르는 원시 점수를 낼 수 있습니다. softmax 같은 함수를 적용하면 합이 1인 분포로 바뀌어 후보 사이의 상대적 선호를 읽기 쉬워집니다. 하지만 수학적으로 합이 1이라는 사실과 현실에서 0.8인 예측이 80% 맞는다는 사실은 다릅니다.

모델의 원시 점수는 정규화된 확률 형태로 바꿀 수 있지만 그 수치가 현실의 빈도와 맞는지는 별도의 보정 평가가 필요합니다. 1National Institute of Standards and TechnologyArtificial Intelligence Risk Management Framework (AI RMF 1.0)pp. 28–31, valid and reliable measurement and uncertainty

보정은 대표적인 검증 자료에서 예측 확률과 실제 빈도를 비교합니다. 전체에서는 잘 맞아도 특정 집단이나 새로운 시기에는 어긋날 수 있습니다. “확신도 95%” 같은 UI는 모델 종류, 평가 조건, 분포 변화를 설명하지 않으면 과도한 신뢰를 만들 수 있습니다. 이 교재가 숫자형 신뢰도 대신 근거 상태와 실제 출처 수를 표시하는 이유도 여기에 있습니다.

연속 점수를 이진 결정으로 바꾸려면 임계값이 필요합니다. 임계값을 낮추면 보통 더 많은 사례를 양성으로 잡아 민감도가 오르지만, 거짓 양성이 늘 수 있습니다. 어느 지점이 적절한지는 통계 지표만으로 정해지지 않습니다.

분류 임계값은 거짓 양성과 거짓 음성 사이의 교환 관계를 만들므로 오류 비용과 영향을 받는 집단을 함께 고려해야 합니다. 2National Institute of Standards and TechnologyArtificial Intelligence Risk Management Framework (AI RMF 1.0)pp. 12–15 and MEASURE 2.6, harmful bias and error analysis

암 선별에서 놓침과 추가 검사의 비용은 다르고, 스팸 필터에서는 정상 메일 차단과 광고 노출의 비용이 다릅니다. 집단별 기초 비율이 다르면 동일 임계값도 서로 다른 오류율을 만들 수 있습니다. 운영자는 임계값, 후속 검토, 이의제기 절차를 함께 설계해야 합니다. 모델 점수는 정책 결정을 대신하지 않습니다.

자기회귀 언어 모델은 현재 문맥에서 다음 토큰 분포를 계산합니다. 매번 가장 높은 후보를 고르는 방식, 일부 상위 후보에서 표본을 뽑는 방식, 분포를 더 평평하거나 뾰족하게 만드는 temperature 등이 있습니다. 선택 규칙은 반복성, 다양성, 표현의 폭을 바꿉니다.

생성 모델의 temperature나 샘플링 전략은 후보 토큰 선택의 다양성을 바꾸지만 지식의 정확성을 새로 검증하지는 않습니다. 3NeurIPSAttention Is All You NeedSection 3.4, linear and softmax output over next-token probabilities

낮은 temperature가 단정적인 문장을 만들 수는 있어도 잘못 학습한 정보나 검색되지 않은 최신 사실을 고치지는 않습니다. 높은 temperature가 창의적 표현을 늘릴 수는 있어도 아이디어의 안전성을 보증하지 않습니다. 디코딩 설정, 검색 근거, 사실 검증을 별도 층으로 관리해야 합니다. 그럴듯한 문장의 생성 확률과 명제의 참일 확률은 같은 대상이 아닙니다.