데이터로 배우고 예측하기

지도학습의 간단한 형태를 생각해 봅시다. 입력 (x)와 원하는 정답 (y)의 쌍을 준비하고, 모델 (f_\theta(x))의 예측이 정답과 얼마나 다른지 손실 함수로 계산합니다. 학습 알고리즘은 이 손실을 줄이는 방향으로 매개변수 (\theta)를 반복해서 조정합니다.

학습은 정해진 목표와 데이터에 대해 손실을 줄이도록 모델의 조정 가능한 값을 바꾸는 최적화 과정으로 볼 수 있습니다. 1AI4K12 InitiativeFive Big Ideas in Artificial Intelligence and Grade Band Progression ChartsBig Idea 3: Learning, high-school progression on model training

손실 함수는 가치 판단을 포함합니다. 평균 오차를 줄일지, 큰 오류에 더 무거운 벌점을 줄지, 어떤 집단의 오류를 따로 볼지에 따라 모델이 선호하는 해가 달라집니다. 비지도학습이나 강화학습은 정답표의 모양이 다르지만, 표현이나 보상을 무엇으로 삼는지 사람이 설계한다는 점은 같습니다.

훈련 오차가 매우 낮아도 새 입력의 오차가 낮다는 보장은 없습니다. 모델이 우연한 배경, 파일 이름, 촬영 장비처럼 훈련 자료에만 있는 단서를 이용했을 수 있습니다. 이를 발견하려고 훈련 자료와 분리한 검증 자료로 설정을 고르고, 마지막 시험 자료로 선택이 끝난 뒤의 성능을 추정합니다.

훈련 자료의 성능만으로 배치 환경의 성능을 추정할 수 없으므로 검증·시험 자료와 실제 맥락에서 일반화를 평가해야 합니다. 2National Institute of Standards and TechnologyArtificial Intelligence Risk Management Framework (AI RMF 1.0)pp. 28–31, MEASURE function and test sets representative of deployment

시험 자료도 완전한 미래는 아닙니다. 같은 수집 과정에서 무작위로 나눈 시험 세트는 새로운 병원, 다른 언어, 다음 해의 사용자를 대표하지 못할 수 있습니다. 따라서 평균 지표 하나 외에 오류 사례, 집단별 성능, 민감도 분석, 배포 후 모니터링이 필요합니다. 높은 벤치마크 점수는 명시된 조건에서의 증거이지 모든 상황의 보증서가 아닙니다.

대출 연체 예측 모델이 안정된 고용 형태가 많던 시기의 자료로 학습되었다고 합시다. 경제 충격 뒤 고용 구조가 바뀌면 입력의 비율뿐 아니라 같은 입력과 결과의 관계도 달라질 수 있습니다. 이를 넓게 분포 변화라고 부릅니다.

시간·지역·사용자 구성이 바뀌어 실제 입력 분포가 훈련 분포와 달라지면 기존 평가 성능이 유지되지 않을 수 있습니다. 3National Institute of Standards and TechnologyArtificial Intelligence Risk Management Framework (AI RMF 1.0)pp. 22–31, MAP 3 and MEASURE 2 on context and emergent risks

대표성은 단순히 모든 사람을 같은 수로 모으는 문제가 아닙니다. 사용 목적, 오류의 영향, 역사적 불평등을 함께 봐야 합니다. 과거의 인사 평가를 정답으로 삼으면 과거 차별이 정답표에 들어갈 수 있습니다. 데이터가 많아도 측정 대상과 대리 변수가 어긋나면 잘못된 목표를 정밀하게 학습합니다. 데이터 계보, 수집 동의, 누락과 오류, 배포 맥락을 문서화해야 하는 이유입니다.